Дорожки с байесовкими методам уже давно присутствуют на конференциях по DL. На NeurIPS например, группа Ветрова регулярно публикует статьи по Bayes + DL.
Bayes + RL — тоже есть. Deep Variational Reinforcement Learning for POMDPs — одна из последний работ в этой области от лондонских коллег. Если хочется большего overview, то в этом году на DeepBayes был день посвященный именно RL.
Лично мне кажется, что использование Bayes в RL как минимум хорошо покажется себя в задачах со сложным исследованием среды (exploration problem) и в частично-обозримых средах (как раз POMDPs). И там и там нам требуется оценивать насколько агент уверен в своем "будущем", что хорошо ложится на байесовкие методы.
Год назад я в основном писал на TF. Всяких TF.data, TF.keras тогда еще не было, был только TF.Estimator. Нормально работать с даткой было нельзя — аугментации получались некоторыми костылями. Да и Estimator иногда делал очень странные вещи under the hood, хотя даже банально «save N best checkpoints» сделать не мог. А уж MultiGpu через distributed training… в общем, довольно сложно и долго.
И тогда я нашел PyTorch, в котором все было просто и понятно. Работа с данными – на порядок удобнее, возможности для MultiGPU – тоже. Итерации пошли быстрее, жизнь стала легче. После Estimator он был немного низкоуровневым, но это дело решилось разработкой Catalyst :)
Вот так и перешел.
Обычно все начинается примерно за полгода до начала конференции – т.е. май-июнь.
Еще пару месяцев отлаживается организация, коммуникация, условия соревнования и уже в августе-сентябре идет активное решение первого раунда.
Октябрь – постановка задачи для второго раунда (с учетом всего опыта из первого) и его решение.
Дорожки с байесовкими методам уже давно присутствуют на конференциях по DL. На NeurIPS например, группа Ветрова регулярно публикует статьи по Bayes + DL.
Bayes + RL — тоже есть. Deep Variational Reinforcement Learning for POMDPs — одна из последний работ в этой области от лондонских коллег. Если хочется большего overview, то в этом году на DeepBayes был день посвященный именно RL.
Лично мне кажется, что использование Bayes в RL как минимум хорошо покажется себя в задачах со сложным исследованием среды (exploration problem) и в частично-обозримых средах (как раз POMDPs). И там и там нам требуется оценивать насколько агент уверен в своем "будущем", что хорошо ложится на байесовкие методы.
И тогда я нашел PyTorch, в котором все было просто и понятно. Работа с данными – на порядок удобнее, возможности для MultiGPU – тоже. Итерации пошли быстрее, жизнь стала легче. После Estimator он был немного низкоуровневым, но это дело решилось разработкой Catalyst :)
Вот так и перешел.
Еще пару месяцев отлаживается организация, коммуникация, условия соревнования и уже в августе-сентябре идет активное решение первого раунда.
Октябрь – постановка задачи для второго раунда (с учетом всего опыта из первого) и его решение.