Спасибо, мы у себя на своем роботе запускали, было много технических моментов про то как переносить обученные в симуляторе сетки в реальность (учитывая что часть данных в соревновании без шума, а на роботе не бывает без шума данных), но в итоге довольно хорошо заработало. Авторы в новом продолжающем это соревновании HomeRobot сделали вторую фазу с тестами на их реальных системах, в рамках прошедшего соревнования не проводилось похожих экспериментов
Спасибо! Если нужно будет взаимодействовать с объектом, то это новый скилл (навык), да. Придерживаясь текущего подхода обучения RL скилов, я бы попробовал еще одну FC голову для этого добавить, да. Сейчас много исследований на тему multitask и в RL и в целом если даже пространство действий отличается, то это может дать прирост. Авторы соревнования, кстати, тоже идут в эту сторону (полноценного Embodied AI), следующее (недавно объявленное) соревнование HomeRobot уже включает в себя манипулирование объектами на сцене. А если нужно перещещаться по сцене с разными объектами в манипуляторе, которые частично пергараживают вид камеры, то у нас такой опыт был и RL хорошо обучается под это, классические SLAM методы тоже справляются, но нужно в явном виде отфильтровывать мешающие объекты что бы они не наносились на карту
Спасибо, мы у себя на своем роботе запускали, было много технических моментов про то как переносить обученные в симуляторе сетки в реальность (учитывая что часть данных в соревновании без шума, а на роботе не бывает без шума данных), но в итоге довольно хорошо заработало. Авторы в новом продолжающем это соревновании HomeRobot сделали вторую фазу с тестами на их реальных системах, в рамках прошедшего соревнования не проводилось похожих экспериментов
Спасибо! Если нужно будет взаимодействовать с объектом, то это новый скилл (навык), да. Придерживаясь текущего подхода обучения RL скилов, я бы попробовал еще одну FC голову для этого добавить, да. Сейчас много исследований на тему multitask и в RL и в целом если даже пространство действий отличается, то это может дать прирост. Авторы соревнования, кстати, тоже идут в эту сторону (полноценного Embodied AI), следующее (недавно объявленное) соревнование HomeRobot уже включает в себя манипулирование объектами на сцене.
А если нужно перещещаться по сцене с разными объектами в манипуляторе, которые частично пергараживают вид камеры, то у нас такой опыт был и RL хорошо обучается под это, классические SLAM методы тоже справляются, но нужно в явном виде отфильтровывать мешающие объекты что бы они не наносились на карту
Спасибо!