Существующие алгоритмы обучения роботов ходьбе сильно зависят от вмешательства человека: каждый раз, когда робот падает, ему нужно, чтобы кто-то поднял его и вернул в правильное положение. Новый проект исследователей из Google Brain позволит роботам учиться ходить без помощи человека. В течение нескольких часов, полагаясь исключительно на настройки современных алгоритмов, команда Google обучила четырехногого робота ходить вперед и назад и поворачивать влево и вправо полностью самостоятельно.
Эта работа основана на предыдущих исследованиях, которые были посвящены вопросу, как заставить робота учиться в реальном мире. Обучение роботов движению обычно выполняется в симуляции: виртуальный двойник робота действует в рамках виртуального двойника среды, пока алгоритм не станет достаточно надежным для безопасной работы в реальном мире. Исследователи решили пропустить этот шаг и обучать робота в реальном мире с самого начала. Они разработали более эффективный алгоритм, который позволил бы роботу учиться с меньшим количеством испытаний и, следовательно, меньшим количеством ошибок.
Но, как говорит Джи Тэн, сотрудник Google Brain, человеку по-прежнему приходилось присматривать за роботом и сотни раз вмешиваться в процесс обучения. Чтобы решить эту проблему, команда робототехники в Google Brain ограничила местность, которую роботу было разрешено исследовать, и заставляла его тренироваться одновременно несколькими маневрами. Если робот, достигнув края ограничительной рамки, научился идти вперед, он менял направление и учился ходить назад.
Во-вторых, исследователи также ограничили пробные движения робота, сделав его достаточно осторожным, чтобы минимизировать ущерб от падения. Также они добавили еще один алгоритм, который помогал роботу встать на ноги при падении.
Благодаря этим различным настройкам робот научился самостоятельно ходить по нескольким видам поверхностей, включая плоскую поверхность, матрац из вспененного материала и коврик с трещинами. Работа, по мнению учёных, имеет большой потенциал для навигации по пересеченной и неизвестной местности без присутствия человека.
«Это очень захватывающая работа, — заявляет Челси Финн, доцент в Стэнфордском университете. — Удалить человека из процесса обучения роботов действительно сложно. Этот проект приближает роботов к способности учиться в реальном мире, а не в лаборатории».
В то же время, предупреждает Финн, в лаборатории учёные используют систему захвата движения над роботом для определения его местоположения. В реальном мире такую технологию использовать не получится.
В своих дальнейших исследованиях команда Google Brain надеется адаптировать свой алгоритм к различным видам роботов или к одновременному обучению нескольких роботов в одной и той же среде.
