Fanuc — крупнейший в мире производитель промышленных роботов, которые используют обучение с подкреплением, чтобы самостоятельно выяснить, как выполнять поставленные перед ними задачи.В Токио, внутри скромного на вид офисного здания, живет необыкновенно умный промышленный робот, разработанный японской компанией Fanuc. Дайте ему задачу: взять виджеты из одной коробки и положить их в другую, и он будет всю ночь пытаться понять, как это сделать. Утром машина уже освоит эту работу, точно также, как если бы была запрограммирована специалистом, сообщает technologyreview.
Fanuc продемонстрировала свой продукт в декабре прошлого года на Международной выставке роботов в Токио. Промышленные роботы способны решать поставленные перед ними задачи с высочайшей точностью и скоростью, но, обычно, их необходимо очень тщательно программировать, чтобы научить, например, захватывать объект. Это трудно и отнимает много времени, и означает, что такие роботы, как правило, могут работать только по строго заданному алгоритму.
Робот от Fanuc использует способ, известный как «обучение с подкреплением», чтобы сформировать свое представление о поставленной задаче. Он пытается захватывать манипулятором объекты и во время этого процесса фиксирует свою работу на видео. Каждый раз, в независимости от успешности своих действий, машина фиксирует изображение объекта, которое в дальнейшем используется для усовершенствования алгоритма действий при помощи «deep learning» или обработки данных в нейронной сети. За последние несколько лет «deep learning» доказало свою эффективность в распознавании образов.«После восьми часов обучения, роботом успешно выполняется 90 и более процентов действий в рамках полученного задания, что сопоставимо с его программированием специалистом», объясняет Шохеи Хидо (Shohei Hido), главный научный сотрудник Preferred-Networks — токийской компании, специализирующейся на машинном обучении.
Специалисты в области робототехники считают, что обучение с подкреплением может упростить и ускорить программирование роботов, которые используются на заводах. Ранее в этом месяце компания Google опубликовала подробности своего собственного исследования по использованию обучения с подкреплением, которая учит роботов захватывать объекты.
В августе прошлого года Fanuc инвестировала $7,3 млн в Preferred-Networks. И уже в декабре компании продемонстрировали самообучающегося робота на Международной выставке в Токио.
Одним из самых больших потенциальных преимуществ в этом подходе к обучению, является то, что процесс может быть ускорен, если несколько роботов работают параллельно, а затем делятся между собой полученной информацией. Таким образом, восемь роботов, работающих вместе в течение часа могут обучится тому, что одна машина осваивает за восемь часов. «Наш проект ориентирован на распределенное обучение», говорит Хидо. «Представьте себе сотни заводских роботов, которые обмениваются информацией между собой».
Видео, демонстрирующее процесс самообучения робота
Эта форма распределенного обучения, которую иногда называют «облачной робототехникой», имеет большой потенциал как в научных исследованиях, так и в промышленности.
«У Fanuc хорошая позиция на рынке для развития данной технологии, так как они занимаются поставками роботов для множества заводов по всему миру», говорит Кен Голдберг, профессор кафедры робототехники в Калифорнийском университете в Беркли. Он добавляет, что облачная робототехника в ближайшие годы, скорее всего, изменит современное представление о роботах.
Тем не менее, отмечает он, применение машинного обучения для робототехники является сложной задачей, так как управлять поведением сложнее, чем, например, распознавать объекты на изображениях. «Обучение с подкреплением — это огромный прогресс в распознавании образов», говорит Голдберг. «Проблема робототехники заключается в том, что люди многопоточны. Соответственно, в отличие от роботов, мы в состоянии производить необходимые действия для решения огромного количества задач одновременно».
Fanuc не единственные, кто разрабатывает подобных роботов. В 2014 году ABB — шведско-швейцарская компания, специализирующаяся в области электротехники, энергетического машиностроения и информационных технологий. Компания инвестировала в проект Vicarious. Однако, плодов этих инвестиций до сих пор не видно.
