Мы открываем кружок, в котором вы можете заниматься современной робототехникой и искусственным интеллектом на самом передовом уровне и задачах. В статье поговорим о том, как это будет и о текущих результатах в обучении роботов хождению.
Сказать, что с приходом ChatGPT и роботов Tesla наступило грандиозное будущее — это ничего не сказать. Мы стоим на пороге великих изменений. То, что раньше казалось фантастикой, становится реальностью: роботы могут выполнять в физическом мире команды, сформулированные на естественном языке, ходить и манипулировать объектами. Всё это благодаря в первую очередь бурному развитию deep learning за последние годы. Тем не менее передовые исследования в этой области и робототехнике, которые окончательно изменят ландшафт умных роботов и их применения, ещё впереди. Об этих исследования мы дальше и поговорим.
Почему это важно?
Рано или поздно шагающих роботов будет много. Они будут выполнять за нас работу. Гонка компаний за занятие рынка больших шагающих роботов уже началась.
Профессия разработки этих роботов и обучения их разным навыкам выглядит очень перспективно.
Чтобы роботы были «умными» и могли делать за нас работу так же, как и человек, их способности к обучению и выполнению сложных задач должны сильно возрасти. Для этого нужны новые алгоритмы в области deep learning и reinforcement learning. Собственно, в кружке мы и будем заниматься на самом передовом уровне исследованиями в области обучения роботов хождению и решению других сложных моторных задач. Будем читать зарубежные научные статьи, воспроизводить их результаты, генерировать новые идеи, реализовывать их, экспериментировать на роботах и в симуляторах, разрабатывать новые алгоритмы, писать программный код, предлагать научную новизну и писать научные статьи.
Роботов уже сейчас можно обучить на больших наборах данных и в симуляторе, но пока они плохо учатся в реальной жизни и вообще не обладают такими же способностями к самообучению, как у человека. Это создаёт трудности, так как не всё можно воспроизвести в симуляторе и не под всё есть готовые наборы данных. Верю, что будущее именно за способностью роботов и ИИ учиться самостоятельно в реальном мире.
Обучение роботов
Например, вот четвероногий робот, который был обучен в нашем Центре робототехники Сбера сначала в симуляторе, а потом запущен на реальной аппаратной платформе:
Был использован алгоритм PPO (Proximal Policy Optimization) с обучением в симуляторе Raisim в течении нескольких часов на видеокарте GeForce GTX 1080 Ti:
Количество параллельных симуляций агентов: 100
Observations:
высота тела;
положение тела;
скорости тела;
12 углов суставов;
бинарный вектор контактов;
предыдущее действие;
Actions:
12 углов суставов;
Прерывание эпизода
при высоте тела ниже пороговой;
при углах наклона тела больше пороговых.
Функция наград:
Оптимизация текущей линейной скорости тела относительно целевой;
Минимизируемые факторы:
боковое движение и угловые скорости;
отклонение высоты тела от номинальной;
отклонение положения тела от номинальной ориентации;
совершаемая работа;
угловые скорости суставов;
проскальзывание ног по поверхности;
плавность движений;
сила воздействия на поверхность;
Максимизируемые факторы:
время нахождения ног в воздухе.
Казалось бы, что ещё нужно? Но такой подход работает плохо или вовсе не работает для более сложных роботов типа Dijit, Tesla Bot, Figure. Связано это с большим sim2real gap. Из-за этого появляется развилка — или делать симуляцию ещё реалистичнее, или учить роботов в реале. Вот пример обучения четвероногого робота с нуля в реале в нашем Центре робототехники Сбера:
Был использован алгоритм Actor-Critic с регуляризацией лимитов углов суставов отдельной нейросетью. Робот обучался в реалтайме на ноутбуке подключенном по ethernet.
На обучение в реале сейчас уходит от двух часов чистого времени робота, когда он непосредственно учится. Выучить получается пока только простые движения вроде ползти вперёд, при этом, в среднем, за пару обучений сгорает один мотор от перегрузок в жёстком режиме эксплуатации. Тем не менее это выдающийся результат, который ранее был недостижим. Пока в этом направлении мало научных статей и много потенциала к исследованиям, новым прорывам.
Также есть гибридные и другие подходы, связанные с дообучением, смешанными подходами reinforcement learning и optimal control. За последние годы в области шагающих роботов написаны сотни научных статей с новыми подходами, что говорит о бурном развитии этой тематики. Также стоит особо отметить, что именно в шагающих роботах впервые получил своё реально результативное применение reinforcement learning и показал преимущества по сравнению с другими методами.
Вот презентация нашей предыдущей работы по этому проекту, где робот ходит на классическом optimal control c cMPC:
Мы выложили весь исходный код в открытый доступ для использования будущими исследователями.
Наш кружок ИИ в робототехнике
Мы видим дальнейшие перспективы исследований и составили план задач на ближайшее будущее. Если вам интересна эта тема, то приходите к нам на бесплатную практику. Для этого в том числе мы организуем площадки в Москве, где вы сможете заниматься с нами обучением современных роботов.
Сейчас есть договорённость с Институтом искусственного интеллекта РТУ МИРЭА, так же предварительная с Центром молодежной робототехники МГТУ им.Н.Э. Баумана и лабораторией по гуманоидным роботам в Физтех-Лицее о предоставлении нам места для работы с роботами. В целом, о желании стать партнером в этом может изъявить любой технический университет в Москве, технику и консультации мы предоставим. То есть можно сказать, что мы открываем что-то вроде научно-исследовательского кружка по обучению роботов и передовым исследованиям в области ИИ в робототехнике. В него можно ходить с понедельника по субботу с 10:00 до 21:00 к нашим партнёрам, которые предоставляют площадки для занятий и сопровождение.
Наша целевая аудитория — это студенты, магистры, аспиранты и взрослые, имеющие технический опыт, а лучше профильное образование по программированию, робототехнике, машинному обучению. Школьникам заниматься этими задачами будет слишком сложно.
Какие требования к кандидатам:
уверенная работа в терминале Linux;
понимание работы локальной сети, умение настроить статический IP-адрес в Linux;
владение Git и Python;
знание алгоритмов глубокого обучения;
знание алгоритмов обучения с подкреплением;
умение читать, анализировать научные статьи на английском языке;
занятия в кружке не менее трёх дней в неделю;
способность к самообучению.
Что будет преимуществом:
владение ROS/ROS2, Docker, C++;
собственные научные статьи;
понимание робототехнических алгоритмов типа ПИД, фильтр Калмана и т. д.;
Горящие глаза к теме робототехники и ИИ.
Точно не подойдёт тем, кто:
не умеет хорошо программировать;
сомневается, нужно ли ему это;
не имеет достаточно времени на это;
не понимает, что такое научные статьи и почему они важны.
Как проходят занятия?
Центр робототехники Сбера предоставляет перспективные задачи в области обучения роботов, которые можно выполнять как индивидуально, так и в группе. Есть подборка научных статей и baseline алгоритмы для начала. В процессе работы специалисты Центра робототехники Сбера помогают консультациями. Сейчас мы не предлагаем дополнительного обучения, то есть недостающие вам знания вы получаете самостоятельно. Раз в неделю или две проходят общие встречи с планированием дальнейших задач. Приветствуется написание совместных научных статей.
Какие перспективы?
После двух-трёх лет занятий в кружке вы наберётесь необходимых знаний и опыта и лучшие из вас смогут устроиться на работу, например в Центр робототехники Сбера или другую робототехническую компанию. Обещаю, что с таким портфолио и компетенциями вы точно будете востребованы на рынке труда. Также мы сотрудничаем с разными университетами и исследовательскими группами, в которые вы сможете устроиться и продолжить заниматься исследованиями по этой теме.
Таким образом мы стараемся развивать робототехническое сообщество в области ИИ. Приветствуется инициатива вузов и научных групп.
Если вы хотите заниматься в кружке, то напишите мне в личку на Habr или в Telegram. Занятия бесплатные, но есть отбор через тестовые задания.
