Когда ChatGPT или Gemini дают, казалось бы, экспертный ответ на ваши насущные вопросы, вы можете не осознавать, на каком объёме информации он основан. Как и другие популярные генеративные модели искусственного интеллекта (ИИ), эти чат-боты опираются на базовые (foundation) модели, обученные на миллиардах или даже триллионах данных.

Аналогичным образом инженеры надеются создать базовые модели, которые обучат различные роботы новым навыкам — например, поднимать, перемещать и класть объекты в таких местах, как дома и фабрики. Проблема в том, что собирать и передавать учебные данные между разными роботами сложно. Можно обучить систему, телеманипулируя оборудованием пошагово с использованием технологий вроде виртуальной реальности (VR), но это отнимает много времени. Обучение на интернет-видео менее эффективно, поскольку они не предоставляют пошагового специализированного объяснения задач для конкретных роботов.

Подход, основанный на симуляции, под названием PhysicsGen от Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) MIT и Института робототехники и ИИ, адаптирует тренировочные данные для роботов, чтобы помочь им находить наиболее эффективные движения для задачи. Система может превратить несколько десятков VR-демонстраций почти в 3000 симуляций на каждую машину. Эти высококачественные инструкции затем сопоставляются с точной конфигурацией механических систем, таких как роботизированные руки и манипуляторы.

PhysicsGen создаёт данные, которые обобщаются под конкретные роботы и условия, используя трёхэтапный процесс. Сначала гарнитура VR отслеживает, как человек манипулирует объектами, например, кубиками, используя свои руки. Эти взаимодействия одновременно отображаются в 3D-физическом симуляторе, визуализируя ключевые точки на руках в виде маленьких сфер, которые повторяют жесты. Например, если вы перевернёте игрушку, вы увидите 3D-фигуры, представляющие различные части ваших рук, вращающие виртуальную версию объекта.

Новая система моделирования генерирует тысячи обучающих примеров для роботизированных манипуляторов