Исследователи из Калифорнийского университета в Сан-Диего разработали новый фреймворк имитационного обучения под названием WildLMa, который улучшает навыки локоманипуляции у четвероногих роботов в реальных условиях. Американская команда представила систему, позволяющую роботам эффективно выполнять задачи манипуляции с объектами, одновременно перемещаясь в динамичной среде.
WildLMa предоставляет простой способ сбора данных экспертных демонстраций с помощью виртуальной реальности. Человеческие операторы могут управлять роботом, используя только одну руку, что упрощает обучение сложным многошаговым задачам. Фреймворк использует визуально-языковые модели и большие языковые модели для разбиения задач на управляемые этапы, что повышает обобщаемость и адаптивность навыков робота.
"Интеграция механизмов внимания играет решающую роль в том, чтобы сделать навыки робота более адаптивными и обобщаемыми", — отметил Ючен Сон, один из авторов разработки. "WildLMa имеет потенциал для практического применения в бытовых задачах, таких как уборка или поиск предметов".
Команда успешно протестировала систему в различных условиях, включая уборку мусора в коридорах и на открытых пространствах университета, получение заказов с едой и перестановку предметов на полках.
Здесь вы можете ознакомиться с видео и другими опытами команды.
