Начинаем серию разборов современных Vision-Language-Action (VLA) моделей для манипуляции. Несмотря на то, что им всего около года (π₀ была представлена ровно год назад — 31 октября 2024), текущие системы уже можно считать вторым поколением VLA-подходов. Их ключевое отличие — появление дополнительного модуля action head, который представляет собой не просто голову над представлениями, а отдельный диффузионный трансформер, обучаемый по задаче flow matching.

Сегодня — разбор GR00T от NVIDIA, который с момента релиза N1 уже успел обновиться до версии N1.5, а на днях ожидается N1.6.

Концепция VLA и постановка задачи

VLA-модель — это end-to-end система, принимающая на вход «сырые» сенсорные сигналы различных модальностей (видео, текст, состояния сочленений робота) и напрямую предсказывающая управляющие действия, без внешнего планировщика или постобработки.

Для человекоподобного робота входные данные включают:

RGB-изображение с onboard-камеры,
текстовую инструкцию (например, «положи чашку в посудомойку»),
вектор текущих угловых положений суставов.

Выход модели — вектор целевых углов суставов (или приращений), который подаётся непосредственно в контроллер привода.

Архитектура GR00T N1.5

Модель можно условно разделить на две подсистемы:

Vision-Language Encoder (Eagle-2 VLM) — мощная мультимодальная модель, извлекающая токенизированные представления сцены и текстовой команды. Она заморожена и не дообучается.
Action Transformer (Diffusion Policy Transformer) — диффузионный трансформер, который, используя объединённое представление от VLM и State Encoder, предсказывает траекторию действий на горизонте до 16 шагов вперёд.

State Encoder и Action Encoder — модули, обрабатывающие текущее состояние робота или команду. Для каждого типа робота используется собственный набор весов, что позволяет проецировать состояния роботов с разной кинематикой в общее латентное пространство. Таким образом, модель учится в латентном пространстве, где все роботы и все задачи приводятся к унифицированной форме взаимодействия. Это обеспечивает переносимость и переиспользуемость параметров между платформами.

Данные и схема обучения

Обучение проводится на триплетах вида:
(изображение, текстовая команда, состояние на момент t) → предсказание действий на t+1…t+16.

Важная ценность GR00T — масштаб и структура обучающего пула данных. NVIDIA показала, что базовые модели можно эффективно обучать на смеси реальных и синтетических данных, что радикально снижает стоимость датасета.

Всего — около 6 500 часов данных:

88 часов телеоператорских демонстраций, собранных NVIDIA
3 300 часов телеопа с разных роботов из публичного домена
2 500 часов видео людей (egocentric human demonstrations)
2 700 часов синтетики

Синтетические данные формируются по двум схемам:

Simulation Trajectories — телеоп-треки из симулятора, расширенные методом DexMimicGen,
Neural Trajectories — сцены, аугментированные видео-моделью, дообученной на телеоп-роликах.

Видео людей требуют особой обработки: обучается VQ-VAE, кодирующий наблюдения человека от первого лица в латентное “позовое” пространство тела, что позволяет использовать эти данные наравне с роботизированными демонстрациями.

Обучение GR00T N1.5 проводилось на 50 000 GPU-часов на графических ускорителях NVIDIA H100. На NVIDIA Orin AGX (TensorRT backend) модель инферится «в вакууме» за ≈ 100 мс на один шаг предсказания, что делает её пригодной для использования на мобильных гуманоидных платформах.

Результаты

GR00T N1.5 — это базовая (foundation) модель для манипуляции, предназначенная для последующего дообучения под конкретный тип робота и задачу.

Такой подход обеспечивает:

быструю адаптацию к новому телу робота,
существенное снижение объёма требуемых данных,
рост качества (success rate) для задач как в симуляции, так и на реальных задачах.

На этом все. В следующий раз обсудим модель pi0.

Подписывайтесь на наш канал 🤖❤️: https://t.me/+Kh7YUgQ3QvI4MzYy

GR00T N1.5: архитектура, данные и эволюция VLA-моделей