Компания Nvidia выпустила новую модель для ИИ-агентов, ориентированных на игры. NitroGen - это модель обработки действий на основе OpenVision, обученная на 40 000 часах видеозаписей игрового процесса из более чем 1000 игр. Исследователи использовали ранее игнорируемый ресурс: видео с YouTube и Twitch с видимыми наложениями контроллера. Используя сопоставление шаблонов и доработанную модель SegFormer, они извлекли ввод игрока непосредственно из этих записей.
NitroGen основан на модели Nvidia GR00T N1.5. По словам исследователей, это первая модель, демонстрирующая, что базовые модели робототехники могут работать как универсальные агенты в виртуальных средах с различными физическими движками и визуальными стилями. Модель обрабатывает различные жанры - экшен-RPG, платформеры, roguelike-игры и многое другое. При использовании в незнакомых играх она демонстрирует до 52 процентов более высокую вероятность успеха, чем модели, обученные с нуля.
Команда, в состав которой входят исследователи из Nvidia, Стэнфорда, Калифорнийского технологического института и других университетов, сделала набор данных, веса модели, статью и код общедоступными.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!