Microsoft опубликовала техническую демонстрацию ИИ-версии игры Quake II, которая работает на базе нейросети Muse. Команда проекта обновила модель машинного обучения так, чтобы она могла генерировать картинку с большим разрешением и с большей скоростью.
В феврале Microsoft представила нейросеть Muse и архитектур World and Human Action Model (WHAM), которые позволяют в реальном времени генерировать игры. Модель получает нажатия кнопок пользователя и учитывает их, создавая следующие кадры. Сейчас Microsoft представила World and Human Action MaskGIT Model (WHAMM) — обновление технологии и демо — нейроверсию Quake II.
Что улучшили разработчики:
Скорость генерации. WHAMM может создавать до 10 кадров в секунду, когда прошлая версия достигала только 1 кадра.
Новая игра. Первую версию проекта обучили на Bleeding Edge, а обновление — на Quake II.
Компактный датасет. Для обучения прошлой версии нейросети использовали данные семи лет игры, а сейчас хватило данных всего за одну неделю.
Большее разрешение. WHAMM генерирует кадры с разрешением 640×360 пикселей, а прошлая версия — 300×180.
Исследователи считают эксперимент успешным, но напоминают про ограничения, которые важно учитывать:
Нейросеть не может воссоздать оригинальную игру Quake II. Она просто повторяет кадры, которые были в датасете, поэтому не стоит ожидать полного соответствия оригиналу.
Враги в нейроверсии игры иногда отображаются неправильно.
Длина контекста нынешней модели составляет 0,9 секунды (9 кадров при 10 FPS) игрового процесса. Объекты, которые выходят за рамки этого времени, могут исчезать.
WHAMM пока что обучили только на небольшой части одного уровня Quake II.
Протестировать нейроверсию Quake II можно в сервисе Copilot.
