Разработчики представили нейросеть, которая в реальном времени генерирует геймплей CS:GO

Исследователи из Университета Женевы, Университета Эдинбурга и группы Microsoft Research представили обновление нейросети DIAMOND (DIffusion As a Model Of eNvironment Dreams). Модель машинного обучения теперь может в реальном времени генерировать геймплей игры Counter-Strike: Global Offensive.

Первую версию DIAMOND показали в мае 2024 года. Тогда нейросеть научили генерировать геймплей игр для Atari с разрешением 64×64 пикселя. Примечательно, что нейросеть реагировала на команды пользователя и учитывала их при генерации следующего кадра.

В октябре 2024 года исследователи представили следующей шаг своей разработки — нейросеть DIAMOND, которая генерирует геймплей CS:GO. Разработчики вдохновились проектом нейродвижка GameNGen, который создали в Google. Команда проекта научила нейросеть симулировать игровой процесс Doom.

DIAMOND также реагирует на нажатия клавиш и использует эти данные для генерации следующего кадра. При этом для запуска с частотой обновления экрана 10 FPS будет достаточно стандартной видеокарты RTX 3090. В работе модели прослеживаются визуальные баги, например, персонаж иногда может проходить сквозь стены, а оружие в руках — меняться.

Проект опубликован на GitHub и нейросимуляцию CS:GO можно запустить локально. Для этого сперва надо установить зависимости:

git clone git@github.com:eloialonso/diamond.git
cd diamond
conda create -n diamond python=3.10
conda activate diamond
pip install -r requirements.txt

После можно запустить симуляцию Atari:

python src/play.py --pretrained

Или Counter-Strike: Global Offensive:

git checkout csgo
python src/play.py