Исследователи Принстонского университета представили Video Game Bench — бенчмарк, в котором языковые модели проходят классические игры для MS-DOS и Game Boy. Код бенчмарка открыт и опубликован на GitHub.

Авторы проекта решили выяснить, какая из языковых моделей может пройти как можно больше классических игр. При этом для анализа нейроагентам предоставляют только вводный промпт и кадры самой игры. Исследователи отмечают, что языковые модели могут решать сложные задачи, но пока не было случаев, когда нейросеть полностью проходила игру. В основном это связано с тем, что языковые модели плохо справляются с долгосрочными логическими рассуждениями, не запоминают порядок действий, не обладают пространственным мышлением и интуицией.

Для анализа возможностей языковых моделей исследователи разработали бенчмарк, в котором нейроагенты могут поиграть в одну из 20 классических игр для MS-DOS и Game Boy. Поддержку MS-DOS реализовали с помощью DOSBOX, а GameBoy — PyBoy. В бенчмарке агенты могут видеть экран игры и управлять контроллером. Авторы заявляют поддержку нажатия одиночных клавиш, последовательностей и действий с таймером. Например, агент может удерживать определённую клавишу несколько секунд, а после нажать на другую кнопку.

Есть поддержка следующих игр:

Авторы проекта заметили особенности, которые мешают языковым моделям успешно проходить классические игры до конца:

• Неинтуитивные механики. Если нейросети не рассказать об игре, правилах и механиках, то она не поймёт, что ей нужно делать.

• Непривычные устройства ввода. Продвинутые модели от OpenAI, Google и Anthropic не умеют пользоваться мышью. Им сложно управлять игрой в Civilization и Warcraft II.

• Неправильная трактовка происходящего. Нейросети часто неправильно распознают образы, что приводит к неправильному планированию действий. Например, Claude Sonnet 3.7 в Doom II часто принимает мёртвых врагов за живых и открывает по ним огонь до тех пор, пока не закончатся патроны.

• Задержка вывода. Языковым моделям нужно время на анализ данных и генерацию ответа, что сильно мешает в динамичных играх. Например, если нейроагент заметил на экране врага, то к моменту генерации ответа врага уже не будет на изначальном месте. Для решения этой проблемы исследователи выпустили бенчмарк Video Game Bench Lite, который ставит игру на паузу и даёт нейросети время, чтобы подумать.