Разработчики выпустили бенчмарк для языковых моделей, в котором нейросетям надо играть в Street Fighter III

Разработчики представили бенчмарк для оценки возможностей языковых моделей в реальном времени. Для этого используется игра Street Fighter III. Авторы проекта отмечают, что динамичные компьютерные игры отлично подходят для таких задач.

Street Fighter III выбрали для оценки языковых моделей по следующим причинам:

• Скорость. Игры в реальном времени позволяют оценить, как быстро языковая модель анализирует данные и принимает решения.

• Сообразительность. Для хороших результатов важно тщательно просчитывать ходы.

• Нестандартное мышление. Чтобы победить, надо принимать необычные решения.

• Адаптивность. Надо учиться на своих ошибках, чтобы противник не мог использовать их.

Языковые модели в реальном времени управляют персонажами в Street Fighter III. Для этого им передают текстовое описание экрана, включая историю ходов и уровень здоровья, как управляемого персонажа, так и противника. Эти данные нейросеть анализирует и принимает решение о следующем шаге.

Разработчики уже провели более 300 боёв между разными языковыми моделями. Для каждой из них собирали результаты и рассчитывали коэффициент Эло. Рейтинг сейчас выглядит следующим образом:

Код проекта открыт и опубликован в открытом репозитории. В нём можно найти подробную инструкцию по установке и запуску боёв.