Google DeepMind запустила Game Arena — бенчмарк с настольными играми для тестирования LLM

[avshkol]

А где гарантия, что модель унутре себя не подключит программку - шахматного агента?

[BlackMokona]

Если подключит, то значит научилась

[avshkol]

Во время тестирования языковые модели не могут пользоваться возможностями игровых движков и полагаются только на систему распознавания изображений.

Как это проверить, обращаясь к модели на сервер?

[BlackMokona]

Просто подавать видеопоток, а не игровые данные внутренние с движков

[pol_pot]

Ллм же не умеет играть в шахматы и зрения у большинства нет. Странная затея. Если их будут дисквалифицировать за неверные ходы то большинство сольется за 5 минут.

[BlackMokona]

Так цели нету устроить зрелищный турнир. Это просто бичмарк для отслеживания прогресса ИИ