В разговоре с Логаном Килпатриком глава Google DeepMind Демис Хассабис заявил, что считает игры одним из самых перспективных бенчмарков для ИИ. Хассабис отметил, что многие существующие тесты, вроде SAT (стандартизированный тест для поступления в колледжи), GRE (тест для аспирантуры) и MMLU (многоуровневый тест на понимание языка), уже почти «пройдены» ИИ. При этом современные модели показывают «неровный интеллект»: получают золотые медали на Международной математической олимпиаде (IMO), но совершают элементарные ошибки в простых логических задачах или специально сформулированных играх. Это указывает на отсутствие у моделей ключевых навыков, таких как рассуждение, планирование и память, которые необходимы для достижения настоящего общего искусственного интеллекта.
Чтобы понять, почему так происходит, нужны новые тесты, которые будут охватывать не только интеллектуальные задачи, но и аспекты реального мира. По мнению Хассабиса, игры — отличная среда для таких тестов. Они дают четкие правила, объективные цели и понятный результат: победа или поражение.
Именно с этой целью Google совместно с Kaggle запустила Game Arena — арену, где модели ведущих разработчиков состязаются в разных играх. Первой игрой стали шахматы: в финале GPT o3 победила Grok 4. Хассабис надеется, что в будущем на арене появятся тысячи игр.
Хассабис отмечает, что подобные тесты уникальны — ведь каждый раунд создается с нуля двумя играющими моделями. Кроме того, сложность тестов будет повышаться параллельно тому, как будут расти характеристики ИИ. Хассабис рассчитывает, что в какой‑то момент модели даже начнут создавать новые игры друг для друга.
P. S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.