Grok 4 стал лидером в новом бенчмарке FutureX, который проверяет ИИ-агентов на умение предсказывать будущее. Он обошел ChatGPT-Agent, GPT-5 Pro и Gemini.
FutureX задает моделям вопросы о событиях, которые произойдут в ближайшее будущее в разных областях. будущем — от политики и экономики до спорта и культуры. Например: "Какие сериалы займут 11–13-е места в топ-15 Hulu к дате Х?" или "Каков будет opening price NASDAQ в день Y?". Ответы фиксируются заранее и проверяются после того, как произойдет событий. Обновлять результаты планируется каждые две недели.
Баллы — это не проценты решённых задач: рейтинг FutureX рассчитывается по схеме, учитывающей сложность вопроса. Даже у лидеров абсолютные значения пока скромные, люди-аналитики чаще точнее.
FutureX интересен тем, что под этот бенчмарк нельзя "заточить" модель, равно как она не может подсмотреть информацию в интернете - ответы на вопросы о будущем не известны по понятным причинам. Поэтому рост результатов покажет, когда ИИ можно будет привлекать к реальному прогнозированию.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.