Artificial Analysis опубликовала результаты независимого тестирования Grok 4.5 на AutomationBench-AA — лидерборде, который проверяет, могут ли AI-агенты автоматизировать реальные рабочие процессы в SaaS-сервисах. Модель SpaceXAI заняла первое место с 51,4% и стала первой, кто выполнил больше половины целей без нарушения бизнес-правил. Флагманы Anthropic остались позади: Claude Fable 5 набрал 48,6% (модель работала с фолбэком на Opus примерно в 18% задач), Claude Opus 4.8 — 48,5%. При этом задача обходится Grok 4.5 в $0.34 — вчетверо дешевле, чем у конкурентов ($1.35 у Fable 5 и $1.46 у Opus 4.8).
Сам бенчмарк разработала Zapier, а Artificial Analysis прогоняет его независимо и держит тестовый набор закрытым, чтобы задачи не попали в обучающие данные. Модели выполняют 657 заданий в 40 симулированных средах — Gmail, Google Sheets, Slack, Salesforce, HubSpot и других. Агент сам ищет нужные эндпоинты через REST API и ориентируется в окружении, где попадаются нерелевантные и вводящие в заблуждение записи. Итоговый балл — доля целей, выполненных без единого нарушения ограждений.
Победу обеспечила экономика, а не грубая сила. Grok 4.5 тратит около 8 тысяч выходных токенов на задачу — меньше четверти от показателя Opus 4.8 (32 тысячи). Задачи модель решает примерно за 16 ходов, упаковывая в каждый по 3,3 параллельных вызова инструментов — больше, чем любая другая модель из лидеров. Добавим низкие цены на токены ($2 за миллион входных и $6 за миллион выходных), и разрыв в стоимости перестает удивлять.
Есть и ложка дегтя: правила Grok 4.5 нарушает чаще конкурентов — 0,63 нарушения на задачу против 0,55 у Opus 4.8 и 0,46 у Gemini 3.5 Flash. По соотношению выполненных целей на одно нарушение модель уступает и той, и другой. Для компаний, которые подключают агентов к живым финансовым системам, это существенно: одно нарушение может стоить реальных денег.
Похожая картина и в программировании. На Coding Agent Index Grok 4.5 в агенте Grok Build набрал 76 баллов — вровень с GPT-5.5 (xhigh) в Codex и чуть ниже Fable 5 (max) в Claude Code. Но задача в Grok Build стоит $2.49 против $11.80 у Fable 5 и $5.07 у GPT-5.5: модель расходует 1,9 млн токенов на задачу, тогда как Fable 5 — 7,2 млн, а GPT-5.5 — 6,2 млн.
В общем зачете Intelligence Index Grok 4.5 занял четвертое место с 54 баллами — после Fable 5, GPT-5.5 и Opus 4.8, прибавив 16 пунктов к результату Grok 4.3. Правда, рост не бесплатный: точность на фактологическом тесте AA-Omniscience выросла с 35% до 52%, но и доля галлюцинаций подскочила с 25% до 54% — модель знает больше, но и увереннее ошибается. Тем не менее заявка Илона Маска про "модель уровня Opus", которая в собственных бенчмарках SpaceXAI подтверждалась лишь отчасти, после независимых замеров выглядит куда убедительнее.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
