Комментарии 1
Лидирует Claude Opus 4.5 с показателем 5,3 часа. Правда, если смотреть на 80%-й горизонт — задачи, которые модель решает надежно, — цифры скромнее: 42 минуты у Claude Opus 4.5 и 43 минуты у Gemini 3 Pro.
Еще месяц назад, результаты у Opus 4.5 были 288 минут для 50% успеха и всего лишь 27 минут для 80% (статья тут). Более того, вместе с выходом Opus 4.5 и так вышли какие-то изменения, которые прилично подтянули результаты всех моделей от Anthropic. Не удивлюсь, если скоро там будут вообще какие-нибудь 24 часа.
С GPT-5 и GPT-5.1-Codex Max ситуация ровно такая же, резкий прирост более чем в 1.5 раза буквально с ничего. Вдобавок неясно, почему у Opus 4.5 прирост значительно ниже, чем у этих двух моделей.
Большинство моделей по каким-то причинам выкосили нафиг, даже те, которые в старой версии бенчмарка показывали хорошие результаты. У совсем старых моделей горизонт вообще резко так скукожился.
В общем, видимо мы уже достигли того момента, когда бенчмарки будут подгонять так, чтобы была демонстрация экспоненциального роста.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Когда AI сможет работать месяц автономно? По данным METR — к 2027 году