Прогнали на нашем интерактивном бенчмарке gpt-5.5 показывает заметно более надёжный профиль работы с инструментами и проверкой собственного результата, чем gpt-5.4.
По формальной проверке корректности результата gpt-5.5 успешно закрывает на 20% больше задач.
Самое наглядное — success rate инструментов.
У gpt-5.5 он держится на 100% почти везде: read_file 497/497, edit_file 71/71, run_configuration 71/71, search_file_by_name 111/111.
У gpt-5.4 на сопоставимых объёмах есть просадки — run_configuration 93.9%, search_file_by_name 96.3%, edit_file 98.9%.
С этим хорошо совпадает и ревью LLM-судей: gpt-5.5 точнее держит пути и аргументы инструментов (11 задач против 3) и аккуратнее доводит инструментальную проверку результата (13 против 8). По метрике ToolCalls итог — 0.81 против 0.72 в пользу gpt-5.5.
В проверке собственной работы картина похожая. По блоку «верификация и чтение результатов» судья отдаёт gpt-5.5 18 задач против 10, по безопасности правок — 9 против 6: то есть gpt-5.5 заметно реже сообщает «всё ок» при падающей сборке и реже сам ломает соседние модули. И ведёт он себя при этом ощутимо экономнее: те же 32 чата закрываются за 1183 вызова инструментов и 235 855 токенов, тогда как gpt-5.4 тратит на это 1436 вызовов и 337 493 токена. То есть gpt-5.4 чаще «дожимает» задачу количеством шагов, а gpt-5.5 — точностью первого подхода.
По остальным метрикам качества разница невелика, и тут есть любопытный момент: судьёй в этом сравнении выступал сам gpt-5.4. Известно, что в таких ситауациях стабильно проявляется self-preference bias — модель-судья охотнее ставит победу ответам в собственном стиле, формулировках и способе закрывать шаг.
