Слепой краш-тест 27 LLM осени 2026 (GPT-6, Opus, Алиса): кто сломал JSON, проглотил инъекцию и влетел на 152-ФЗ

[ENick]

"""Что вскрыл слепой аудит:""" Сложилось мнение, на уровне ощущений, что переименование не решает вопрос анонимизации. Аудит, возможно, надо запускать на другой день и с другого юзера.

"""для любителей тюнинга параметров""" вопрос тонкий. На одной задаче за 5 попыток с Claude не решил то, что настроенный локальный Qwen3.8-27B Q8 делает без ошибок.

[artur_realnost]

Спасибо за отличные поинты! Отвечу по обоим пунктам:

1. Про «другой день и другого юзера» (почему это актуально для веб-чатов, но не для нашего теста): В пользовательских веб-интерфейсах (ChatGPT / Claude Web) действительно есть скрытая межсессионная память, профилирование юзера и A/B-тесты роутеров. Но наш раннер (bench.py) гонял модели строго через чистый Stateless API (без истории аккаунта, куки и системных надстроек веб-чата, где часть шагов Q1-Q6 - это изолированный API-вызов с нуля). Под «слепым аудитом» в статье имеется в виду двойное ослепление на стороне оценки: во-первых, все промпты и названия компаний/людей в датасете были синтетическими (не из обучающей выборки), а во-вторых, скрипт-валидатор и LLM-судья проверяли обезличенные ответы под кодами M01-M27, не зная, где дорогой Opus, а где условный Flash.

2. Про локальный Qwen 3.8-27B Q8 vs Claude: Полностью согласен! Более того, ваш пример отлично бьется с результатами моего прогона: в моём тесте открытые китайские модели (Qwen 3.8 Max и DeepSeek V4.1) выбили 90-91% и обошли часть западных проприетарных моделей как раз на строгих структурных задачах. Когда задача узкая и хорошо формализована, правильно настроенная локальная модель в Q8 (с четким сэмплингом, системным промптом или грамматикой GBNF/Outlines в vLLM/llama.cpp) часто работает стабильнее облачного флагмана, у которого под капотом крутится сложный RLHF-фильтр, пытающийся «додумать» за пользователя. Плюс локальный Qwen сразу закрывает вопрос с 152-ФЗ, на котором в Q6 посыпалась половина облачных моделей :)

[ENick]

"Qwen 3.8-27B Q8" <===> "...на котором в Q6 посыпалась ..." уточняю для читателей Хабр, у меня Q8 это квант. Кстати, квант Q6 тоже неплохо работает

[meshkovalexey]

Спасибо за слепой прогон с тремя судьями — редко кто так делает.

Из прода по юр. документам: «чистый JSON по просьбе» я бы не считал продовым сценарием. У нас схема держится на structured output + валидации + одном ретрае, и сломанный JSON почти исчез. А вот выдуманные нормы права никакая схема не ловит — это ловит только eval-набор с эталонами и судья.

Вопрос: насколько три судьи совпадали между собой? У меня LLM-as-judge на ~70 кейсах заметно расходился с ручной разметкой именно на юридических формулировках.