Исследователи из Goodfire AI и Гарварда обнаружили, что reasoning-модели вроде DeepSeek-R1 (671B) и GPT-OSS (120B) часто занимаются "театральным рассуждением" — модель уже уверена в ответе на 90%, но продолжает генерировать цепочку рассуждений (chain-of-thought), как будто еще думает. Простые зонды, обученные на внутренних активациях, считывают ответ модели задолго до того, как он появляется в тексте рассуждений.
Авторы использовали три метода: attention-пробы на скрытых состояниях модели, принудительный обрыв рассуждения с требованием дать ответ и внешний CoT-монитор, читающий текст рассуждений. На простых вопросах из бенчмарка MMLU (в основном задачи на знание) разрыв между пробами и монитором оказался огромным — модель "знала" ответ с первых шагов, но текстовые рассуждения выглядели так, словно решение еще впереди. На сложных вопросах из GPQA-Diamond (уровень аспирантуры по физике, химии и биологии) картина другая: уверенность модели росла постепенно вместе с текстом, и все три метода показывали похожую динамику. Здесь CoT действительно помогал — это было подлинное мышление.
Отдельный интересный вывод касается точек перелома — моментов, когда модель пишет "подождите, я ошибся" или "на самом деле...". Такие развороты появляются почти исключительно в ответах, где пробы фиксируют реальную неуверенность модели. Когда модель уверена с самого начала, подобных разворотов практически нет. Это значит, что backtracking и aha-моменты в рассуждениях — не показуха, а отражение реальных внутренних сомнений.
Из исследования вытекает и практическая польза: если зонд показывает, что модель уже уверена в ответе, генерацию можно просто остановить. На MMLU это экономит до 80% токенов при сохранении 97% точности, на GPQA-Diamond — 30% с тем же качеством. По сути, дешевый датчик поверх активаций говорит "хватит думать" — и модель отвечает сразу. Стоит отметить, что DeepSeek-R1 (671B) и GPT-OSS (120B), на которых проводилось исследование, отстали от новых моделей на несколько поколений — не исключено, что ведущие разработчики за это время приняли меры по сокращению ненужного расхода токенов.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
