Общество мыслей: совещание внутри LLM

Вы наверняка слышали про Chain-of-Thought. "Пусть модель думает вслух, и она станет умнее" — звучит логично, правда? Добавляем "Let's think step by step" в промпт, модель генерирует больше токенов, качество растёт. Почему это работает — долгое время было неочевидно.

Но вот что странно: DeepSeek-R1, QwQ-32B и модели серии OpenAI o (o1, o3) показывают результаты, которые невозможно объяснить просто "более длинными рассуждениями". Они решают задачи, на которых обычные модели с Chain-of-Thought спотыкаются. И дело не в размере модели и не в количестве токенов.

Исследователи из Google Research и University of Chicago в статье "Reasoning Models Generate Societies of Thought" заглянули внутрь этих моделей — и обнаружили там нечто неожиданное. Внутри reasoning-моделей происходит не монолог. Там идёт совещание — симуляция многоперспективного диалога внутри одной модели. С конфликтами, дебатами и примирением. И это не просто аналогия — это буквальные паттерны в токенах модели.

Почему Chain-of-Thought недостаточен

Давайте разберёмся, что не так с классическим подходом.

Chain-of-Thought работает примерно так: модель получает задачу, последовательно выписывает шаги решения, приходит к ответу. Один эксперт думает вслух. Линейно. Без сомнений. Без альтернатив.

Проблема в том, что сложные задачи редко решаются линейно. Когда вы сами решаете трудную проблему, вы:

Пробуете один подход, упираетесь в стену
Переключаетесь на другой
Возвращаетесь к первому с новым пониманием
Сомневаетесь в своих промежуточных выводах
Проверяете результат

Instruction-tuned модели этого не делают. Они выбирают один путь и идут по нему до конца. Даже если этот путь ведёт в тупик.

Сравнение подходов

Характеристика	Instruction-tuned	Reasoning-модели
Поток рассуждений	Линейный	Нелинейный, с ветвлениями
Альтернативы	Не рассматривает	Генерирует и сравнивает
Self-correction	Редко	Регулярно
Проверка результата	Обычно нет	Встроена в процесс
Длина trace	Короткая	Длинная
Accuracy на сложных задачах	Ниже	Выше

Ключевая идея: Society of Thought

Представьте себе совещание в компании. Не формальное, где все кивают головой, а настоящее — где продакт спорит с разработчиком, дизайнер предлагает третий вариант, а тимлид пытается найти компромисс.

Именно это происходит внутри reasoning-моделей.

Исследование показало, что DeepSeek-R1 и QwQ-32B не просто "думают дольше". Они генерируют внутренний диалог между разными перспективами. Каждая перспектива — это как отдельный эксперт со своим подходом (технически это разные активационные паттерны в одной модели, а не отдельные сущности):

Перспектива A: "Давайте решим алгебраически"
Перспектива B: "Нет, геометрический подход нагляднее"
Перспектива C: "А что если комбинировать оба метода?"

И эти перспективы не просто сосуществуют. Они спорят. Конфликтуют. И в итоге приходят к консенсусу.

Не путать с Mixture of Experts

Звучит похоже на Mixture of Experts (MoE)? Это разные вещи.

Mixture of Experts — архитектурный паттерн. В моделях типа Mixtral или Switch Transformer есть буквально разные подсети-эксперты, и router решает, какого эксперта активировать для каждого токена. Это hardcoded в архитектуре: эксперты существуют как отдельные веса, routing происходит на уровне forward pass.

Society of Thought — эмерджентное поведение. Никаких отдельных экспертов в архитектуре нет. Разные "перспективы" — это разные активационные паттерны в одной и той же модели, которые возникают во время генерации. Модель не была спроектирована для этого — она сама научилась переключаться между разными "точками зрения" в процессе рассуждения.

	Mixture of Experts	Society of Thought
Уровень	Архитектура модели	Паттерн рассуждений
Эксперты	Отдельные подсети с разными весами	Активационные паттерны в одной модели
Когда работает	Forward pass (каждый токен)	Inference (в процессе генерации)
Явный дизайн	Да, заложено архитектурно	Нет, возникает спонтанно
Routing	Learned router выбирает эксперта	Нет явного routing, переключение через маркеры в тексте

Проще говоря: MoE — это "разные эксперты обрабатывают разные части входа", а Society of Thought — это "одна модель ведёт внутренний диалог с разных позиций".

Аналогия с коллективным интеллектом

Почему "внутренний диалог" вообще помогает? В социальной психологии давно известно: группа экспертов с разными точками зрения решает сложные задачи лучше, чем один гений. Diversity + structured debate = better outcomes.

Reasoning-модели воспроизводят этот принцип внутри себя. Не потому, что их этому учили — а потому, что это работает.

Исторические корни идеи

Концепция "общества внутри разума" не нова. Она имеет глубокие корни:

Михаил Бахтин (1920-е) — теория диалогизма: мышление по своей природе диалогично
Charles Cooley и George Mead — социальное "я" формируется через внутренний диалог
Marvin Minsky (1986) — "Society of Mind": интеллект как взаимодействие множества простых агентов

То, что reasoning-модели спонтанно воспроизводят эти паттерны, говорит о том, что внутренний диалог — возможно, фундаментальный механизм сложного мышления.

Как это работает: четыре паттерна

Исследователи выделили четыре ключевых паттерна "conversational dynamics" в reasoning-моделях:

1. Question-Answering

Модель задаёт вопросы самой себе:

"Какой метод здесь лучше подойдёт?"
"Попробую подстановку — проще для начала."

Это не риторические вопросы. Модель реально переключается между режимом "спрашивающего" и "отвечающего".

2. Perspective Shift

Смена точки зрения на проблему:

"Hmm, алгебраический подход даёт дроби..."
"Давай подумаем иначе. Что если посмотреть геометрически?"

Маркеры: "Actually...", "Wait, what if...", "Let me think..."

3. Conflict

Конфликт между внутренними голосами:

Голос 1: "Подстановка даст дробные числа!"
Голос 2: "Но исключить еще сложнее! "
"Подожди... может, есть третий путь?"

Маркеры: "But...", "However...", "Hmm, я не уверен..."

4. Reconciliation

Примирение и синтез:

"Оба подхода валидны, но гибридный метод объединяет их преимущества."
"Проверю результат обоими способами."

Маркеры: "So...", "Therefore...", "Let me verify..."

Сравнение на примере

Чтобы разница была наглядной, посмотрим на упрощённом примере, как instruction-tuned модель и reasoning-модель решают одну и ту же задачу.

Пример: Instruction-tuned модель (линейное рассуждение)

Задача: Решить систему уравнений 5x − 7y = 1 и 3x + 4y = 20

Решение:

Из первого уравнения выразим x: x = (1 + 7y) / 5

Подставим во второе: 3(1 + 7y)/5 + 4y = 20

(3 + 21y)/5 + 4y = 20

3 + 21y + 20y = 100

41y = 97

y = 97/41

x = (1 + 7 * 97/41) / 5 = 144/41

Ответ: x = 144/41, y = 97/41

Характеристики: Линейный поток. Один метод выбран сразу. Нет самопроверки. Нет рассмотрения альтернатив.

Пример: Reasoning-модель (Society of Thought)

Задача: Решить систему уравнений 5x − 7y = 1 и 3x + 4y = 20

[DEFINE] Переформулирую задачу:

Два линейных уравнения, две переменные. Нужно найти x и y.

[BLOOM] Какие подходы возможны?

- Метод подстановки (выразить одну переменную)

- Метод исключения (сложить/вычесть уравнения)

Хм, коэффициенты не очень удобные для исключения...

Но подожди — если умножить первое на 4, а второе на 7...

[PERSPECTIVE SHIFT]

Нет, позволь мне подумать иначе. Подстановка проще для понимания.

Из уравнения (2): x = (20 − 4y)/3

Подставляю в (1): 5[(20 − 4y)/3] − 7y = 1

[CONFLICT]

Подожди, получаются дроби. Может, исключение всё-таки лучше?

Но я уже начал... продолжу и проверю.

Умножаю на 3: 5(20 − 4y) − 21y = 3

100 − 20y − 21y = 3

100 − 41y = 3

y = 97/41

[VERIFICATION]

Хм, проверю: подставлю обратно...

- В уравнение (1): 5*(144/41) − 7*(97/41) = 720/41 − 679/41 = 41/41 = 1 ✓

- В уравнение (2): 3*(144/41) + 4*(97/41) = 432/41 + 388/41 = 820/41 = 20 ✓

[RECONCILIATION]

Оба метода дали бы тот же ответ, но подстановка оказалась достаточно прямолинейной. Проверка подтверждает корректность.

Ответ: x = 144/41, y = 97/41

Характеристики:

- [DEFINE] — переформулировка задачи

- [BLOOM] — генерация альтернативных подходов

- [PERSPECTIVE SHIFT] — смена точки зрения

- [CONFLICT] — внутренний конфликт между подходами

- [VERIFICATION] — самопроверка

- [RECONCILIATION] — примирение, синтез выводов

Обратите внимание: оба решения приходят к одному ответу. Но reasoning-модель по пути рассмотрела альтернативы, засомневалась в своём выборе, проверила результат. Это и есть "общество мыслей" в действии.

Социо-эмоциональные роли: Bales' IPA

Четыре паттерна — это только часть картины. Исследователи пошли дальше и применили классический инструмент из социологии: Bales' Interaction Process Analysis (IPA).

Что такое Bales' IPA

Это система анализа групповых дискуссий, разработанная социологом Робертом Бейлсом в 1950-х годах. Она выделяет 12 типов коммуникативных актов, которые происходят в любой групповой дискуссии — от совещания в офисе до научного семинара.

Оказалось, что reasoning-модели воспроизводят все эти роли в своих внутренних рассуждениях.

12 ролей внутреннего диалога

Категория	Роль	Пример маркера	Что делает
Вопросы	Ask for orientation	"What is the problem asking?"	Запрашивает факты, уточняет условия
	Ask for opinion	"Which method is better here?"	Запрашивает оценку, мнение
	Ask for suggestion	"How should I approach this?"	Запрашивает направление действий
Ответы	Give orientation	"The problem has two variables..."	Даёт факты, информацию
	Give opinion	"I think substitution is simpler"	Даёт оценку, анализ
	Give suggestion	"Let me try elimination first"	Предлагает конкретное действие
Позитивные	Agreement	"Yes, that makes sense"	Соглашается, подтверждает
	Solidarity	"This approach will work"	Выражает уверенность, поддержку
	Tension release	Okay, let's move forward"	Снимает напряжение, разряжает
Негативные	Disagreement	"But that gives fractions..."	Возражает, не соглашается
	Antagonism	"This is getting complicated"	Выражает фрустрацию
	Tension	"Wait, something is wrong here"	Создаёт напряжение, сигнализирует о проблеме

Баланс ролей: ключ к эффективности

Важно не просто наличие этих ролей, а их баланс. В исследовании использовали Jaccard index для измерения "reciprocal balance" — насколько сбалансированы парные роли (вопрос-ответ, согласие-несогласие).

Что обнаружили:

Reasoning-модели (DeepSeek-R1, QwQ) показывают значительно более высокий баланс ролей, чем instruction-tuned модели
Более высокий баланс коррелирует с более высокой accuracy
На сложных задачах разница в балансе ещё более выражена

Это похоже на хорошо проведённое совещание: не только споры, но и резюмирование; не только критика, но и конструктивные предложения.

Diversity (разнообразие) перспектив: почему разнообразие важно

Исследователи не остановились на ролях. Они проанализировали, насколько разные перспективы внутри reasoning-моделей отличаются друг от друга — и обнаружили, что diversity (разнообразие) играет ключевую роль.

Личностные профили перспектив

Для анализа использовали Big Five — классическую модель личностных черт из психологии:

Черта	Что измеряет	Как проявляется в рассуждениях
Openness	Открытость новому	"Let me try a different approach..."
Conscientiousness	Добросовестность	"Let me double-check this calculation..."
Extraversion	Экстраверсия	Активное предложение идей
Agreeableness	Дружелюбие	"Yes, that makes sense, and also..."
Neuroticism	Тревожность	"Wait, something seems off here..."

Оказалось, что в reasoning-моделях разные перспективы имеют различные личностные профили. Одна перспектива может быть высоко по Openness ("а что если попробовать иначе?"), другая — высоко по Conscientiousness ("давай перепроверим").

Типы перспектив

На практике это выглядит как разные "роли" в команде:

Critical verifier — высокий Neuroticism, фокус на поиске ошибок
Creative ideator — высокий Openness, генерация альтернатив
Systematic executor — высокий Conscientiousness, методичное выполнение
Integrator — высокий Agreeableness, синтез разных подходов

Expertise diversity

Помимо личностных черт, исследователи измерили "expertise diversity" — насколько разные перспективы используют разные области знаний. Для этого применили cosine distance между embeddings каждой перспективы.

Результат: Reasoning-модели показывают значительно более высокое разнообразие экспертизы между перспективами, чем instruction-tuned модели.

Почему diversity помогает

Разнообразие перспектив решает проблему "echo chamber" — когда все участники дискуссии думают одинаково и усиливают ошибки друг друга.

В instruction-tuned моделях рассуждение часто застревает в одном подходе. Если первый шаг был ошибочным, модель продолжает в том же направлении.

В reasoning-моделях разные перспективы могут:

Заметить ошибку ("Wait, that doesn't seem right...")
Предложить альтернативу ("What if we try...")
Проверить результат с другой стороны ("Let me verify by...")

Валидация на реальных дебатах

Чтобы убедиться, что метрики diversity осмысленны, исследователи проверили их на Intelligence Squared Debates Corpus — базе реальных структурированных дебатов между экспертами.

Корреляция между метриками diversity и качеством дебатов: rho = 0.86 (p < 0.001).

Это подтверждает, что те же паттерны, которые делают человеческие дебаты продуктивными, работают и внутри reasoning-моделей.

Что показали эксперименты

Это не просто красивая теория. Исследователи провели серию экспериментов, которые подтвердили причинно-следственную связь.

Эксперимент 1: Количественный анализ

DeepSeek-R1 и QwQ-32B сравнили с instruction-tuned моделями (DeepSeek-V3, Qwen-2.5-32B-Instruct, Llama-3.3-70B-Instruct) на шести бенчмарках:

BigBench Hard (логика)
GPQA (graduate-level физика)
MATH Hard (математика)
MMLU-Pro, MUSR, IFEval

Результат: Reasoning-модели показывают статистически значимо больше conversational behaviors (p << 10^-100). Причём разница усиливается на более сложных задачах.

Эксперимент 2: Activation Steering

Исследователи нашли конкретную feature в Sparse Autoencoder (Feature 30939), связанную с маркерами "surprise/realization" — теми самыми "Wait...", "Hmm...", "Actually...".

Эту feature можно искусственно усиливать (+10) или подавлять (-10):

Steering	Accuracy	Conversational markers	Эффект
-10 (подавление)	23.8%	Почти отсутствуют	Модель "забывает" сомневаться
0 (baseline)	27.1%	Умеренно	Обычное поведение
+10 (усиление)	54.8%	Много	Активная самопроверка

Контраст показателен: при -10 модель перестаёт использовать маркеры типа "Wait...", "Hmm..." — и accuracy падает вдвое. При +10 маркеры появляются чаще — и accuracy удваивается.

Это доказывает причинно-следственную связь: conversational паттерны не просто коррелируют с accuracy, они её вызывают.

Эксперимент 3: RL без явной награды за диалог

Базовые модели (Qwen-2.5-3B, Llama-3.2-3B) обучали с помощью RL, где награда давалась только за правильный ответ. Никакой явной награды за "conversational behavior".

Результат: Модели спонтанно увеличивали частоту внутренних диалогов по мере обучения. Эволюция сама нашла этот паттерн.

Эксперимент 4: Conversational Scaffolding

Модели, которые pre-fine-tuned с примерами диалоговых рассуждений:

Обучались быстрее
Достигали более высокой accuracy
Показывали transfer effects на другие задачи

Эксперимент 5: Transfer Effects

Самый интересный результат — transfer. Модели, обученные conversational reasoning на одной задаче (Countdown — математическая игра), показывали улучшение на совершенно других задачах.

Пример transfer:

Обучение: Countdown task (комбинаторная математика)
Тест: Misinformation detection (определение ложной информации)
Результат: улучшение accuracy без дополнительного обучения

Это говорит о том, что conversational reasoning — не узкий хак для конкретной задачи, а общий навык. Модель учится не "решать математику диалогом", а "решать сложные задачи через структурированное обсуждение с собой".

Что это значит для разработчиков

Окей, интересная наука. Но что с этим делать на практике?

1. Выбор модели

Если ваша задача требует сложных рассуждений (математика, логика, планирование), reasoning-модели типа DeepSeek-R1 или QwQ дадут лучший результат, чем просто "большая instruction-tuned модель".

Дело не в размере. Дело в паттерне рассуждений.

Конкретные примеры задач для reasoning-моделей:

Отладка сложного бага с неочевидной причиной
Архитектурные решения с множеством компромиссов
Анализ требований с противоречивыми ограничениями
Математические доказательства и верификация

2. Промпт-инжиниринг

Можно попробовать явно поощрять "conversational" стиль в промптах:

"Рассмотри несколько подходов"
"Проверь свои промежуточные выводы"
"Если сомневаешься — попробуй альтернативный метод"

Это не гарантирует успех с обычными моделями, но может помочь.

3. Fine-tuning

Если вы выполняете fine-tune своей модели, рассмотрите "conversational scaffolding" — включение примеров с внутренним диалогом в обучающие данные.

4. Интерпретация

Когда reasoning-модель выдаёт длинный trace (трассировку) — это не "мусор". Там реально происходит полезная работа. Изменение точки зрения, конфликты, примирение — все это влияет на качество окончательного ответа.

Когда reasoning-модели НЕ нужны

Reasoning-модели — не серебряная пуля. Они медленнее и дороже, а для некоторых задач просто избыточны.

Используйте обычные instruction-tuned модели, когда:

Простые фактические вопросы — "Какая столица Франции?" не требует внутренних дебатов
Творческие задачи без правильного ответа — генерация текста, идей, где нет "верного" решения
Задачи с требованием быстрого ответа — reasoning-модели генерируют длинные trace (трассировки), что увеличивает latency (задержку)
Простые линейные решения — если задача решается за 2-3 очевидных шага, "общество мыслей" не даст преимуществ
Массовые операции — обработка тысяч однотипных запросов, где стоимость одного токена имеет решающ��е значение

Правило: если задача не вызывает у вас самих желания "подумать с разных сторон" — скорее всего, reasoning-модель избыточна.

Заключение

Основной вывод исследования заключается в том, что совершенствование мышления в современных моделях заключается не только в "большем количестве токенов" или "большем количестве вычислений". Это качественно иной образ мышления.

Reasoning-модели научились имитировать коллективный интеллект:

Четыре паттерна (вопросы, смена перспектив, конфликт, примирение) структурируют внутренний диалог
12 социо-эмоциональных ролей Bales' IPA воспроизводятся в рассуждениях модели
Разнообразие точек зрения (Big Five "Большая пятерка", экспертиза) предотвращает эффект "эхо-камеры"
Transfer effects показывают, что это общий навык, а не хак для конкретных задач

И самое интересное — этот паттерн возникает спонтанно при обучении на accuracy. Никто не учил модели "спорить с собой". Они сами к этому пришли, потому что это работает. То, что философы и психологи описывали как природу мышления (Бахтин, Minsky), модели переоткрыли эмпирически.

Для практиков вывод прост: reasoning-модели — не универсальное решение, но для задач, требующих многоперспективного анализа, они дают качественно другой результат. Понимание механизма помогает выбрать правильный инструмент.

# Ссылки

1. Reasoning Models Generate Societies of Thought — Junsol Kim, Shiyang Lai, Nino Scherrer, Blaise Aguera y Arcas, James Evans (Google Research, University of Chicago), arXiv:2601.10825, январь 2025

2. DeepSeek-R1 — репозиторий модели

3. QwQ-32B Preview — блог-пост о модели

4. OpenAI o1 — Learning to Reason with LLMs

5. OpenAI o3 — Deliberative Alignment

6. Chain-of-Thought Prompting — Wei et al., 2022