Comments 1
Интересно, что работа фактически эмпирически подтверждает пользу внутреннего когнитивного конфликта и смены перспектив, а не просто увеличения длины reasoning.
Если абстрагироваться от реализации, то описанное «society of thought» очень похоже на децентрализованную систему — только свернутую внутрь одной модели.
Улучшение качества возникает не из централизованного контроля, а из множества полуавтономных позиций, которые могут спорить, не соглашаться и возвращаться к предыдущим шагам.
Парадоксально, что при этом обмен знаниями между крупными моделями и вендорами считается «не-нормой», тогда как внутри одной модели подобная децентрализация оказывается критически полезной.
Особенно это заметно на фоне активного использования синтетических данных. Обучение модели преимущественно на собственных синтетических знаниях всё чаще сравнивают с инбридингом — разнообразие падает, ошибки закрепляются.
В этом смысле обмен синтетическими знаниями между моделями — даже без раскрытия весов — мог бы играть роль «притока новых перспектив», аналогичного внутреннему society of thought, но уже на межмодельном уровне.
Если децентрализация и конфликт точек зрения улучшают reasoning внутри модели, возможно, вопрос не в том, работает ли децентрализация, а в том, на каком уровне архитектуры мы готовы её допустить?
Голоса в голове делают ответы ИИ лучше — исследование Google