Сложность через сжатие. Разбираю проект нейросимвольного ИИ Сергея Шумского

[noda_dev]

Спасибо за разбор — редкий формат, не пересказ доклада, а честный технический разбор с указанием на принципиальный изъян.

Ваш главный аргумент — «в контуре нет понятия ошибки, только сжатие» — по-моему, самый сильный в тексте. Добавлю практическое наблюдение: это ровно та граница, о которую в прикладных задачах спотыкаются и обычные LLM. Модель, оптимизированная на предсказание/сжатие, отлично ловит статистические закономерности, но проваливается там, где нужен внешний критерий верности — проверить, отсортирован ли массив, сходится ли баланс, соответствует ли ответ регламенту. Нет места для эталона — нет и способа отличить правдоподобное от правильного.

Поэтому ваш финал про узкие домены кажется мне не утешительным, а самым точным: как детектор скрытых паттернов в специализированных данных такая архитектура может выстрелить именно потому, что там задача — найти структуру, а не гарантировать истинность. Проблемы начнутся ровно в тот момент, когда от неё захотят «понимание», а не грамматически гладкое продолжение.

Вопрос из любопытства: автор не говорил, пробовал ли навесить поверх этой пирамиды хоть какой-то внешний сигнал — пусть даже простую discriminative-надстройку на верхнем уровне? Или это уже противоречит самой идее «только сжатие»?

[Kamil_GR]

Я этого не слышал, но мог пропустить.

[noda_dev]

Понятно, спасибо. Тогда это, наверное, и есть самый интересный вопрос к таким архитектурам: можно ли вообще прикрутить внешний сигнал, не сломав исходную идею «чистого сжатия». Если будете ещё копать тему Шумского — с удовольствием почитаю продолжение.

[rapidstream]

Чувствую вонь нейрослопа.

[janvarev]

Честно, не очень понимаю восторга. У вас у самого была хорошая статья на Хабре "LLM не научились врать". Если вы работаете с текстом, вы работаете с теми же самыми ограничениями непонимания.

Если же у вас символьные вычисления, то либо вам надо сузить пространство до строго проверяемого (например, мат. теоремы), либо символьная система тупо не будет работать - несмотря на все долгие рассуждения про онтологии (просто онтологии были в свое время предметом моего проф. интереса). Рекомендую глянуть историю про проект Cyc, если вдруг не видели.

Системы символьного анализа строгие, но именно из-за этой строгости в подавляющем большинстве практических кейсов не применимы в целом, и требуют суровой ручной практической донастройки на кейс инженером/экспертом.

[Kamil_GR]

Восторга нет, но есть одобрение практической работы с гипотезами.

К сожалению сотни и тысячи концепций разобрать невозможно из-за того, что они никак не связаны с миром

Вы сужаете область применения до строго проверяемого, но статистический анализатор может быть полезен, например, в нарезке потока без разметки, поиске повторяющихся паттернов в логах, в телеметрии, в последовательностях и т.д.

[rusfbm]

Кто-то идет в сжатие и иерархию единиц, кто-то в графы и онтологии, кто-то в символы. Но почти везде в итоге всплывает один и тот же вопрос: где живёт право на вердикт — в статистике весах или в четких переходах?

Я как раз с другой стороны подошел к этой проблеме : через явное состояние решения, локальный пересмотр при изменении исходных данных и через слой, который обучение не имеет права подменять. Кому интересна это направление — кратко здесь: https://aigalo.com/

По сути я ответил на вопрос "что лежит в основе всего?" что если все не взвешивать, а обучаться на отношениях, но при этом сохранять проверяемый след решения.