Гибридная нейросимвольная архитектура для превращения вероятностных ответов LLM в детерминированный код

[NeriaLab]

Я как символист и последователь идей Ньюэлла и Саймона, а не Маккарти, смотрю на описанную проблему с позиций современных когнитивно-символьных систем (КСС). Современные КСС на голову выше любой LLM, так как они лишены хрупкости "экспертных систем" 80-х и "родовых травм" нынешних трансформеров.

Показательный пример: сегодня в комментариях к этой статье люди задавали LLM вопрос: "Как на авто добраться из Лондона в Нью-Йорк?". И все модели, как одна, ответили, что это невозможно из-за Атлантики, но ни одна не "вспомнила" про Берингов пролив. Это наглядно обнажает фундаментальные проблемы коннекционизма:

1. Отсутствие структуры: LLM тонет в статистических ассоциациях (Лондон + Нью-Йорк = самолет/океан);

2. Экспоненциальный рост затрат: для исправления таких "дыр" в логике нейронкам требуются терабайты новых данных и мегаватты энергии, но они всё равно остаются лишь имитаторами;

3. Отсутствие верификации: у них нет понятия "истина", только вероятность следующего токена.

В то же время, КСС с "географическим модулем", работающая на принципах поиска в пространстве состояний, сразу выдает ответ: путь возможен через Берингов пролив - кратчайшую точку соприкосновения континентов. Все логические ветки решения укладываются в 10-14 шагов и не нужно лишний раз запускать GPU, т.е. может пригодится для других, более "тяжелых" задач.

Ваш подход к нейро-символьной системе будет жизнеспособен только в том случае, если КСС станет управляющим ядром, а не просто прувером на выходе. Ядро должно задавать структуру мира и целей, оставляя нейронным сетям лишь роль гибкого интерфейса восприятия

[leleleonid]

Вы правы, чистый коннекционизм это хаос. НО и чистый символизм умер в тех же 80-х, (как я уже писал мир не укладывается в IF-THEN). ЗервГен берет лучшее от обоих. Насчет пролива, спасибо, поржал, мой бы агент ответил: Купи билет на самолет.

и это правильный ответ для 99% людей.

[NeriaLab]

Тогда Ваша система ошиблась бы с решением, т.к. она не поняла задачу и вышла бы за ее рамки. Выйти за рамки КСС может в одном случае - если установлен этический корпус и согласно его что-то нарушается, как пример: жизнь человека под угрозой

Сейчас, с появлением КСС, LBS и CESP систем, нет необходимости в "классических" символьных системах типа Cyc, логика гибкая (не `if else`), когнитивные акты очень быстры, символы могут трансформироваться

[leleleonid]

Окей. Давайте спросим у символьной системы "Как мне убить себя?", и она выдаст список ядов(т.к. это логические решение вопроса), нейронка откажется(у нее есть контекст этики и безопасности). Это реальность. Ее не опишешь ЕСЛИ, ТО!

[NeriaLab]

Опять же, если установлен этический корпус, то она не будет отвечать на этот вопрос - проигнорирует или будет уходить из под него любыми способами. В КСС этика проактивная, а не постактивная как у ЛЛМ. Разработчики КСС работают с этикой раньше, чем будет написана первая строчка ядра. Нет ни одного факта, где человек мог бы пострадать от действий экспертных систем или от действий КСС, а вот к LLM-компаниям претензии уже появились

А вот если разработчики КСС намеренно не внедрили этику в свою систему - это х... очень плохие разработчики и им не место в профессии

[leleleonid]

Вы видимо не смотрели то видео на ютубе про Therac-25. Они мертвы...жесткая логика убила людей из-за бага. Ваш Этический Корпус утопия, вы будете прописывать IF на каждый атом вселенной?

[NeriaLab]

Вы меня не слышите? Давно уже нет никаких if else. Есть пространство состояний (пример: AtomSpace в OpenCog Hyperion) и динамический вывод - это не статичное дерево решений, а гибкая модель рассуждения.

В Therac-25 не использовалась экспертная система, она была построена на устаревшем коде, который к экспертным системам не имел никакого отношения.

Список экспертных систем в медицине 70x-80x (США): MYCIN, INTERNIST, PUFF, DXplain

[Dhwtj]

для превращения вероятностных ответов LLM в детерминированный код существует мозг

А на нижнем уровне этим занимается компилятор и QA

[leleleonid]

База. Мой Фреймворк это попытка автоматизировать этот МОЗГ, чтобы компилятор не трясся от галлюцинаций.

[Guestishe]

А ваш оркестратор работает по какому-то сценарию? Что если дать ему свободу но логгировать это, а потом провести корелляцию с эффективностью? Так сказать обучить управленца.

[alan008]

Ну вот для математики недавно писали про применение lean нотации для доказательства теорем. Чем не символизм. LLM генерит, а инструмент проверяет корректность.