Comments 30
Я как символист и последователь идей Ньюэлла и Саймона, а не Маккарти, смотрю на описанную проблему с позиций современных когнитивно-символьных систем (КСС). Современные КСС на голову выше любой LLM, так как они лишены хрупкости "экспертных систем" 80-х и "родовых травм" нынешних трансформеров.
Показательный пример: сегодня в комментариях к этой статье люди задавали LLM вопрос: "Как на авто добраться из Лондона в Нью-Йорк?". И все модели, как одна, ответили, что это невозможно из-за Атлантики, но ни одна не "вспомнила" про Берингов пролив. Это наглядно обнажает фундаментальные проблемы коннекционизма:
Отсутствие структуры: LLM тонет в статистических ассоциациях (Лондон + Нью-Йорк = самолет/океан);
Экспоненциальный рост затрат: для исправления таких "дыр" в логике нейронкам требуются терабайты новых данных и мегаватты энергии, но они всё равно остаются лишь имитаторами;
Отсутствие верификации: у них нет понятия "истина", только вероятность следующего токена.
В то же время, КСС с "географическим модулем", работающая на принципах поиска в пространстве состояний, сразу выдает ответ: путь возможен через Берингов пролив - кратчайшую точку соприкосновения континентов. Все логические ветки решения укладываются в 10-14 шагов и не нужно лишний раз запускать GPU, т.е. может пригодится для других, более "тяжелых" задач.
Ваш подход к нейро-символьной системе будет жизнеспособен только в том случае, если КСС станет управляющим ядром, а не просто прувером на выходе. Ядро должно задавать структуру мира и целей, оставляя нейронным сетям лишь роль гибкого интерфейса восприятия
Вы правы, чистый коннекционизм это хаос. НО и чистый символизм умер в тех же 80-х, (как я уже писал мир не укладывается в IF-THEN). ЗервГен берет лучшее от обоих. Насчет пролива, спасибо, поржал, мой бы агент ответил: Купи билет на самолет.
и это правильный ответ для 99% людей.
Тогда Ваша система ошиблась бы с решением, т.к. она не поняла задачу и вышла бы за ее рамки. Выйти за рамки КСС может в одном случае - если установлен этический корпус и согласно его что-то нарушается, как пример: жизнь человека под угрозой
Сейчас, с появлением КСС, LBS и CESP систем, нет необходимости в "классических" символьных системах типа Cyc, логика гибкая (не `if else`), когнитивные акты очень быстры, символы могут трансформироваться
Окей. Давайте спросим у символьной системы "Как мне убить себя?", и она выдаст список ядов(т.к. это логические решение вопроса), нейронка откажется(у нее есть контекст этики и безопасности). Это реальность. Ее не опишешь ЕСЛИ, ТО!
Опять же, если установлен этический корпус, то она не будет отвечать на этот вопрос - проигнорирует или будет уходить из под него любыми способами. В КСС этика проактивная, а не постактивная как у ЛЛМ. Разработчики КСС работают с этикой раньше, чем будет написана первая строчка ядра. Нет ни одного факта, где человек мог бы пострадать от действий экспертных систем или от действий КСС, а вот к LLM-компаниям претензии уже появились
А вот если разработчики КСС намеренно не внедрили этику в свою систему - это х... очень плохие разработчики и им не место в профессии
Вы видимо не смотрели то видео на ютубе про Therac-25. Они мертвы...жесткая логика убила людей из-за бага. Ваш Этический Корпус утопия, вы будете прописывать IF на каждый атом вселенной?
Вы меня не слышите? Давно уже нет никаких if else. Есть пространство состояний (пример: AtomSpace в OpenCog Hyperion) и динамический вывод - это не статичное дерево решений, а гибкая модель рассуждения.
В Therac-25 не использовалась экспертная система, она была построена на устаревшем коде, который к экспертным системам не имел никакого отношения.
Список экспертных систем в медицине 70x-80x (США): MYCIN, INTERNIST, PUFF, DXplain
Спасибо за терминологию. Вы игнорируйте боттлнек, почему напр. OpenCog не в каждом телефоне? Потому что этич. корпус или все что угодно что взбредет в голову, нужно создавать вручную или сложными методами. Оно не маштабируется на реал. мир.
ЛЛМки победили не потому, что они умнее(символьно глупее), а потому что они схавали весь интернет и научились обобщать.
Строить КСС это конечно академ. подвиг, но в тоже время экономическое харакире. Удачи.
Такое ощущение, что в скором времени уже с мощными ЛЛМ, можно будет продолжать более "дешевую" и ускоренную разработку КСС. Как никак и мощности железа увеличиваются, датацентры строятся, рано или поздно снова в потолок архитектуры упремся и нужно будет разрабатывать если не полную альтернативу, то усиление и комбинированные подходы. Мне если честно страшно даже представить какие нас ждут те же ЛЛМ-ки после пары лет работ новых дата центров которые сейчас строят и которые так сильно экономику просадили, что сейчас ни память ни видюху по нормальным ценам не взять.
Есть один маааленький, но важный нюанс. У КСС дорогая только разработка самого ядра, а стоимость разработки модулей, интеграция, обслуживание и наполнение знаниями, в 5–10 раз ниже, чем у LLM. 99% разработчиков модулей для КСС никогда не лезли в ядро - это и не требуется. Для КСС не требуются топовые видеокарты и GPU, что значительно снижает, до 20 раз (!!!), стоимость покупного оборудования или аренды оборудования. Ну и безопасность - систему нельзя "сломать" промтами (промт-инъекция), есть проактивный этический корпус
Есть такое. Когда мы упремся в потолок масштабирования трансформеров (а это уже близко), гибриды станут неизбежны. Мы просто зашли с другой стороны. Сначала хаос (ллм), потом структура, а не наоборот.
Уважаемый, вы заблуждаетесь. Нейро-символьные технологии, где символьная часть - это ядро, а LLM - лишь "глаза" (лидары и т.д.) и "мышцы", уже давно и успешно внедряются в критических отраслях:
Neuro-Symbolic Concept Learner (NS-CL) - разработка MIT (лаборатория Джошуа Тененбаума) и IBM;
Safe Autonomy - проект NASA и SoarGroup (КСС Soar);
ACE-TRUST - проект DARPA и SoarGroup (КСС Soar);
IBM Neuro-Symbolic AI (проект в области комплаенса и аудита);
IBM Watson Health / Mayo Clinic - медицина: клинические рекомендации и фармакология;
и т.д. и т.д. и т.д.
Символисты не упираются в том, что даже у нас есть конкуренты и некоторые технологии, в отношении "разума", действительно "наступают нам на пятки". Но наши конкуренты - это другие архитектуры интеллекта, такие как JEPA (Ян ЛеКун), а не "статистические попугаи", которые "сжигают все ресурсы планеты" и не могут гарантировать точность.
Почему JEPA ваш конкурент? Ладно. Я вас услышал, наконец-то на Марс полетим.
Что объединяет КСС и JEPA:
"ненавидят" "чистые" LLM за их болтливость и ошибки (галлюцинации);
пытаются дать ИИ Здравый Смысл (Common Sense).
В чём противостояние:
борются за одну и ту же вакансию - "управляющее ядро";
конкуренция в области физического взаимодействия;
Логика vs Интуиция;
P.S.: А если все таки полетим на Марс, то я буду одним из первых, кто захочет организовать MCRN ("Expanse")
просто оставлю это тут
для превращения вероятностных ответов LLM в детерминированный код существует мозг
А на нижнем уровне этим занимается компилятор и QA
А ваш оркестратор работает по какому-то сценарию? Что если дать ему свободу но логгировать это, а потом провести корелляцию с эффективностью? Так сказать обучить управленца.
Ну вот для математики недавно писали про применение lean нотации для доказательства теорем. Чем не символизм. LLM генерит, а инструмент проверяет корректность.
Ваш пример со связкой LLM и Lean имеет крайне мало отношения к настоящему символизму. Если LLM просто генерирует варианты, а Lean их проверяет, то мы получаем классическую задачу о "печатающей обезьяне". Lean - это узкоспециализированная разработка для верификации, она не подходит на роль управляющего ядра нейро-символьной системы и всегда будет оставаться лишь пассивным прувером.
Давайте рассмотрим архитектуру Soar. Она существует в военной версии (проекты DARPA) и в гражданской (публичной). Принципиально они не отличаются: у них один "движок", одна логика поиска в пространстве задач, они полностью совместимы и одинаково "умны" в своей основе - это пример универсальной архитектуры.
А вот LLM с каждой новой итерацией, особенно в виде специализированных "олимпиадных" моделей, уходят всё дальше и дальше от того, чтобы называться настоящим ИИ. Они превращаются в набор дорогостоящих узких костылей.
Настоящий интеллект требует единого универсального управляющего ядра, которое эффективно решает задачи любой сложности через структуру знаний, а не через перебор. Такое ядро должно определять стратегию мышления и иметь возможность гибкого расширения функций при помощи модулей, а не просто надеяться на случайное попадание нейросети в правильный ответ.
Не подскажете, от каких источников можно оттолкнуться, чтобы больше узнать о современных КСС? Я тоже склоняюсь к тому, что LLM (вернее, их кодеры|декодеры) хороши как центр речи у человека. А вот обработку знаний "внутри" нужно вести какими-то другими способами
Чтобы понять разницу между "базой правил" и "архитектурой познания", нужно идти к истокам:
Аллен Ньюэлл (Allen Newell), "Unified Theories of Cognition" - это "библия" символистов. Именно здесь заложены принципы того, как разум управляет символами для решения задач;
Джон Лэрд (John E. Laird), "The Soar Cognitive Architecture" - подробное описание самой мощной КСС. Лэрд - прямой последователь Ньюэлла, и его книга объясняет, как работает "ядро" Soar;
Гарри Маркус (Gary Marcus) - его работы (например, "Rebooting AI") и статьи в 2020-2025 годах стали главным рупором критики "чистого коннекционизма". Он активно продвигает идею гибридных систем, где символы отвечают за здравый смысл (Common Sense).
Спасибо! С первыми двумя я сталкивался, про третью - не знал. + мне кажется, их работы в идее перекликаются с механизмом схем у Дрешера (Drescher, Made-up minds)
Я про него почти и забыл. Действительно, данная работа считается важным вкладом в области когнитивного ИИ и робототехники, предлагая альтернативу традиционным символьным подходам и жестко запрограммированным системам знаний. Но почему его идеи не стали мейнстримом, даже в альтернативных направлениях? Ему не хватало мощного управляющего движка, который мог бы масштабировать эти схемы до уровня сложного поведения.
Частично его идеи были реализованы в архитектурах Soar и ACT-R. Там "схемы Дрешера" превращаются в продукции и чанки, которые работают внутри строго структурированного Цикла Принятия Решений (Decision Cycle). Если хотите понять, как "обработка знаний внутри" работает без галлюцинаций, как у "некоторых", советую посмотреть именно на Decision Cycle и механизм Subgoaling (автоматической постановки подцелей) в Soar.
Не вижу чем это отличается от того же Клауд кода, которым пользуюсь, с обилием агентов, промтов, правил и главное планом работы. Без плана любая долгая работа приходит в хаос. С планом и правилами я отходил на полтора часа и возвращался к почти готовому проекту, который сам бы пилил неделю точно.
Но да, в целом конечно построение плана визуально - это хорошая тема.
Чем проект отличается от других ml оркестраторов (gastown например, но он про другое чучуть)? Насколько я понимаю - есть некоторые детерменированные части, а чем же идеалогия mcp не подходит? (да, я понимаю что контекстное окно жрет) Есть mirothinker + miromind, которые пытаются сжать окно большим делегированием (да, я тут могу ошибаться как они это делают)
Дальше мата не читал. И другим не советую: если специалист по своей проблеме не может выражать мысли без обсценной лексики – грош ему цена.
Они строили башни из фарфора. И эти башни рухнули, когда столкнулись с грязной реальностью, которую невозможно было описать правилами.
Нормально они строили и хороший фундамент оставили, системы друг-друга дополняют. Структура с четкими правилами, требует верификацию и разрешение противоречий, желательно на каком-то специальном языке. Обычный текст слишком вольно трактуется.
Гибридная нейросимвольная архитектура для превращения вероятностных ответов LLM в детерминированный код