А где тренды-то? Я вижу только "хвалебную оду" ЛЛМ. Вот что точно станет трендом, так это нейро-символьные архитектуры (гибриды) и вместе с ними будут больше говорить о когнитивно-символьных системах (Soar, ACT-R, CLARION и др.), т.к. являются ядром в некоторых нейро-символьных системах;, будут говорить и о JEPA Яна ЛеКуна; о "чистых" ЛЛМ будут постепенно забывать
Когда народ подсядет на "наркотик" под названием когнитивно-символьная архитектура, то к ЛЛМ вряд ли захочется возвращаться - к хорошему быстро привыкаешь, да и рост цен железа этому поспособствует
Уважаемый, вы заблуждаетесь. Нейро-символьные технологии, где символьная часть - это ядро, а LLM - лишь "глаза" (лидары и т.д.) и "мышцы", уже давно и успешно внедряются в критических отраслях:
Neuro-Symbolic Concept Learner (NS-CL) - разработка MIT (лаборатория Джошуа Тененбаума) и IBM;
Safe Autonomy - проект NASA и SoarGroup (КСС Soar);
ACE-TRUST - проект DARPA и SoarGroup (КСС Soar);
IBM Neuro-Symbolic AI (проект в области комплаенса и аудита);
IBM Watson Health / Mayo Clinic - медицина: клинические рекомендации и фармакология;
и т.д. и т.д. и т.д.
Символисты не упираются в том, что даже у нас есть конкуренты и некоторые технологии, в отношении "разума", действительно "наступают нам на пятки". Но наши конкуренты - это другие архитектуры интеллекта, такие как JEPA (Ян ЛеКун), а не "статистические попугаи", которые "сжигают все ресурсы планеты" и не могут гарантировать точность.
Есть один маааленький, но важный нюанс. У КСС дорогая только разработка самого ядра, а стоимость разработки модулей, интеграция, обслуживание и наполнение знаниями, в 5–10 раз ниже, чем у LLM. 99% разработчиков модулей для КСС никогда не лезли в ядро - это и не требуется. Для КСС не требуются топовые видеокарты и GPU, что значительно снижает, до 20 раз (!!!), стоимость покупного оборудования или аренды оборудования. Ну и безопасность - систему нельзя "сломать" промтами (промт-инъекция), есть проактивный этический корпус
Я про него почти и забыл. Действительно, данная работа считается важным вкладом в области когнитивного ИИ и робототехники, предлагая альтернативу традиционным символьным подходам и жестко запрограммированным системам знаний. Но почему его идеи не стали мейнстримом, даже в альтернативных направлениях? Ему не хватало мощного управляющего движка, который мог бы масштабировать эти схемы до уровня сложного поведения.
Частично его идеи были реализованы в архитектурах Soar и ACT-R. Там "схемы Дрешера" превращаются в продукции и чанки, которые работают внутри строго структурированного Цикла Принятия Решений (Decision Cycle). Если хотите понять, как "обработка знаний внутри" работает без галлюцинаций, как у "некоторых", советую посмотреть именно на Decision Cycle и механизм Subgoaling (автоматической постановки подцелей) в Soar.
Чтобы понять разницу между "базой правил" и "архитектурой познания", нужно идти к истокам:
Аллен Ньюэлл (Allen Newell), "Unified Theories of Cognition" - это "библия" символистов. Именно здесь заложены принципы того, как разум управляет символами для решения задач;
Джон Лэрд (John E. Laird), "The Soar Cognitive Architecture" - подробное описание самой мощной КСС. Лэрд - прямой последователь Ньюэлла, и его книга объясняет, как работает "ядро" Soar;
Гарри Маркус (Gary Marcus) - его работы (например, "Rebooting AI") и статьи в 2020-2025 годах стали главным рупором критики "чистого коннекционизма". Он активно продвигает идею гибридных систем, где символы отвечают за здравый смысл (Common Sense).
Ваш пример со связкой LLM и Lean имеет крайне мало отношения к настоящему символизму. Если LLM просто генерирует варианты, а Lean их проверяет, то мы получаем классическую задачу о "печатающей обезьяне". Lean - это узкоспециализированная разработка для верификации, она не подходит на роль управляющего ядра нейро-символьной системы и всегда будет оставаться лишь пассивным прувером.
Давайте рассмотрим архитектуру Soar. Она существует в военной версии (проекты DARPA) и в гражданской (публичной). Принципиально они не отличаются: у них один "движок", одна логика поиска в пространстве задач, они полностью совместимы и одинаково "умны" в своей основе - это пример универсальной архитектуры.
А вот LLM с каждой новой итерацией, особенно в виде специализированных "олимпиадных" моделей, уходят всё дальше и дальше от того, чтобы называться настоящим ИИ. Они превращаются в набор дорогостоящих узких костылей.
Настоящий интеллект требует единого универсального управляющего ядра, которое эффективно решает задачи любой сложности через структуру знаний, а не через перебор. Такое ядро должно определять стратегию мышления и иметь возможность гибкого расширения функций при помощи модулей, а не просто надеяться на случайное попадание нейросети в правильный ответ.
Вы меня не слышите? Давно уже нет никаких if else. Есть пространство состояний (пример: AtomSpace в OpenCog Hyperion) и динамический вывод - это не статичное дерево решений, а гибкая модель рассуждения.
В Therac-25 не использовалась экспертная система, она была построена на устаревшем коде, который к экспертным системам не имел никакого отношения.
Список экспертных систем в медицине 70x-80x (США): MYCIN, INTERNIST, PUFF, DXplain
Опять же, если установлен этический корпус, то она не будет отвечать на этот вопрос - проигнорирует или будет уходить из под него любыми способами. В КСС этика проактивная, а не постактивная как у ЛЛМ. Разработчики КСС работают с этикой раньше, чем будет написана первая строчка ядра. Нет ни одного факта, где человек мог бы пострадать от действий экспертных систем или от действий КСС, а вот к LLM-компаниям претензии уже появились
А вот если разработчики КСС намеренно не внедрили этику в свою систему - это х... очень плохие разработчики и им не место в профессии
Тогда Ваша система ошиблась бы с решением, т.к. она не поняла задачу и вышла бы за ее рамки. Выйти за рамки КСС может в одном случае - если установлен этический корпус и согласно его что-то нарушается, как пример: жизнь человека под угрозой
Сейчас, с появлением КСС, LBS и CESP систем, нет необходимости в "классических" символьных системах типа Cyc, логика гибкая (не `if else`), когнитивные акты очень быстры, символы могут трансформироваться
Я как символист и последователь идей Ньюэлла и Саймона, а не Маккарти, смотрю на описанную проблему с позиций современных когнитивно-символьных систем (КСС). Современные КСС на голову выше любой LLM, так как они лишены хрупкости "экспертных систем" 80-х и "родовых травм" нынешних трансформеров.
Показательный пример: сегодня в комментариях к этой статье люди задавали LLM вопрос: "Как на авто добраться из Лондона в Нью-Йорк?". И все модели, как одна, ответили, что это невозможно из-за Атлантики, но ни одна не "вспомнила" про Берингов пролив. Это наглядно обнажает фундаментальные проблемы коннекционизма:
Отсутствие структуры: LLM тонет в статистических ассоциациях (Лондон + Нью-Йорк = самолет/океан);
Экспоненциальный рост затрат: для исправления таких "дыр" в логике нейронкам требуются терабайты новых данных и мегаватты энергии, но они всё равно остаются лишь имитаторами;
Отсутствие верификации: у них нет понятия "истина", только вероятность следующего токена.
В то же время, КСС с "географическим модулем", работающая на принципах поиска в пространстве состояний, сразу выдает ответ: путь возможен через Берингов пролив - кратчайшую точку соприкосновения континентов. Все логические ветки решения укладываются в 10-14 шагов и не нужно лишний раз запускать GPU, т.е. может пригодится для других, более "тяжелых" задач.
Ваш подход к нейро-символьной системе будет жизнеспособен только в том случае, если КСС станет управляющим ядром, а не просто прувером на выходе. Ядро должно задавать структуру мира и целей, оставляя нейронным сетям лишь роль гибкого интерфейса восприятия
Ньюэлл и Саймон - основоположники символического подхода к ИИ и теории физической символической системы (Physical Symbol System Hypothesis). Их работы - это фундамент классического, "донейронного" символического ИИ (экспертные системы, логический вывод - период с 1956 по 1990+).
Нейро-символьные системы (Neuro-Symbolic AI) - это современное направление, возникшее на стыке нейросетей и этого самого современного символического ИИ (когнитивно-символьной архитектуры - период 2000 по наше время) - это гибрид.
Уважаемый автор, Вы не "переоткрываете" ли нейро-символьную систему, просто называя "символ" "топологической формой"?! Всё, что я прочитал, частично пересекается с работами Ньюэлла и Саймона
Что я могу еще сказать? Если отчет выглядит красиво, никого не волнует, что данные в нем "выдуманы" или сгенерированы галлюцинирующей LLM. "Life is a lie" Umar Keyn (Youtube, песня)
Ваш подход наглядно иллюстрирует причину текущего кризиса доверия к технологиям. В аналитике, "додумывание" данных, может выглядеть как приемлемый риск, но в КСС, которые управляют реальными процессами - это недопустимо! Настоящий интеллект - это прежде всего структурная достоверность, а не стремление выдать любой результат любой ценой. Поэтому, у нас точность ниже 95% - это аврал и система подлежит проверке.
Поставил Вашу фразу в закладки
Давайте вспомним о Вашей фразе в декабре этого года, когда LLM станет - системой для богатых
Вот только у когнитивно-символьных систем есть оба вида памяти (STM и LTM) еще с 1983+ годов, а у LLM только одна - STM
Что объединяет КСС и JEPA:
"ненавидят" "чистые" LLM за их болтливость и ошибки (галлюцинации);
пытаются дать ИИ Здравый Смысл (Common Sense).
В чём противостояние:
борются за одну и ту же вакансию - "управляющее ядро";
конкуренция в области физического взаимодействия;
Логика vs Интуиция;
P.S.: А если все таки полетим на Марс, то я буду одним из первых, кто захочет организовать MCRN ("Expanse")
А где тренды-то? Я вижу только "хвалебную оду" ЛЛМ. Вот что точно станет трендом, так это нейро-символьные архитектуры (гибриды) и вместе с ними будут больше говорить о когнитивно-символьных системах (Soar, ACT-R, CLARION и др.), т.к. являются ядром в некоторых нейро-символьных системах;, будут говорить и о JEPA Яна ЛеКуна; о "чистых" ЛЛМ будут постепенно забывать
Когда народ подсядет на "наркотик" под названием когнитивно-символьная архитектура, то к ЛЛМ вряд ли захочется возвращаться - к хорошему быстро привыкаешь, да и рост цен железа этому поспособствует
Уважаемый, вы заблуждаетесь. Нейро-символьные технологии, где символьная часть - это ядро, а LLM - лишь "глаза" (лидары и т.д.) и "мышцы", уже давно и успешно внедряются в критических отраслях:
Neuro-Symbolic Concept Learner (NS-CL) - разработка MIT (лаборатория Джошуа Тененбаума) и IBM;
Safe Autonomy - проект NASA и SoarGroup (КСС Soar);
ACE-TRUST - проект DARPA и SoarGroup (КСС Soar);
IBM Neuro-Symbolic AI (проект в области комплаенса и аудита);
IBM Watson Health / Mayo Clinic - медицина: клинические рекомендации и фармакология;
и т.д. и т.д. и т.д.
Символисты не упираются в том, что даже у нас есть конкуренты и некоторые технологии, в отношении "разума", действительно "наступают нам на пятки". Но наши конкуренты - это другие архитектуры интеллекта, такие как JEPA (Ян ЛеКун), а не "статистические попугаи", которые "сжигают все ресурсы планеты" и не могут гарантировать точность.
Есть один маааленький, но важный нюанс. У КСС дорогая только разработка самого ядра, а стоимость разработки модулей, интеграция, обслуживание и наполнение знаниями, в 5–10 раз ниже, чем у LLM. 99% разработчиков модулей для КСС никогда не лезли в ядро - это и не требуется. Для КСС не требуются топовые видеокарты и GPU, что значительно снижает, до 20 раз (!!!), стоимость покупного оборудования или аренды оборудования. Ну и безопасность - систему нельзя "сломать" промтами (промт-инъекция), есть проактивный этический корпус
Я про него почти и забыл. Действительно, данная работа считается важным вкладом в области когнитивного ИИ и робототехники, предлагая альтернативу традиционным символьным подходам и жестко запрограммированным системам знаний. Но почему его идеи не стали мейнстримом, даже в альтернативных направлениях? Ему не хватало мощного управляющего движка, который мог бы масштабировать эти схемы до уровня сложного поведения.
Частично его идеи были реализованы в архитектурах Soar и ACT-R. Там "схемы Дрешера" превращаются в продукции и чанки, которые работают внутри строго структурированного Цикла Принятия Решений (Decision Cycle). Если хотите понять, как "обработка знаний внутри" работает без галлюцинаций, как у "некоторых", советую посмотреть именно на Decision Cycle и механизм Subgoaling (автоматической постановки подцелей) в Soar.
Чтобы понять разницу между "базой правил" и "архитектурой познания", нужно идти к истокам:
Аллен Ньюэлл (Allen Newell), "Unified Theories of Cognition" - это "библия" символистов. Именно здесь заложены принципы того, как разум управляет символами для решения задач;
Джон Лэрд (John E. Laird), "The Soar Cognitive Architecture" - подробное описание самой мощной КСС. Лэрд - прямой последователь Ньюэлла, и его книга объясняет, как работает "ядро" Soar;
Гарри Маркус (Gary Marcus) - его работы (например, "Rebooting AI") и статьи в 2020-2025 годах стали главным рупором критики "чистого коннекционизма". Он активно продвигает идею гибридных систем, где символы отвечают за здравый смысл (Common Sense).
Ваш пример со связкой LLM и Lean имеет крайне мало отношения к настоящему символизму. Если LLM просто генерирует варианты, а Lean их проверяет, то мы получаем классическую задачу о "печатающей обезьяне". Lean - это узкоспециализированная разработка для верификации, она не подходит на роль управляющего ядра нейро-символьной системы и всегда будет оставаться лишь пассивным прувером.
Давайте рассмотрим архитектуру Soar. Она существует в военной версии (проекты DARPA) и в гражданской (публичной). Принципиально они не отличаются: у них один "движок", одна логика поиска в пространстве задач, они полностью совместимы и одинаково "умны" в своей основе - это пример универсальной архитектуры.
А вот LLM с каждой новой итерацией, особенно в виде специализированных "олимпиадных" моделей, уходят всё дальше и дальше от того, чтобы называться настоящим ИИ. Они превращаются в набор дорогостоящих узких костылей.
Настоящий интеллект требует единого универсального управляющего ядра, которое эффективно решает задачи любой сложности через структуру знаний, а не через перебор. Такое ядро должно определять стратегию мышления и иметь возможность гибкого расширения функций при помощи модулей, а не просто надеяться на случайное попадание нейросети в правильный ответ.
Вы меня не слышите? Давно уже нет никаких if else. Есть пространство состояний (пример: AtomSpace в OpenCog Hyperion) и динамический вывод - это не статичное дерево решений, а гибкая модель рассуждения.
В Therac-25 не использовалась экспертная система, она была построена на устаревшем коде, который к экспертным системам не имел никакого отношения.
Список экспертных систем в медицине 70x-80x (США): MYCIN, INTERNIST, PUFF, DXplain
Опять же, если установлен этический корпус, то она не будет отвечать на этот вопрос - проигнорирует или будет уходить из под него любыми способами. В КСС этика проактивная, а не постактивная как у ЛЛМ. Разработчики КСС работают с этикой раньше, чем будет написана первая строчка ядра. Нет ни одного факта, где человек мог бы пострадать от действий экспертных систем или от действий КСС, а вот к LLM-компаниям претензии уже появились
А вот если разработчики КСС намеренно не внедрили этику в свою систему - это
х...очень плохие разработчики и им не место в профессииТогда Ваша система ошиблась бы с решением, т.к. она не поняла задачу и вышла бы за ее рамки. Выйти за рамки КСС может в одном случае - если установлен этический корпус и согласно его что-то нарушается, как пример: жизнь человека под угрозой
Сейчас, с появлением КСС, LBS и CESP систем, нет необходимости в "классических" символьных системах типа Cyc, логика гибкая (не `if else`), когнитивные акты очень быстры, символы могут трансформироваться
Я как символист и последователь идей Ньюэлла и Саймона, а не Маккарти, смотрю на описанную проблему с позиций современных когнитивно-символьных систем (КСС). Современные КСС на голову выше любой LLM, так как они лишены хрупкости "экспертных систем" 80-х и "родовых травм" нынешних трансформеров.
Показательный пример: сегодня в комментариях к этой статье люди задавали LLM вопрос: "Как на авто добраться из Лондона в Нью-Йорк?". И все модели, как одна, ответили, что это невозможно из-за Атлантики, но ни одна не "вспомнила" про Берингов пролив. Это наглядно обнажает фундаментальные проблемы коннекционизма:
Отсутствие структуры: LLM тонет в статистических ассоциациях (Лондон + Нью-Йорк = самолет/океан);
Экспоненциальный рост затрат: для исправления таких "дыр" в логике нейронкам требуются терабайты новых данных и мегаватты энергии, но они всё равно остаются лишь имитаторами;
Отсутствие верификации: у них нет понятия "истина", только вероятность следующего токена.
В то же время, КСС с "географическим модулем", работающая на принципах поиска в пространстве состояний, сразу выдает ответ: путь возможен через Берингов пролив - кратчайшую точку соприкосновения континентов. Все логические ветки решения укладываются в 10-14 шагов и не нужно лишний раз запускать GPU, т.е. может пригодится для других, более "тяжелых" задач.
Ваш подход к нейро-символьной системе будет жизнеспособен только в том случае, если КСС станет управляющим ядром, а не просто прувером на выходе. Ядро должно задавать структуру мира и целей, оставляя нейронным сетям лишь роль гибкого интерфейса восприятия
Soar, ACT-R - GitHub. Надеюсь, исходники других КСС Вы сами найдёте, их много
Давайте внесём абсолютную ясность:
Ньюэлл и Саймон - основоположники символического подхода к ИИ и теории физической символической системы (Physical Symbol System Hypothesis). Их работы - это фундамент классического, "донейронного" символического ИИ (экспертные системы, логический вывод - период с 1956 по 1990+).
Нейро-символьные системы (Neuro-Symbolic AI) - это современное направление, возникшее на стыке нейросетей и этого самого современного символического ИИ (когнитивно-символьной архитектуры - период 2000 по наше время) - это гибрид.
Глупая Алиса - вообще то возможно ;) Экспедиция Матиаса Ешке. Зачем пересекать Атлантический океан, если есть Берингов пролив?!
Уважаемый автор, Вы не "переоткрываете" ли нейро-символьную систему, просто называя "символ" "топологической формой"?! Всё, что я прочитал, частично пересекается с работами Ньюэлла и Саймона
Что я могу еще сказать? Если отчет выглядит красиво, никого не волнует, что данные в нем "выдуманы" или сгенерированы галлюцинирующей LLM. "Life is a lie" Umar Keyn (Youtube, песня)
Ваш подход наглядно иллюстрирует причину текущего кризиса доверия к технологиям. В аналитике, "додумывание" данных, может выглядеть как приемлемый риск, но в КСС, которые управляют реальными процессами - это недопустимо! Настоящий интеллект - это прежде всего структурная достоверность, а не стремление выдать любой результат любой ценой. Поэтому, у нас точность ниже 95% - это аврал и система подлежит проверке.