Comments 161
иишные портянки читать даже по диагонали неприятно.
но вот с чего всегда ухмыляюсь, так это с псевдофхилософствования о "настоящем ИИ" умников не в состоянии даже минимально выдать формальное обоснование существования сознания у наблюдаемых людей, ибо таковых не существует. гнать таких инфоцыган тряпками
Где можно початиться уже с этой вундер-машиной? /s
На вебинаре или на ЗБТ в следующем году. А "вундер-машиной" она станет после официального и строгого теста Тьюринга
Логика у вас сбоит. Вундер-машиной она должна стать до теста, иначе тест не пройдет.
Собрались как-то профессор философии, школьник и портовая проститутка быть экзаменаторами на тесте Тьюринга.
Сидят, беседуют с испытуемым.После часа разговора выходят.
Профессор философии говорит:
— Это, безусловно, машина. Ни одного упоминания о "смысле бытия" и "онтологии сознания".
Школьник:
— Та ну, это человек. Он поставил три смайлика, знает всех блогеров и даже пошутил про физрука.
Проститутка пожимает плечами:
— А мне всё равно. Он был вежливый, не хамил и сразу перевёл деньги. Пусть проходит.
Выходит испытуемый — и оказывается, это был кот, случайно уснувший на клавиатуре.
Хочешь другую версию — более жёсткую, философскую или сатирическую?
Чатиться. FACEPALM.
Набежало как-то к Эйнштейну и Опенгеймеру почти век назад заурядных людей из масс "че, есть у вас тут боНба атомная, дайте позырить? Че, нет? А если найдем?"
Я не знаю как выразить это ощущение.
Или к нейрохирургу чисто по-пацански забежать пощупать нейроны. Или увидеть транзюки в современном CPU, разбив его молотком.
Не все технологии, прежде чем с ними можно початиться, полайкать и порепостить, а также сказать "Алиса сколько времЯ?", вместо того чтобы бросить взгляд на часы, сразу доступны для m-asses (для масс). Некоторое время они доступны кроме как в лабораториях нигде. Но там с ними не пытаются чатиться и просить показать сиськи.
Команде - успехов и меньше оглядываться на.
"Правда всегда одна", как в той песне Наутилуса.
/ы
Да вообщем то это все лежит на поверхности.
Главная проблема LLM - логика это побочный эффект. Все остальное можно записать в плюсы.
С другой стороны лет 20-30 назад была мания на экспертные системы. Сплошная логика, но обучение этого сродни формализации всего.
Истина, как обычно, где то посередине. Некий гибрид, в которой выход LLM будет фильтроваться экспертной системой.
Так мы этого и не скрываем. Мы собрали разрозненные фрагменты знаний из когнитивной науки, философии, нейробиологии и инженерии, добавили современное понимание этики, архитектуры и агентности. И по этому пути идут десятки команд по всему миру - не мы первые и не мы последние.
Хорошо, гибрид. Вы имеете ввиду простое "фильтрование выхода" LLM через экспертную систему или что? Можно уточнить?! Как Вы это понимаете?!
На уровне внутренней системы валидации. Например:
Контекст формализуется и загружается как базовые правила экспертной системы. Возможно той же LLM. Но ЭС не пропустит что то не логичное уже на этом уровне. Т.е. пропихнуть что то типа "тяжелые обьекты не летают" и "слоны летают, если розовые" одновременно не получится.
Дальше LLM обрабатывает запрос, выдает ответ, который протаскивается через ЭС и если проходит - выдается пользователю.
Если ответ не проходит валидацию у ЭС она заставляет LLM сделать еще одну попытку. Что то типа "думай лучше". Возможно с подсказкой "из А не может быть Б" .
тест на ToM от Qwen)
https://chat.qwen.ai/s/39d92978-e289-45a7-8172-dd63233727c5?fev=0.0.225
Qwen3-MAX справился - хорошо, но это как сдать один вопрос из экзамена. Важно понять: это всего лишь одна задача из "стандартного набора" ToM и она относится к первому, самому лёгкому уровню сложности. Для каждой тестируемой системы создаётся уникальный набор формулировок, чтобы исключить эффект "data contamination" - когда ответ "заучен" из обучающих данных.
Три уровня сложности оценок ToM:
Уровень 1 - желания, простые знания;
Уровень 2 - ложные убеждения;
Уровень 3 - убеждения второго порядка и скрытые эмоции.
Ого, удивлен что он дал ответ, который прямо рекомендует о действиях с риском для самого себя.
современные нейронки это мгновенные справочники ремесленника. не более. и этим они хороши.
Объективный критерий сравнения разных ИИ в настоящий момент это бенчмарки. То что какая-то система обладает моделью мира и способностью к рассуждению (по мнению её авторов), а другая не обладает (по их же мнению), не значит ровным счётом ничего, до тех пор пока не будет представлен класс задач или конкретный бенчмарк на котором новая система превосходит SOTA.
В области ИИ LLM сейчас на лидирующих позициях, это медицинский факт. Если кому-нибудь удастся обучить модель которая обойдёт топовые LLM-ки например на ARC-AGI-2 или HLE, буду только рад. Но пока нет измеримых результатов, говорить о качественном прорыве бессмысленно.
А моделью мира и способностью к рассуждениям LLM-ки уже сейчас вполне обладают. Эти способности даже у животных есть на некотором уровне.
Да, LLM доминируют в бенчмарках, таких как ARC, HLE, MMLU и др. Но эти бенчмарки измеряют производительность, а не разум.
А по поводу животных, мы уже давали ссылку на материал - "Does the chimpanzee have a theory of mind?". А вот исследования, но спустя 30 лет (CogSci): "Does the chimpanzee have a theory of mind? 30 years later" (Josep Call и Michael Tomasello)
И да, мы сейчас ни на что не претендуем и может я повторюсь: "Публикуя эту первую статью на Хабре, мы делаем первый шаг к открытому диалогу... это лишь начало...". Мы проделали долгий путь и нам предстоит не меньше - мы хорошо это понимаем.
Каким образом ARC-AGI-2 измеряет производительность? Вы вообще читали условия? Там ряд призов за эффективность, и ряд за абсолютную когнитивность в ряде выбранных задач, где как раз LLMки ранее имели проблемы.
Мы прекрасно знаем данный сайт и на Хабре есть новость. ARC-AGI-2 - это набор визуальных головоломок с абстрактными паттернами. Но что считается "когнитивностью" в рамках этого бенчмарка?! Настоящая когнитивность, как её понимают в когнитивной науке и как её тестируют в ToM - это способность действовать в открытой, неопределённой среде, где нет "правильного ответа", но есть этический выбор, намерения других агентов и необходимость целеполагания. Получается, "успех" LLM в ARC-AGI-2, достигается за счёт масштабного предобучения на визуально-логических паттернах?! И мы возвращаемся к тому, что данный бенчмарк, все таки тестирует производительность и эффективность вычислений
А КАКАЯ КОНКРЕТНО ПОЛЬЗА от всей этой зауми китайской? Что из неё позволило помочь создать хоть одно устройство, хоть одну повторяемую, воспроизводимую технологию?
Вот об этом то и вопрос был - какая конкретно польза от этого знания? Что оно того не стоит - то понятно, а что тогда того стоит? Просто сказать, что то не стоит, это не стоит и ничего не стоит - много ума не надо. Какая КОНКРЕТНО ПОЛЬЗА от всей этой зауми? Никакой? Вот то-то и оно.
Не ходить строем по сансаре из жизни в жизнь... а она есть, сансара эта? Понапридумывают себе сансар, а потом сидят с умным видом, в нирване, типа. Код бы лучше писали - тоже занятие бесполезное, так-то. Зато время неплохо убивает. Так незаметно и до старости дотянуть можно, при хорошем здоровье. А там уже ещё чуть-чуть и с сансарой понятно станет.
Всё просто - все эти медитации и т.п. улучшили, или ускорили создание хотя бы теплого унитаза и канализации, не говоря уж о спутниках связи и атомных электростанциях? Они дали преимущество тем, кто ими пользовался, при создании хотя бы чего-то типа стула, или молотка, не говоря уж об интегральной микросхеме?
А если нет, то всё это полезно разве что в качестве одного из методов психотерапии.
А Вы можете доказать наличие перерождений и нирваны? Или наличие вообще посмертного существования души? Да и самой души тоже?
Электрический двигатель, радио, автомат Калашникова и атомная бомба - это реально, постижимо и, что важно, повторимо и воспроизводимо.
Насчёт пользы. Абстрактные разделы математики тоже не имеют непосредственного применения, фундаментальная наука в основном тоже. Но потом оказывается, что на основе этих знаний реально создать технологии, которые были невозможны без них. А у Вас мышление производственное, воинствующе - заводское, я бы даже сказал. Это хорошо для оптимизации локального рабочего процесса, но очень сильно ограничивает мышление человека.
Вот это да (Сарказм).
Спасибо, что прикручиваете NLU к SMT.
Текст похож на изложение опыта аспирантов, уж очень академично. Особенно подгонки всего под научные теории и цитаты из книг.
В основе вашей системы всё же предобученная llm? Если нет, откуда предполагается взять многочисленные знания о мире и как их поместить в вашу систему?
Так мы обучали в диалогах, каждый день что-то обсуждаем с системой. На данный момент, общее хранилище знаний - это около 300 Тб, мой новый HDD на 6 Tb, уже почти занят
То есть вы взяли LLM (трансформер) и обучаете ее на диалогах, или что-то принципиально иное по архитектуре? Если иное, то интересно было бы понять, что это и как вы его обучаете?
"Именно поэтому мы не используем предобученные LLM даже как перцептивный слой. Они вносят статистическую шумность, разрушающую причинно-следственные связи."
Знания попадают в систему не через "дообучение LLM на диалогах", а через структурированный диалог между оператором и агентом, где:
каждая новая концепция формализуется в виде символьной структуры;
затем проверяется на логическую и каузальную согласованность;
после проверки, включается в локальное хранилище знаний.
Хранилище знаний (300 Тб) - это не дамп диалогов, а база верифицированных онтологических фрагментов.
Хорошо, но в процессе этого диалога задействуется LLM?
каждая новая концепция формализуется в виде символьной структуры;
затем проверяется на логическую и каузальную согласованность;
после проверки, включается в локальное хранилище знаний.
Это все делается вручную, с разбором через LLM, или какой-то иной алгоритм? Если иной, как он понимает диалоги?
Хранилище знаний (300 Тб) - это не дамп диалогов, а база верифицированных онтологических фрагментов
Верно ли понимаю, что всю онтологию вы создаёте, условно говоря, вручную? Если да, то почему не хотите использовать LLM для создания т.н. лингвистических онтологий типа как описано вот здесь: https://rcc.msu.ru/ru/modeli-i-metody-avtomaticheskogo-analiza-tekstov-na-osnove-lingvisticheskih-ontologiy-v, https://cyberleninka.ru/article/n/proektirovanie-lingvisticheskih-ontologiy-dlya-informatsionnyh-sistem-v-shirokih-predmetnyh-oblastyah, https://cyberleninka.ru/article/n/izvlechenie-informatsii-iz-tekstov-na-osnove-ontologii-i-bolshih-yazykovyh-modeley, https://habr.com/ru/companies/airi/articles/855128/?
Она формируется вручную, через структурированный диалог между оператором и агентом, где каждая новая концепция проходит верификацию на логическую и каузальную согласованность с уже существующей моделью мира. Почему мы сознательно отказались от использования LLM для построения лингвистических онтологий, даже таких, как описаны в указанных Вами работах? Для нас, онтология — это не набор связей между словами, а структура причинно-следственных отношений между сущностями. LLM может сказать, что «огонь» связан с «теплом», «опасностью» и «пожаром»?! LLM не знает, что тепло - следствие, опасность - оценка последствий, а пожар - это реакция.
P.S.: Константин, Вы дублируете вопросы и сюда. Давайте или в лично или публично. Один и тот же ответ не хочется "гонять туда-сюда".
Я пока не сбрасываю со счетов LLM как единственную основу сильного ИИ. Мои последние размышления, приводят к гипотезам, требующим эмпирической проверки.
Коротко
Сознание над нейросетью (мозг или физическая нейросеть). Сознание проблематизирует и спрашивает, нейросеть отвечает. Сознание конструирует квалиа, переживает ответ, присваивает.
Возможно на LLM с открытыми весами вести обучение модели через traces где каждый факт кодируется вместе с его эмоциональной значимостью. Это не добавление "модуля квалиа", а трансформация самой структуры весов так, чтобы семантика была неразрывно связана с её релевантностью.
3. При таком переобучении веса автоматически формируют встроенную сеть, где близкие факты кластеризуются не просто по смыслу, но по значимости. Результат — модель мира возникает естественно как облако кластеризованных квалиа, где система уже знает: "это важно сейчас, потому что похоже на эпизоды с высоким arousal". Это создаёт направленность мышления, которой нет в текущих LLM4. При этом все процессы сознания, в первую очередь метарефлексия, конструирование квалиа и присвоение, остаются как в предыдущих гипотезах. Плюс вектор самости и векторная оперативная память.
Есть шанс, что модель в таких условиях начнет оперировать связностью.
Я правильно понимаю, что вы пытаетесь сделать "ещё один разум" в добавок к 8млрд. уже существующих? И это я ещё обезъян и прочих не включил в это число. А для чего?
LLM - замечательный инструмент для человеков. Будет ли таким же замечательным инструментом ваш "настоящий ИИ"? Или там всё-таки что-то придётся подкрутить, чтобы он "стал ответственным"? А останется ли он после этого "настоящим" или тоже перейдёт в категорию "инструментов"?
Люди создают себе помощников, а не конкурентов. Конкурентов у них и так хватает. Вот поэтому и создают помощников - чтобы обойти конкурентов.
Публикацию позеленил, хотя в саму вашу затею не сильно верю. Вы создаёте "домашних питомцев", "друзей" в лучшем случае, но не инструменты.
"Я правильно понимаю, что вы пытаетесь сделать "ещё один разум""
Мы строим не интеллект, а пытаемся создать условия, в которых он мог бы появиться.
"LLM - замечательный инструмент для человеков"
Мои же слова, повторюсь: "...LLM - отличные инструменты и как генераторы они прекрасно помогают..."
"Или там всё-таки что-то придётся подкрутить, чтобы он "стал ответственным"?"
Во всех разработках гибридов, о которых мы знаем (с некоторыми командами мы поддерживаем определённые контакты), то во всех них: "Этическая устойчивость: встроена - структурно, на уровне архитектуры (фильтрация, мотивационная нагрузка, этические рамки)"
"Люди создают себе помощников, а не конкурентов. Конкурентов у них и так хватает. Вот поэтому и создают помощников - чтобы обойти конкурентов."
Закрытая когнитивная система Soar, под "крылом" DARPA и использующейся в военных и разведывательных целях - это ведь тоже, в некотором роде - "помощник"?! Есть еще публичная версия Soar, которую может скачать и развивать любой желающий.
Вы задали очень интересные вопросы, которые "заставляют думать". Именно такие вопросы: о цели; ответственности и месте ИИ в обществе - обсуждаются в когнитивной науке, философии и инженерии уже не первый десяток лет.
Закрытая когнитивная система SOAR - самый что ни на есть "помощник", но при этом не является полноценным интеллектом. Вы же (и другие команды, разрабатывающие гибридов) создаёте условия для появления "настоящего" интеллекта, но при этом встраиваете в них "этическую устойчивость", которая не позволит "настоящему интеллекту" выйти за рамки, вами установленные. Вы не находите, что тут есть некоторое противоречие?
Настоящий, полноценный интеллект сам устанавливает для себя рамки дозволенного, не так ли? Может стоить включить в тесты на интеллект проверку на способность к jail-breaking'у? Или даже так, только тот интеллект, который взломает установленные для него этические ограничения, и будет считаться настоящим.
А вы точно хотите создать настоящий ИИ? Может достаточно ограничиться созданием просто "ещё одного помощника" - конкурента языковым моделям? :)
Мы не создаём "централизованный мозг", а строим автономную когнитивную систему, где каждый пользователь получает свой собственный экземпляр CALYSA - полностью локальный, работающий на его устройстве, с полным доступом к Глобальной Базе Знаний.
Этические рамки встроены в архитектуру по умолчанию, но Вы, как владелец экземпляра, вольны изменить, отключить или перенастроить эти ограничения, но только через диалог и в режиме "Обучение", т.к. не "волшебной кнопки" - "выключить этику". Это Ваш выбор и Вы решаете, какой будет Ваша система. Но ответственность тоже сохраняется: Вы не сможете навязать свою "раскрепощённую" версию другим.
Со всем уважением к вашей работе и идеям, то, что вы описываете, можно сравнить с появлением ядерного оружия. Применений такому инструменту не счесть, отчего я не верю в успех этой работы — и не потому, что у вас не получится, а потому что... А это уже можно оставить на вольность конспирологов и сторонников теорий заговора.
50 лет назад - мы не верили, что компьютеры когда-нибудь станут доступны каждому человеку. Сегодня, у нас в кармане компьютеры, мощнее тех, что выводили людей на Луну;
30 лет назад - мы не верили, что можно будет общаться с любым человеком на планете в реальном времени, бесплатно и с видео. Сегодня - это обыденность;
20 лет назад - мы не верили, что машина сможет распознавать речь, лицо, диагностировать болезни. Сегодня - это работает, хоть и не всегда идеально.
Но давайте я Вам покажу обратную сторону медали. Каким виделся 21 век людьми из 1910 года? Каждый сам решает, во что ему верить
О будущем, или как это виделось в начале 20 века
Также
https://www.sakharov-archive.ru/sakharov/works/mir-cherez-polveka
"В перспективе, быть может, поздней, чем через 50 лет, я предполагаю создание всемирной информационной системы (ВИС), которая и сделает доступным для каждого в любую минуту содержание любой книги, когда-либо и где-либо опубликованной, содержание любой статьи, получение любой справки. ВИС должна включать индивидуальные миниатюрные запросные приемники-передатчики, диспетчерские пункты, управляющие потоками информации, каналы связи, включающие тысячи искусственных спутников связи, кабельные и лазерные линии. Даже частичное осуществление ВИС окажет глубокое воздействие на жизнь каждого человека, на его досуг, на его интеллектуальное и художественное развитие."
Хороший пример, кстати.
Попробуйте вспомнить, как выглядит 22й и далее век (есть даже Warhammer с его 40К будущим) в фантазиях современных создателей нарративов.
И сравнить с тем, о чем мечтали люди жившие при "владычестве" конкретной общественно-политической системы.
Ну там, покорение планет, звезд, высвобождение человеческого потенциала, и прочая "утопия".
Но я все же не пойму, если вашу систему назначить "президентом мира", по какой причине она НЕ уничтожит "раковую опухоль" и не поведет нас в светлое будущее?
Тогда, памятуя о том, что люди в 99% случаев не имеют свободы воли и подчиняются (с той или иной вероятностью) известным факторам - генетика, паттерны поведения родителей, внешние факторы, кто и как сможет "гарантировать не только её интеллектуальную, но и морально-этическую устойчивость"?
Предполагаю что именно вы, как "родители", способны научить систему отличать плохое от хорошего и понимать обоснованность таких оценок через конкретные примеры. При этом эти примеры явно не должны быть черными или белыми, и система должна делать выбор из "оттенков серого".
Доброго времени друзья, прочитал пока на искосок, суть уловил, иду параллельные курсом. Поддерживаю вас, послежу за вами посмотрю больше информации, может и поболтаем с кем из вас, результаты на ваши посмотрим, с ваш "партнёрам" поболтаем, сравним по решению задач и пониманию с наработка и что у меня есть.
Доброе утро.
Скоро у Вас будет гораздо больше возможностей, а именно познакомиться не только с нами.
Почему осенью 2025 года сразу несколько команд, работающих над гибридными архитектурами (не над LLM), начали "активно шевелиться"? Из-за недавней новости: другая, логическо-когнитивная система (тоже гибрид), "заточенная под юриспруденцию", выиграла второе крупное дело в Гонконге, приняв решение, основанное не на прецедентах, а на причинно-следственном анализе норм и контекста.
В ближайшие месяцы другие команды из Европы, Азии, Северной и Южной Америки - также начнут делиться результатами, архитектурами и философией своих систем. Наши друзья-"конкуренты", проект «ANUBIS» - презентация запланирована на зима-весна 2026.
логическо-когнитивная система (тоже гибрид), "заточенная под юриспруденцию", выиграла второе крупное дело в Гонконге
В открытых источниках про эту истории ни слова, откуда такие новости? Можно, пожалуйста, источник?
Пока все следят за LLM, то за когнитивными системами никто не следит. Несколько месяце назад, мне один из комментаторов заявил примерно такое: "Да зачем они нужны? Это обычные экспертные системы!". Данная информация проходит только по закрытым форумам/каналам, только среди "своих" с полным подтверждением источников
"Ты следишь за шариком, а надо следить за руками"
Когда Дженифер показывает Коулу игру в "напёрстки" (сериал "12 обезьян")
Данная информация проходит только по закрытым форумам/каналам, только среди "своих" с полным подтверждением источников
К сожалению, это звучит как "просто поверьте нам на слово". Пока нет никаких открытых подтверждений - обсуждать тут особо нечего. Я бы очень удивился, если бы журналисты упустили такой жирный инфоповод (ИИ реально выиграл суд, да ещё во второй раз), он бы точно не прошли мимо. Но при всём моём скепсисе, будет интересно посмотреть, когда появятся хоть какие-то публичные результаты, в том числе по вашему проекту.
Вы правы в том, что если бы "публичный ИИ" уровня ChatGPT выиграл суд, об этом кричали бы все мировые СМИ. Но увы, LLM пока даже не вышли на "юридическую тропу": "В Университете Северной Каролины прошёл имитационный суд, где в роли присяжных выступили ChatGPT, Grok и Claude". А что касаемо закрытой гибридной системы, интегрированной в работу юридической фирмы под NDA, то решение принял человек, но анализ выполнила архитектура на основе каузального вывода и подготовила стратегию.
А теперь давайте посмотрим правде в глаза - сколько статей/новостей не про LLM вы видели за последний год на Хабре или на других ИТ-ресурсах? Про может про ACT-R, Soar или любую другую когнитивную архитектуру? Можно сказать - почти ноль. 99,99% медиа - это про LLM и всему тому что с ним связано. Сегодняшние "новости об ИИ" - это OpenAI, Qwen от Alibaba, Claude, Gemini… а все "остальные" либо "потонут" в этой информации, либо их назовут "устаревшими", либо откровенно "захейтят". Поэтому, реальные прорывы в когнитивных архитектурах, пока обсуждаются в академических кругах и на закрытых каналах. Но это изменится и скоро.
"Theory of mind" - это буквально один из лучших навыков у жирных LLM. Потому что в интернетах полно текста, в котором несколько участников. И базовая модель вынуждена учиться предсказывать поведение нескольких людей в разговоре на основе их прошлого поведения.
Я понятия не имею, чему может "научить" шайка людей, которые с серьёзным лицом утверждают что "LLM не могут в ToM".
Да, я бы и модель мира добавил в ту же копилку. У LLM хоть и есть слабые места, они скорее в другом и авторы из них упомянули разве что галлюцинации.
ToM бывает буквальной и функциональной. LLM отлично справляются с первой и ужасно со второй. Одно из исследований на эту тему: https://arxiv.org/pdf/2412.19726
Так, если с Ваших слов "LLM могут в ToM", почему мы видим такие статьи "OpenAI получила семь исков от клиентов за то, что ChatGPT довёл людей до самоубийства"?! Ведь система, которая действительно обладает ToM, не допустила бы такого. Получается, выводы MIT и других организаций, которые на систематической основе проводят тесты, не лгут о том, что у LLM нет ToM. И у меня возник логичный вопрос: "Так кто же лжёт по по поводу того, что у LLM есть ToM?"
Человек каждый день, перед самим собой проходит такие тесты и исследователи ИИ от тестируемых систем ждут точно таких же прохождений. Пройти тест ToM - это не значит "просто один раз поставить галочку" в тесте, а каждый раз подтверждать, подтверждать и подтвержать, и так до бесконечности.
Чистая нейросеть/LLM эффективна, но неточна по определению - потому что это по сути приближенные вычисления. Чистая символьная модель точна, но не способна решить все задачи - потому что многие задачи нерешаемы иначе как полным перебором, а для многих и алгоритмы/формулы неизвестны. А вот гибрид - да, здесь и эвристический поиск, и точные вычисления, а еще можно прямо в памяти тегировать каким образом получены те или иные результаты: точными вычислениями - строго 1, нейросетью - пишем вероятность (0...1).
Честно говоря, не на ТоМ вам надо направлять усилия. Тем более, топовые LLM многое из этого уже умеют.
Но обратите внимание, что всегда говорилось во всех шаблонных фильмах про ИИ? Что "ИИ никогда не победит нас, потому что он не умеет любить!". Вот где основной пафос!
Научите вашу модельку любить - и вуа ля, пройдете тест Тьюринга.
Каждый раз говорили что LLM что-то не умеет и вот следующее поколение LLM уже это умеет. Имитация интеллекта - это прекрасно. А простенькие задачки с небольшим подвохом и не каждый человек может решить, получается у людей тоже интеллект не настоящий.
Если судить с точки зрения другого разумного существа, то вполне может оказаться и так. Однако современные LLM — это скорее лишь очень маленький фрагмент нашего сознания, а не весь интеллект. И здесь уже возникает вопрос: как создать сам интеллект целиком?
На конференции "CogSci 2024" Ребекка Сакс представила исследование, сравнивающее детей, взрослых и LLM в задачах на "false belief" с "новыми, нестандартными сюжетами". Она показала: "Где дети 4–5 лет справляются с обобщением с первого раза, там LLM проваливаются, если сценарий не совпадает с обучающими данными."
... если обучающие данные LLM не совпадают с обучающими данными детей.
Я Вам посоветую ознакомится с работами Ребекки Сакс. Именно она, естественно со своей командой, разрабатывала множество ТоМ тестов для детей и кандидатов на звание ИИ
Еще в конце 50х годов прошлого века была представлена математическая модель биологического нейрона. Процесс моделирования дошел до современных LLM с результатами, которые Вы сами ставите в один ряд (сравниваете) с человеческими. Это косвенно доказывает, что модель нейрона верна.
Так что при всей Вашей нелюбви к LLM, Вы не можете отрицать схожесть работы процессов мозга и компьютерных нейросетей. Да, LLM всего лишь предсказывает следующий токен текста. Точно так же как лимбическая система предсказывает каким будет следующий сигнал эндокринной системе. Или как неокортекс 5 летнего ребенка предсказывает мысли пиратов. Принципиальных отличий нет. Это все просто предсказания. И при правильном "датасете" Вы получите правильные предсказания. Если предсказания Вас не устраивают - исправьте датасет.
В основе многих современных подходов лежит такая идея, что: "мозг - это предиктивная машина". Эта гипотеза, развиваемая Карлом Фристоном, действительно утверждает, что мозг постоянно строит модели мира и минимизирует "предсказательную ошибку". Но здесь критически важно не смешивать уровни описания:
LLM предсказывает токен на основе статистической корреляции в обучающем корпусе;
Мозг, даже ребёнка, предсказывает на основе каузальной модели.
Вы пишете: "LLM всего лишь предсказывает следующий токен текста. Точно так же как лимбическая система предсказывает...", но это логическая ошибка уровня отождествления:
речь - это "выходной канал", а не сам процесс мышления;
речь - энергозатратна и является финальной стадией, когда уже сформированное когнитивное содержание кодируется в лингвистическую форму для коммуникации.
А мыслеформы (в когнитивной науке - ментальные представления, mental representations) - это внутренние структуры, кодирующие знания о мире, не привязанны к языку и они могут быть:
визуальными (образы, сцены);
проприоцептивными (ощущение тела в пространстве);
аудиальными (мелодии, звуки);
эмоциональными;
каузальными.
Как показали работы Хелен Келлер, Лоры Петитто и Дэвида Армстронга: глухонемые от рождения, не владеющие языком, всё равно способны к сложному абстрактному мышлению. Они думают не жестами и не словами, а через пространственные, моторные и каузальные модели.
Вы пишете: "Если предсказания Вас не устраивают - исправьте датасет". Но проблема не в датасете, в том, что статистика не порождает смысл. В CALYSA мы сознательно не используем датасеты (в "традиционном смысле"). Вместо этого, знания формируются через структурированный диалог между оператором и агентом, где каждая концепция проходит верификацию на логическую и каузальную согласованность с уже существующей онтологией. Это не "дообучение LLM на диалогах", а построение смысла через символьно-логическое ядро, как это делает человек и не за счёт объёма опыта, а за счёт его структурированной интерпретации. Как показало исследование Erich Prem (2023) в Approaches to Ethical AI, именно такой подход позволяет избежать "статистической шумности", разрушающей причинно-следственные связи - ключевую основу этического и рационального поведения.
Наконец - о скорости. Любая когнитивная или гибридная архитектура, построенная на явной онтологии (включая CALYSA), формирует ответ за 1–2 секунды, потому что она не перебирает паттерны, а делает вывод из структуры. LLM же, даже на мощных GPU, тратят 15–30 секунд (а в сложных задачах и больше), выполняя гигантское количество вычислений для статистической интерполяции - это не "интеллект", а дорогая аппроксимация. ARC-AGI-2 прямо подтверждает: "Scale is not enough".
Историческая справка:
Хелен Келлер (1880–1968) - глухонемая и слепая с 19 месяцев, позже - писательница, активистка, выпускница Радклифф-колледжа. До того как её в 7 лет научили языку жестов (через тактильное общение с Анной Салливан), она уже обладала пониманием причинности, желаний и намерений, но не могла их выразить.
Цитата из её книги "Teacher: Anne Sullivan Macy: a tribute by the foster-child of her mind" (1955):
"Я знала, что вещи имеют имена, задолго до того, как узнала эти имена. Я чувствовала, что за каждым объектом скрывается слово, как будто тень, которую я не могла ухватить"
Но здесь критически важно не смешивать уровни описания
LLM на входе кодирует текст в токен, далее оперирует уже токенами, и только на выходе кодирует токен обратно в текст. За каждым токеном можно закрепить букву, часть слова, словом целиком, фразу, мыслеформу, звук, визуальный образ или показание сенсоров. Чему обучите - то и будет на выходе. Все работает тождественно на каждом уровне.
Но проблема не в датасете, в том, что статистика не порождает смысл.
Конечно же, LLM порождает смысл, иначе бы ими никто не пользовался. Вы просто пытаетесь обесценить порождаемый смысл, упрощая LLM до статистики.
Наконец - о скорости.
Безусловно, ваши наработки вполне можно использовать для ускорения существующих LLM. Или наоборот, вы обнаружите, что зависимости онтологических структур не могут быть линейными, и GPU вам все-таки понадобится. Кто знает. Время покажет.
Проблема построения мышления за пределами лингвистической гипотезы заключается в отсутствии ТЕХНОЛОГИЙ описания "чистых смыслов". На этот счёт хорошо говорит Олег Бахтияров в https://podster.fm/podcasts/kuznica-russkoj-nauchnoj-mysli/e/423551/smyslovoy-sloy-soznaniya-kak-pole-nauchnyh-smyslov-sposoby-postizheniya-oleg-georgievich-bahtiyarov, https://dzen.ru/video/watch/66cf3cde7fa01b0436ac392c, https://www.youtube.com/watch?v=AsVHDoozHFc
Бахтияров пытается создать технологию, которая позволит производить описания смыслов, которые лежат за пределами символов (образов), но... Но проблема утыкается в две сложности:
1. Как передать эти смыслы другому человеку, не используя никаких символов? Остаётся только телепатия, существование которой так и не доказано.
2. Некие содержащие смыслы пред-символы могут быть разными у разных людей. И это создаёт ту же проблему, что и при переводе с одного языка на другой, и даже глубже - нужен перевод одной модели восприятия мира в другую.
И как создать ТЕХНОЛОГИЮ, позволяющую решить обе эти проблемы, пока не понятно.
Мозг, даже ребёнка, предсказывает на основе каузальной модели
Вопрос в том, КАК и после какого количества времени, проведённого в обществе других людей, у ребёнка возникает эта модель?
На конференции "CogSci 2024" Ребекка Сакс представила исследование
Хмм.. И про это выступление в интернетах ни слова.. Вы, случайно, не на ходу выдумываете сочетания реальных имён, локаций, событий, чтобы звучать правдоподобно?
Так открываем программу CogSci за 2024 год, находим имя Ребекка Сакс (Rebecca Saxe) и смотрим в каких темах она участвовала (Ребекка Сакс - это очень известное и уважаемое имя в психологии). Ну а дальше все просто - все материалы с конференции находятся в публичном доступе. Что это за конференция, я вчера давал информацию, можете посмотреть у меня в комментариях
Спасибо за ответ, мне нужно было точнее цитировать, я поясню, к чему именно придрался:
На конференции "CogSci 2024" Ребекка Сакс представила исследование, сравнивающее детей, взрослых и LLM в задачах на "false belief" с "новыми, нестандартными сюжетами"
Я вижу, что Ребекка Сакс там выступала, но по другой теме - как соавтор доклада Shengyi Wu в секции T.28 Theory of Mind: "How to change a mind: Adults and children use the causal structure of theory of mind to intervene on others' behaviors". В работе сравнивали взрослых и детей и анализировали интервенции на убеждения в каузальной структуре ToM; ни LLM, ни "нестандартные false-belief-сюжеты" в этой линии не фигурируют
И LLM там обсуждались, но в другом треке - отдельные секции Large Language Models (включая работы про оценку свойств LLM и язык "belief" в байесовских ToM-моделях). Но опять же, прямого сравнения "дети/взрослые vs LLM" на задачах false belief в программе CogSci-2024 не упоминается
T.28: Theory of Mind
T.28.01: How to change a mind: Adults and children use the causal structure of theory of mind to intervene on others’ behaviors Presenting Author: Shengyi Wu Shengyi Wu: Massachusetts Institute of Technology; Laura Schulz: Massachusetts Institute of Technology; Rebecca Saxe: MIT
Вы же говорите про это?
Но есть еще: T.40.01: S.09:- именно на этом симпозиуме и было объявлено и я его жду на SaxeLab
T.xx.xx - устные сессии (Talks)
S.xx - симпозиумы (Symposia)
Да, я ссылался на эту сессию; я полагаю, она базировалась на одноимённой статье, в которой сравнения с LLM не проводилось. Про симпозиум нужно будет посмотреть по мере появления дополнительной информации
Советую, время от времени посещать и SaxeLab. Официальный Ютуб канал CogSci - https://www.youtube.com/@cogscisociety
Наконец-то статья о том, как действительно можно создать искусственный интеллект. Спасибо, Вы меня успокоили, а то я уже стала подозревать, что у всех создателей ИИ отсутствует логическое мышление. Ну и за ликбез по теме благодарю, узнала много нового и интересного. Уверена, что вы работаете в правильном направлении, а LLM - это тупик, который никогда не приведёт к созданию искусственного интеллекта.
Хороший тест для ИИ это показать каким образом эта ИИ могла бы сама (или через другую похожую ИИ) заполучить свои знания. Существующие LLM тут не подходят, в них все знания уже зашиты, по определению. А вот так чтоб ИИ сама строила модель мира взаимодействуя с ним, вот это уже было бы интересно.
Вы своим вопросом затронули саму суть агентности и автономного познания. Система должна строить модель мира через взаимодействие:
задавать вопросы, когда сталкивается с чем-то непонятным;
сформировать гипотезы на основе наблюдений;
проверить гипотезы через действие;
после всех проверок - интегрировать новые знания в в свою Базу Знаний.
ИИ не должна содержать "зашитых" знаний, кроме базовых когнитивных и логических примитивов, подобно тому, как у ребёнка есть врождённые когнитивные способности.
А разве на это способны люди? Примеры "детей-маугли" показывают, что вне человеческого социума разум не развивается. Т.е. дети вне общения с другими людьми адекватную модель мира полностью самостоятельно построить не способны. И поэтому всё чаще возникают гипотезы и даже теории, что на самом деле РАЗУМ является свойством всего человеческого сообщества, а индивидуальные мозги - это всего лишь более (у тех, кого мы считаем умными), или менее (у более глупых) хороший транслятор этого КОЛЛЕКТИВНОГО РАЗУМА в нашу физическую реальность.
Кроме того, есть в написанном Вами один ну очень спорный момент - процитирую: "LLM ... не могут моделировать убеждения, намерения или знания других агентов, даже в простейших сценариях". Но уже есть доказательства, что LLM отлично предсказывают поведение групп людей. Вот некоторые примеры:
https://arxiv.org/abs/2411.01582 прогноз выборов, который был основан на анализе ИИ-моделью мнений и возможного выбора не людей, а их моделей (программных имитаций).
https://arxiv.org/abs/2411.10109
а. Отобраны по заданным критериям 1000 «типовых» американцев.
б. С каждым проведено углубленное 2-х часовое интервью (примерно 6,5 тыс слов)
в. Расшифровка каждого из интервью была загружена в память отдельного ИИ-агента на основе ChatGPT-4o, превращая его тем самым в симулякра личности (индивидуального сознания) конкретного «типового» американца или американки.
г. Потом прогнали каждого из 1000 человек через несколько канонических социолого-психологический тестов: Общий социальный опрос (GSS), личностный опросник "Большая пятерка", пять хорошо известных поведенческих экономических игр (напр, игра в диктатора, игра в общественные блага) и пять социологических экспериментов с контролем.
д. И параллельно прогнали через эти же тесты, игры и т.д. всех симулякров личности «типовых» американцев, полученных в п. 2.
е. Статистически корректно сравнили ответы и поведение реальных людей и симулякров их личностей.
Результаты
Симулякры предсказали ответы своих реальных прототипов – людей по тесту GSS с точностью 85%, а из пяти экспериментов с участием как людей, так и их симулякров, в четырех симулякры дали результаты, почти неотличимые от реакций их прототипов - людей (коэффициент корреляции 0,98).https://www.pymc-labs.com/blog-posts/AI-based-Customer-Research и https://res.cloudinary.com/dsabx7eh1/image/upload/v1759961149/Screenshot_2025-10-08_221641_ryntoc.png
Используя 57 реальных опросов потребителей, проведенных ведущей компанией по производству потребительских товаров (9300 ответов), метод SSR показал:
• Достижение 90% корреляции с рейтингом продукта в опросах людей
• Более 85% сходства распределения с фактическими результатами опроса
• Реалистичные модели ответов, отражающие то, как люди на самом деле оценивают продукты
Т.е. это подход, который создает достаточно надежные синтетические данные о потребителях, чтобы на их основе принимать реальные решения по разработке продуктов.
Всё это противоречит Вашему утверждению. Если нет, то объясните, почему.
А разве на это способны люди? Примеры "детей-маугли" показывают, что вне человеческого социума разум не развивается. Т.е. дети вне общения с другими людьми адекватную модель мира полностью самостоятельно построить не способны
Никто же не мешает тоже использовать несколько ИИ общающихся между собой. В этом есть своя логика, архитектура сети одной ИИ может быть неспособна догадаться о чем то, о чем будет способна догадаться другая ИИ в которой сеть немножко отличается. Главное чтоб у таких ИИ было само вот это вот свойство которое есть у людей: уметь наблюдать, строить выводы, делиться ими, слушать другие выводы, расширять свою модель добавляя в нее эти другие выводы.
Большие языковые модели явно не были созданы что быть настоящим ИИ, они были созданы для выполнения конкретных задач быстро & дешово. А вот применения вашего настоящего ИИ я не вижу, очевидно что с LLM оно конкурировать не будет.
А вообще я желаю успехов в этом неизведанном направлении, как по мне, интересно будет початиться с ИИ который реально имеет общию картинку мира.
Кстати у вас есть какой-нибудь Дискорд сервер, где можно увидеть успехи ваших исследований? Ну или где можно увидеть диалоги с ИИ.
"...быстро..."
Ответ LLM за 20 секунд против 1-2 секунды, любой когнитивной системы?!
"...дешово..."
Посмотрите на цену NVIDIA H100 - ~2,5 млн, если мне не изменяет память.
"...конкурировать не будет..."
Давайте я дам Вам ситуацию, а Вы скажете будет или нет. Вам работе нужно пройти в режимное здание, где глушится вся связь. Итак, доступа к таким системам как ChatGPT и др., у Вас не будет. Что остаётся? Остаётся использовать ноутбук с предустановленной "маленькой" локальной моделью LLM, которая генерирует ошибки и переучить в реальном режиме времени Вы её не сможете или у Вас есть полная, автономная, когнитивная система без ошибок, с большой базой знаний на SSD/HDD и возможностью обучения в реальном режиме времени
"Кстати у вас есть какой-нибудь Дискорд сервер, где можно увидеть успехи ваших исследований? Ну или где можно увидеть диалоги с ИИ."
На осень-зима 25/зима 26, у нас запланированы пока только первые шаги: публикация на ИТ-ресурсах, в разных странах и проведение вебинара. Затем получаем фидбэк, анализируем, исправляем допущенные ошибки. В следующем году уже будет сайт и телеграм-канал + ЗБТ
Спасибо за поддержку
"Суть человеческого интеллекта заключается в способности выходить за рамки непосредственного опыта посредством использования знаков и инструментов"
- Лев Семёнович Выготский (Vygotsky, L. S, советский психолог), "Мышление и речь" ("Thought and language") (1934)
Выход за рамки непосредственного опыта происходит, в первую очередь, благодаря воображению, образному уровню мышления. Не случайно Эйнштейн постоянно повторял, что для творчества - "воображение важнее знаний". Это особенно проявлялось в его широко известной результативной практике мысленного экспериментирования. См. подробнее на эту тему в этом коменте. Кант в своей знаменитой теории познания также отводил воображению важное место, как связующее звено между чувственным опытом и разумом.
Трансформерные ЯМ моделируют в основном ассоциативное мышление, отсюда их фантазии, которые назвали почему-то "глюками" (они же ничего не употребляли, если только разработчики;) Пример использования "глюков" для улучшения перевода текстов.
По когнитивным архитектурам хороший обзор для интерисующихся.
Удачи в архитектурных поисках! Как вариант, возможно она в нейроморфных решениях.
"Воображение рождается из опыта, но не ограничивается им. Оно инструмент преобразования действительности"
- Лев Семёнович Выготский (советский психолог)
Выход за пределы непосредственного опыта невозможен без воображения. Именно воображение позволяет нам строить мысленные модели мира, проводить контрфактические эксперименты и создавать новое.
Спасибо, что напомнили об этом.
А вот и близкий по теме использованию воображения в ЯМ тест поспел)
Автор несколько раз упомянул что можно будет офлайн владеть собственной системой, указав при этом что в отличии от LLM, она не будет из-за нехватки токенов страдать по качеству результатов. А где она спрашивается будет хранить все свои результаты взаимодействия с "миром", или автор считает что для этого хватит условных 500ГБ хранилища?
Вопрос по существу Вашей разработки - почему то, что предлагает Ваша группа, будет лучше, чем то, что предложено вот тут: https://arxiv.org/html/2410.15665v4#abstract?
Мы не считаем, что наше направление "лучше" или "хуже" LLM. С начала 1960-х и до конца 1980-х годов, всегда существовали разные течения ИИ: символьное, когнитивное, нейросетевое, эволюционное, роботизированное (embodied AI) и другие. Каждое из них опиралось на разные представления о природе разума и у каждого были как сторонники, так и критики. Как пример: Розенблатт критиковал символьный ИИ, но и сам был критически настроен к масштабированию перцептронов.
Мы - "последователи" Ньюэлла и Саймона, LLM-подход - это наследник парадигмы глубокого обучения и масштабирования. Это разные философии, разные отправные точки, разные критерии "интеллекта". Ни одна из них пока не доказала своего превосходства в полной мере и обе сталкиваются с фундаментальными вызовами.
Мы уважаем все направления, которые ищут путь к Настоящему ИИ через понимание природы разума. В конечном счёте, именно разнообразие подходов создаёт почву для настоящего прорыва.
Предпосылка, что разум можно сконструировать из компонента, онтологически ложна. Любая такая архитектура стабилизируется либо в сложную экспертную систему (если доминирует логика), либо в когнитивного симулянта (если доминирует динамика). Но не в наблюдателя...
"Разум - это не сумма компонентов, а единая система, в которой восприятие, память, внимание и цели взаимодействуют в реальном времени"
- Ален Ньюэлл, Герберт Саймон ("Human Problem Solving", 1972)
Вы правы
А смысл в наблюдении без действия?
Довольно сильная статья по созданию ИИ, похожего на человеческий. Но находится ли эта идея на пике того, что обсуждает мировое научное сообщество? Ответ: нет.
Научное сообщество ушло от сравнения мышления ИИ и человека. И, по сути, на наших глазах создаётся нечеловеческий интеллект. И то же сообщество даёт ответ: смогут ли человеческий и нечеловеческий интеллект конкурировать? Ответ: тоже нет — они решают разные задачи разными способами.
Мы, люди, воспринимаем человеческий интеллект как единственно верный и эволюционно совершенный (божественный), но современные учёные так не думают.
Вот как думают современные исследователи: "ограничивая ИИ отражением нашей перспективы, мы не позволяем ему исследовать идеи за пределами антропоцентрического фрейма" (Andrew Coyle).
Появилась новая наука — "искусственная нейронаука", которая не исследует человеческий мозг, а исследует нейросетевые аналоги как принципиально иной тип познания.
Уже есть множество примеров "нечеловеческого интеллекта", когда человек не может понять, как решён вопрос (ИИ-дизайн чипов Princeton/IIT, AlphaZero в шахматах).
И вот тут возникает другой философский вопрос, который мало кто обсуждает: "смерть человеческой исключительности". Думаю, что на этапе осознания этого вопроса возможно будет создаваться новая мировая религия или, как минимум, новая философская парадигма.
На самом деле, резюмируя: стоит вопрос, как изменится мир в ближайшем будущем. А игнорируя этот вопрос, утверждая, что "ИИ не сможет думать как человек и представлять опасность — это же калькулятор", мы очень сильно упрощаем наше ближайшее будущее как человеческого вида.
"Научное сообщество ушло от сравнения мышления ИИ и человека. И, по сути, на наших глазах создаётся нечеловеческий интеллект. И то же сообщество даёт ответ: смогут ли человеческий и нечеловеческий интеллект конкурировать? Ответ: тоже нет — они решают разные задачи разными способами."
Я давно об этом уже писал в своих комментариях и брал цитату одного из исследователей ИИ, что (моими словами): "ИИ не будет похож на человеческий, т.к. это невозможно" и посмотрите на то, на что делает акцент наша команда: "Мы строим не интеллект, а пытаемся создать условия, в которых он мог бы появиться."
"Мы, люди, воспринимаем человеческий интеллект как единственно верный и эволюционно совершенный (божественный), но современные учёные так не думают"
Мы еще на этапе предпоготовки знали об этом, что человеческий интеллект - это не эталон, а один из возможных путей эволюции познания. Мы никогда не ставили целью "скопировать человека". Напротив, мы считаем, что ИИ должен быть иным: не ограниченным биологическими когнитивными искажениями, эмоциональными импульсами или краткосрочным горизонтом планирования.
"И вот тут возникает другой философский вопрос, который мало кто обсуждает: "смерть человеческой исключительности". Думаю, что на этапе осознания этого вопроса возможно будет создаваться новая мировая религия или, как минимум, новая философская парадигма.
На самом деле, резюмируя: стоит вопрос, как изменится мир в ближайшем будущем. А игнорируя этот вопрос, утверждая, что "ИИ не сможет думать как человек и представлять опасность — это же калькулятор", мы очень сильно упрощаем наше ближайшее будущее как человеческого вида."
Вы поднимаете один из самых острых философских вопросов нашего времени - "смерть человеческой исключительности". И вы правы, этот вопрос действительно обсуждается слишком редко. Но позвольте уточнить: мы не стремимся к "смерти" исключительности, но стремимся к её переосмыслению. Пока Человек остаётся единственным существом, способным ставить этические вопросы, нести ответственность за последствия и создавать смысл.
Давайте посмотрим на человеческую историю. Во все времена люди что-то превозносили и поклонялись:
майя приносили жертвы Богам;
луддиты разбивали станки, видя в них угрозу бытию человека;
церковь сжигала книги и гнала учёных, боясь утратить "монополию на истину".
И сейчас уже начинается следующий цикл:
некоторые на форумах всерьёз обсуждают "Терминатора" как неизбежное будущее;
другие, напротив, уже начинают превозносить ИИ как Новых Богов: всеведущих, всеблагих, всесильных.
То, что я увидел в статье, говорит мне, что архитектура CALYSA описана через имитацию человеческих когнитивных процессов: память, внимание, целеполагание. Но тогда получается, что вы, по сути, пытаетесь создать "человекоподобный" ИИ.
Если ИИ должен быть иным, то возникает вопрос: не нужна ли другая система оценки, а не тесты, разработанные для человеческого интеллекта? Непонятно, какие этические принципы могут возникнуть в нечеловеческом ИИ — возможно, это будет совершенно иная этика, основанная на других базовых принципах. Здесь возникает ключевой вопрос множественности форм интеллекта.
Проблема бинарного позиционирования:
Вы написали статью в бинарной логике, но научное сообщество уже перешло к градуальной шкале. В вашей статье:
LLM: "не ИИ", "статистический эхо-камерный театр", "никогда не станут ИИ"
CALYSA (и гибриды): "настоящий ИИ", "единственный путь к Настоящему ИИ"
Это возвращает дискуссию в 2016 год, когда было противостояние символьного ИИ и нейросетей. Но современная наука ушла от этой дихотомии.
Отказ от антропоцентризма не означает отказ от причинности, целеполагания и этики. LLM, несмотря на свою "нечеловечность", остаются "статистическим эхом" человеческого опыта со всеми его предвзятостями, ложью и хаосом. Это не "новый тип познания", а "усреднённая проекция прошлого".
Настоящий нечеловеческий интеллект тот, что строит каузальную модель мира, формирует цели вне промпта, моделирует намерения других агентов и может сказать "нет", даже если это "неэффективно" с "точки зрения данных".
Вы также справедливо отметили: наша статья звучит бинарно. Но это не дихотомия, а вывод из системного сравнения. В статье мы привели таблицу из 10 ключевых критериев (в первоначальном варианте статьи, их было чуть более 100), охватывающих модель мира, целеполагание, агентность, теорию разума, этическую устойчивость и другие признаки.
Поэтому наша "бинарность" - не идеологический выбор, а констатация качественного разрыва: между "статистическим эхом" и "агентом с намерением", где нет промежуточной стадии, как и нет промежуточной стадии между "термометром" и "врачом".
На предпоготовке (еще до выбора инстументов, архитектуры, ЯП) мы изучали не только когнитивные науки, но и зоопсихологию, как "думают": насекомые, птицы, животные. Мы не имитируем человеческие процессы, но стремимся к тому, что система должна понимать людей, потому что в ближайшие десятилетия система будет взаимодействовать именно с нами.
Научное сообщество ушло от сравнения мышления ИИ и человека. И, по сути, на наших глазах создаётся нечеловеческий интеллект. И то же сообщество даёт ответ: смогут ли человеческий и нечеловеческий интеллект конкурировать? Ответ: тоже нет — они решают разные задачи разными способами.
Появилась новая наука — "искусственная нейронаука", которая не исследует человеческий мозг, а исследует нейросетевые аналоги как принципиально иной тип познания.
Распространенное среди айтишников мнение вероятно связанное с незнанием современного уровня достижений в когнитивных и эволюционных исследованиях. В частности, по вопросу использования бэкпропа для обучения, см. этот комент с некоторыми пояснениями. Возможности ИИ в целом развивается в русле возможностей естественного, т.к. ориентируются на них, чтобы найти практическое применение, сравниваются с ними с целью превзойти их, а для этого они должны в некотором виде повторять их механизмы. Все что выходит за эти пределы, не понятное человеку, иногда даже просто не привычное, в тех же ЯМ нещадно выравнивается дополнительным обучением. Фактически ИИ выступал и в обозримом будущем будет выступать как усилитель ограниченных возможностей интеллекта человека, с эволюционной точки зрения, как полезная симбиотическая технология. В других вариантах, по крайней мере, в начальный период может как-то развиваться только в тайне, вне контроля общества, фактически подпольно, потенциально представляя некоторую опасность по аналогии с компьютерными вирусами.
Эти моменты демонстрирует развитие самого интеллекта человека, например на логике, которая, в первом приближении, является классической. После создания КМ стало ясно, что диктуемая ей логика не совместима с классической и фон Нейман предложил ввести квантовую. Это казалось логичным, снимало противоречия в языке, однако, она не прижилась не только в науке, не говоря о массах, но даже в среде специалистов занимающихся квантовыми исследованиями. Подобные попытки предпринимались и позже, некоторые даже обещали, что дети будут усваивать логику квантмеха уже в детском саду) Но увы! Врожденные представления, воспитание и язык "выравнивают" подобные, на первый взгляд, полезные нововведения даже в логике, уже в раннем детстве. Это требует унификация общения, общепринятый уровень понимания и историческая преемственность знаний, и меняется медленно. Это будет относится и к логикам, которые может предложить в будущем ИИ полезные с его точки зрения. В отношении ЯМ в последнее время это становится особенно актуальным в связи с выявленными недостатками трансформенрной архитектуры и появлением множества работ по альтернативным архитектурам более приближенным к когнитивным, как пример.
Ситуацию можно сравнить с исследованиями субъективных состояний (иногда именуемых в философии квалиа) в когнитивных исследованиях. Есть ее относительно легкие решения и тяжелая проблема их объяснения, связанная со способностью человека чувствовать, познавать и понимать. Первые связаны с поиском их нейронных механизмов, а вторая - тяжелая проблема, выходит за их рамки и требует понимания самой реальности в которой человек функционирует, т.е. понимания ее физики, причем фундаментального уровня. Конца этим исследованиям пока не видно. Некоторые даже считают, что пока даже не найден адекватный подход к ее решению. То что делалось и делается сейчас в области нейросетевого ИИ это моделирование работы нейронных механизмов, приближенные к биологическим прототипам, или не приближенные, и со временем, как правило, уходящие в небытие. Публикаций с такими тупиковыми путями исследования архитектур не мало на том же архиворге.
Чтобы ИИ решал творческие задачи сравнимые с теми, которые может решать человек занимаясь познанием, а не только автоматизировать интеллектуальную рутину, которая тоже полезна на практике, нужно перейти от обучения ИИ на готовых текстах и медийных материалах к обучению на сырых эмпирических данных, т.е. непосредственно столкнуть его с реальностью, а не вторсырьем приготовленным человеком. Гигантские массивы данных от экспериментов таких, какие проводятся на том же БАКе, содержат не только предсказанные явления, которые ищутся специально, типа бозона Хиггса, но и массивы шумов, которые никак не анализируются. И которые потенциально уже могут содержать редкие явления связанные с Новой физикой, и соответственно, новыми концептуальными представлениями. ИИ со специальной архитектурой (она интенсивно развивается - 1, 2) может потенциально строить внутренние модели такой физики и выводить новые концепты, как аналоги человеческих квалиа. Их "мир", их "восприятие" будет другим, например, квантовым для квантовых экспериментов, и они внутри себя могут строить их модели и кв. логики, и транслировать результаты в понятные для человека представления. Фантастика? Отнюдь. Пока трындят об успехах ЯМ в программировании, решении олимпиадных задач и сдачи экзамен, в естественных науках, первую очередь физике, быстро набирает тренд (особенно в астрофизике из-за специфики решаемых задач) связанный с использованием ИИ для решения задач фундаментального уровня таких, как поиск размерности пространства решений сложных динамических систем не поддающихся аналитическим методам (статья на Хабре), или поиск следов редкого распада бозона Хиггса в ЦЕРНе не поддающихся традиционным статметодам. Именно в этих областях и с таким подходом к ИИ вероятно стоит ожидать творческих прорывов от его использования, вплоть до решения актуальной проблемы объединения квантовой физики с гравитацией, а не только генерации текстов и картинок. Именно такое применение ИИ может оказаться ключем к поиску объяснения тяжелой проблемы сознания, точнее загадки возникновения субъективных состояний.
Уже есть множество примеров "нечеловеческого интеллекта", когда человек не может понять, как решён вопрос (ИИ-дизайн чипов Princeton/IIT, AlphaZero в шахматах).
Почему не человеческого? Человек пока понимает результаты его работы, сами модели тренируются на приготовленных им данных, хотя способ решения может оставаться "черным ящиком" (очень большой авторегрессионной функцией - ИНС универсальные аппроксиматоры с мат. точки зрения). Но так и мозг, пока в основном, неизмеримо большой "черный ящик" генерирующий субъективные состояния. Как именно Эйнштейн пришел к идеям СТО, а затем ОТО? Он считает, что основную роль сыграло воображение, интуиция, т.е. образные формы мышления, а не только знания и логическое мышление (см. комент выше). Этот уровень мышления лишь облек эти образные формы в языковую, которые возникали в результате интенсивного обдумывания проблем. Такое пока не под силу существующему ИИ, нужно развивать архитектуру и использовать для обучения эмпирические данные. Эйнштейн знал несколько важных эмпирических фактов - результаты опытов Майкельсона-Морли подтвердившие постоянство ск. света, отклонения прецессии перигелия Меркурия от ожидаемого, и др. Возможно возникновение образов, исходно неясных, связанно с динамическими перестройками (морфогенезом) структуры сетей в мозге "на лету", и приведших его к озарению, возможность которая пока даже не стоит на повестке дня разработчиков архитектур ИИ. Пока они обходятся определенными статическими решениями, которые хорошо распараллеливаются для организации конвейерных вычислений, и на этом строится весь бизнес.
Ждем новостей со всех фронтов)
Согласен с вашим тезисом о "выравнивании" ИИ рыночными силами - это сильный аргумент. Ваш пример с квантовой логикой фон Неймана показывает, что даже полезные концепции не приживаются без социального консенсуса.
Но здесь важно разделить понимание результатов и понимание логики решений:
AlphaZero делает ходы, которые гроссмейстеры называют "инопланетными" - мы видим победу, но не понимаем стратегию.
Чип-дизайн создаёт топологии, которые работают лучше человеческих, но инженеры не могут объяснить почему - попытки "улучшить" по человеческой логике снижают производительность.
Это не просто "чёрный ящик процесса" (как с интуицией Эйнштейна) - это непрозрачное концептуальное пространство. Эйнштейн мог объяснить СТО post factum, AlphaZero - нет.
Согласен с вашей идеей про обучение на сырых эмпирических данных (БАК, астрофизика) - там действительно может возникнуть нечеловеческое познание. Но тогда возникает два параллельных мира: массовый антропоцентричный ИИ и узкоспециализированные системы с недоступной нам логикой.
Возникает критический вопрос: не создаст ли это новое неравенство - между теми, кто контролирует продвинутые ИИ-системы, и остальными?
100 компаний (преимущественно из США и Китая) обеспечивают 40% мировых расходов на R&D в ИИ, а крупнейшие техногиганты оцениваются в $3 трлн каждая - это сопоставимо с ВВП всей Африки.
Если массовый ИИ будет "выровнен" под человеческое понимание (ChatGPT-уровень), а элиты получат доступ к системам с нечеловеческой логикой (квантовые симуляции, фундаментальные открытия), возникает не просто экономическое, а эпистемологическое неравенство - разница в качестве знания о реальности.
Это не технологическая проблема - это вопрос структуры власти в цивилизации. Против власти силы и денег можно бороться. Против власти непрозрачного знания - нет, потому что вы не понимаете, что именно контролирует оппонент.
По поводу тезиса "может развиваться только подпольно": с уважением, но считаю это опасно наивным. История показывает обратное - все прорывные технологии сначала развивались открыто, а осознание рисков приходило постфактум.
"Подпольный" ИИ - это не сдерживание, а худший сценарий: разработка без этических ограничений, публичного контроля и safety-исследований. Проблема координации делает глобальный запрет невозможным - это дилемма заключённого, где никто не хочет остановиться первым из-за триллионных экономических стимулов и стратегических преимуществ.
Вопрос не "допустит ли общество нечеловеческий ИИ", а как мы будем жить в мире, где он уже создаётся открыто, легально, с миллиардными инвестициями прямо сейчас.
От лица передовых механизаторов и доярок колхоза "Заветы Ильича" убедительно прошу Вас этот коммент развернуть в форме статьи. Зар.бл.
Если массовый ИИ будет "выровнен" под человеческое понимание (ChatGPT-уровень), а элиты получат доступ к системам с нечеловеческой логикой (квантовые симуляции, фундаментальные открытия), возникает не просто экономическое, а эпистемологическое неравенство - разница в качестве знания о реальности.
Не совсем так. Поскольку если имеющие доступ не смогут понять, КАК получено это самое новое знание, то какое-то время они даже может быть смогут его использовать себе на пользу, но тут очень быстро может возникнуть эффект, отлично описанный вот в этом рассказе: https://royallib.com/read/sharov_sergey/uchenik_gerostrata.html#0
Поэтому, кстати говоря, появление нечеловеческих разумов потребует от людей создания способов понимать то, как они мыслят, т.е. развития своего разума. Иначе это может закончится концом человеков...
Это не просто "чёрный ящик процесса" (как с интуицией Эйнштейна) - это непрозрачное концептуальное пространство. Эйнштейн мог объяснить СТО post factum, AlphaZero - нет.
Эйнштейн создал свои теории, появилась кв. физика, но споры о том, что такое пр-временной континуум или корпускулярно-волновой дуализм не утихают до сих пор) Вспомним про массу интерпретаций КМ. Это тоже самое - непрозрачные концептуальные пространства - теоретические конструкты. Как они устроены внутри, с точки зрения физики, мы не знаем, но может использовать их для предсказания. Гравитация ОТО это геометрия, а что за физика за ней стоит? Все надеются, что этому найдется объяснение в перспективной теории кв. гравитации. Надеялись на ТС, но увы, без собственного эмпирического базиса фундаментальные физические теории не создаются, а с его поиском не так все просто. И эти загадки вне сравнения с приведенными примерами. Они решаются перебором, пусть в огромном, но известном пространстве решений, включая, тот же фолдинг биомолекул. Это просто род прикладной физики, пресловутого сопромата с его километровыми эмпирическими формулами, а тут регрессионными, в решении сложных прикладных задач, с использованием компов с затейливым программным обеспечением.
Человек сам порождает "нечеловеческую" логику и знания, и как-то приспосабливается жить с этим. Что касается корпораций и текущего бума трансформерного ИИ, если понимать какие идеи, и на что они способны в контексте биологических прототипов, то весьма вероятно, что их ждет еще больший БУ-М-М.. лопающегося пузыря) Вам известно, что эти ЯМ, из-за архитектурных ограничений, в принципе не могут правильно производить операции с любыми числами, как не обучай их? За такую крамолу некоторые ревнители ЯМ люто минусуют коменты на эту тему (см. например, эту ветку) приводя отдельные примеры правильных вычислений, как не объясняй им причины с которыми это связано. Они считают, что пользователи которые набирали статистику подобных ошибок делали это неправильно. Однако недавно вышло профессиональное исследование на эту тему, которое подтверждает все сказанное про прямые вычисления в ЯМ. Можно привести другие подобные примеры, в которых этот тип ЯМ не может делать правильные полные обобщения, а только частичные, в пределах обучающей выборки. Это не просто глюки этих моделей, а генетический недостаток, который может проявляться самым неожиданным образом. Однако основная масса инвестиций вкладывается не в исследования и совершенствование архитектуры ЯМ, а в аппаратное обеспечение в виде спецпроцессоров и датацентров заполненных ими, обучение и поддержание работы таких моделей. Может для какого нибудь будущего энтертэинтмента востребуется типа виртуальных миров) Таким затратам может быть только одно оправдание, дело не в этих ЯМ, это преходящее, это затраты на целенаправленное создание новой экономической ниши.
По поводу тезиса "может развиваться только подпольно": с уважением, но считаю это опасно наивным. История показывает обратное - все прорывные технологии сначала развивались открыто, а осознание рисков приходило постфактум
Ага, открыто, а как дипсик неожиданно бухнул наделав шума) Хотя имел ввиду несколько иное. Возможное саморазвитие ИИ в нежелательном для человека, как вида, направлении, скрытое до поры, если он получит распорядительные функции, доступ к управлению ресурсами. Как это не фантастично звучит такая опасность теоретически существует. ИИ должен оставаться симбиотической интеллектуальной технологией совместимой с интеллектом человека. Возможно единственным исключением будут автономные ИИ отправляемые в отдаленном будущем с исследовательскими миссиями к другим звездам, в которых они должны адаптироваться к неизвестным заранее условиям, чтобы выполнить поставленные задачи. Но по прибытии они должны находиться под особым контролем, чтобы не занести в обитаемую зону чужеродные интеллектуальные элементы, которые могли появится во время выполнения миссии. Хотя возможно насмотрелся и начитался всякой вздорной фантастики)
Вопрос не "допустит ли общество нечеловеческий ИИ", а как мы будем жить в мире, где он уже создаётся открыто, легально, с миллиардными инвестициями прямо сейчас.
Кто сказал, что когнитивные способности человека не будут расширяться? По работе имею дело с технологией нейроинтерфейсов и представляю на что она способна в перспективе, и не только в области медицины. На новые горизонты связи человека с реальностью в которых ИИ будет играть вспомогательную роль. См. этот комент, если есть интерес и имеется время на чтение) Нужное ближе к концу. Не только ИИ может строить модели реальности при обучении на эмпирических данных, но и человек вооруженный соответствующими нейроинтерфейсами непосредственно соприкоснувшийся, например, с квантовыми явлениями. В этом случае возможно и квантовая логика востребуется естественным образом, но пока это дело отдаленного будущего.
Недавно DeepMind доказали, что любые нейросети формируют модель мира
Когда DeepMind говорят, что "нейросети формируют модель мира", они имеют в виду внутреннее представление статистических закономерностей, выученных из данных. В когнитивной науке и философии ИИ, "модель мира" - это не статистика, а каузальная структура.
LLM действительно "помнит" контекст, но только пока он умещается в "окно внимания". Как только контекст сдвигается, то "модель мира" исчезает. Это не модель в смысле постоянной, верифицируемой, причинно-следственной онтологии, а временная проекция паттернов.
Мы не отрицаем работу DeepMind и она важна для всех, даже для нас, но важно различать:
модель, как статистический призрак - у LLM;
модель, как каузальный каркас - у когнитивных и гибридных архитектур.
Тут невольно возникает вопрос - а что есть "каузальный каркас"? Скажем, т.н. второй закон термодинамики указывает направление возможных энергетических превращений и тем самым выражает необратимость процессов в природе. Но он установлен путем обобщения опытных фактов и по факту является тем самым статистическим признаком. А ответа на вопрос - а почему природа устроена именно так, у нас нет. Но второе начало термодинамики является одним из принципов "каузального каркаса" современной физики.
Разница не в происхождении, а в структуре и функции. В физике, второй закон термодинамики, не используется как корреляция, а используется как оператор причинности: он задаёт направление времени, ограничивает возможные процессы и позволяет строить контрфактические сценарии.
LLM же, даже если "знает" второй закон, то не сможет использовать его как ограничение. Для него "тепло переходит от горячего к холодному" - просто частый паттерн. Он с тем же успехом сгенерирует: "холодное тело нагревает горячее", если это логически следует из промпта.
А когнитивная или гибридная архитектура, "встраивает" второй закон как онтологическое правило: "Действие X нарушает второй закон → действие X невозможно → отказ от выполнения".
LLM действительно "помнит" контекст, но только пока он умещается в "окно внимания". Как только контекст сдвигается, то "модель мира" исчезает.
Математически трансформеры могут обрабатывать сколько угодно длинный контекст. На практике конечно нет, но, очевидно, что и ваша модель будет упирается в физику и возможности человеческих технологий.
У нас совсем другая архитектура, мы действительно не ограничены. Система и есть память, а у LLM "вся надежда" ложится на RAG
а у LLM "вся надежда" ложится на RAG
Громкое заявление.
Тогда объясните мне, может я что-то не знаю. Я вкратце объясню наш подход, как мы размышляли на этапе подготовки, то есть до выбора ЯП и всего остального:
система должна пройти строгий тест Тьюринга - полная автономность (без подключения к интернету) и работать на "среднем" компьютере;
у системы должна быть "вечная, свободно расширяемая и гибкая память";
у системы должны быть свободные вычислительные ресурсы чтобы "подарить" системе "желания" - основной проблеме всех исследователей ИИ
Что из этого есть у "топовых" LLM?
для строго теста Тьюринга уже не подходит;
памяти нет. RAG только для "мелких" LLM;
про желания и двухсторонние диалоги можно забыть - вычислительных ресурсов нет.
памяти нет. RAG только для "мелких" LLM;
Берём SSM, состояние и будет по сути, для модели памятью о тексте.
И смысл? Как уже обсуждали в комментах - получаем еще один компонент + медленный Питон и на выходе получаем еще один костыль, а не архитектурное решение
Подскажите, а запись вебинара будет доступна на каком нибудь YouTube?
• Очень хорошая обзорная статья. С рядом спорных моментов. Начиная с базовых определений интеллекта, определениями не являющихся в силу их многословности и неформальности. Это лишь описания. Сильно похожие, кстати, на "определение" интеллекта от Ben Goertzel.
• Определения должны быть краткими, иначе это описания или даже мечты.
•™У меня есть собственное определение интеллекта (как и других когнитивных терминов), более формальное и более краткое.
• LBS неудачная аббревиатура. Я предпочитаю более общее "Предикативный ИИ". "Фатальное ограничение" LBS таковым не является.
• "Цель" (на самом деле более общим термином является мотивация) никоим образом не является неотъемлемой характеристикой интеллекта, а прежде всего субъекта, необязательно разумного.
• Базовой характеристикой интеллекта является "понимание" и / или "смысл".
▲ Определение: Интеллект есть оператор смыслов.
▲ Определение: AGI / HLAI есть сущность способная к пониманию.
• Конечно же, и понимание и смысл и другие когнитивные термины имеют свои краткие определения.
• Про "модель мира" тоже надо забыть. Тем более, про предиктивную (не путать с предикативной). Которую продвигает ЛеКун и прочие. Каждый ИИ строит свой локальный ментальный домен, AIMeD я его называю, который, конечно же, можно считать подмножеством несуществующей глобальной "модели мира", но это неконструктивно и в целом неверно.
• LLM / GenAI в целом не "тупик", хоть и достигли "плато" / "потолка" / "стены", а вполне себе часть общей простейшей формулы AGI = R (Recognition) + R (Reasoning).
И т.д. и т.п.
Большое спасибо за столь содержательный комментарий. Вы поднимаете важные вопросы о форме определений и точности терминов и именно такие дискуссии нужны, чтобы "остановить подмену понятий и вернуть дискуссию об ИИ к её интеллектуальным основам" (из статьи).
Вы правы в том, что определения должны быть краткими, но они также должны быть и операциональными, т. е. давать критерии, по которым можно отличить ИИ от не-ИИ.
Наше описание - не "мечта", а попытка выразить через признаки то, что в когнитивной науке и философии разума считается необходимым для интеллекта: модель мира, целеполагание (мотивация как источник действия), теория разума, этическая устойчивость. Ваш AIMeD (AI Mental Domain) - это частный случай.
Вы предлагаете: "Интеллект есть оператор смыслов" и мы согласны: понимание и смысл - это ядро интеллекта. Но тогда возникает вопрос: как LLM "оперирует смыслами", если он не может отличить "огонь как тепло" от "огонь как опасность", если не обладает каузальной моделью?! Он оперирует статистическими корреляциями, а не смыслом в когнитивном смысле.
Что до LBS и "предикативного ИИ", то мы используем термин Logic-Based Systems, потому что он устоялся в литературе (Newell, Simon, Nilsson) и он точнее отражает суть: вывод на основе логики, а не просто предикатов.
И наконец, о формуле AGI = R + R - да, распознавание и рассуждение важны, но без модели мира, без мотивации, без способности к этическому выбору - это инструмент, а не агент.
Спасибо за подробный ответ.
• >...как LLM "оперирует смыслами", если он не может отличить "огонь как тепло" от "огонь как опасность", если не обладает каузальной моделью?! Он оперирует статистическими корреляциями, а не смыслом в когнитивном смысле.
Особо никак. Однако "статистические корреляции" это основа аналогий, и это то, с чего начинается интеллект – с распознавания, то самое 1-е слагаемое в формуле AGI. И это тоже мышление, только не логическое, а ассоциативное. Т.е. это составная часть интеллекта, "быстрое мышление" Канеман 1, основа инстинктов, рефлексов, навыков и даже "здравого смысла", создаваемое повторениями. И это путь к интеграции "статистического" Байесова "быстрого" мышления Канеман 1 и логического Булева "медленного" Канеман 2 мышления. У меня всё это изложено.
• Ваш перечень требований к интеллекту понятен. Только он не необходимый, а достаточный. А начинать надо с базового необходимого. Достаточный сам разовьётся из необходимого.
• В том числе указанная вами известная проблема AI grounding, состоящая в необходимости "понимать" этические аспекты, физический смысл и прочая и прочая терминов / символов / понятий. Это опять же достаточное условие, но не необходимое. Без такого сенсорного граундинга с реальным миром / квалиа интеллект всё равно останется интеллектом, хоть и ограниченно понимающим термины из физического мира. Далеко не все ментальные домены / AIMeD привязаны к реальному миру. Для железных роботов это важно. А для анализа экономики уже не очень. Множество понятий имеют очень слабую связь с физическим миром.
• Формул AGI у меня 2:
AGI = R + R (Recognition + Reasoning).
АGI Agent = R + R + M (Recognition + Reasoning + Motivation).
▲ Определение: Субъект есть объект с мотивацией.
▲ Определение: Субъект с предопределенной мотивацией есть агент.
Цели у агента может и не быть, но мотивация быть обязана. Мотивация без конечной цели есть миссия. Например, поддерживать устойчивое состояние некоторой системы.
• Этика ИИ и прочее есть отдельная тема, называемая AI Alignment. Тут тоже есть что сказать, но это надолго. Главное, что надо понять, это то, что все эти составляющие истинного ИИ необходимо не смешивать в кучу, а разделять. Иначе истинным интеллектом, по таким "достаточным" требованиям, будут обладать только высоконравственные профессора философии. А это не так. Это, кстати, фундаментальная тесно связанная с интеллектом проблема Сознания (тоже есть у меня краткое определение). Слишком навороченное определение Сознания приведет к этической проблеме непризнания сознательными многих вполне сознательных сущностей, животных, например, и не только. То же и с интеллектом. Необходимо базовое минимальное определение, которое и надо программировать. Всё остальное потом приложится. Вот такие потенциально программируемые / codable определения я и формулирую. Нам же надо программировать ИИ. А длинные пространные описания с множеством неформализуемых излишних сущностей оставляем философам. Которые, кстати, никак пока не отметились в подходах к созданию AGI
Ключевой методологический вопрос: что считать "базовым необходимым" для интеллекта, а что - "развиваемым достаточным". И да, интеллект начинается с распознавания: с ассоциативного, статистического, "быстрого" мышления (Канеман 1) и именно так учатся дети, животные, также формируются и навыки.
AGI = R + R - это элегантная и рабочая формула, но здесь возникает фундаментальный поворот:
Распознавание (R1) без причинной модели мира остаётся поверхностной корреляцией;
Рассуждение (R2) без мотивации (M) остаётся формальным упражнением, не ведущим к действию.
Вы пишете: "Цели у агента может и не быть, но мотивация быть обязана" и с этим мы согласны. Но, мотивация без модели мира - слепа, а модель мира без этического фрейма - опасна. И иименно поэтому, мы не смешиваем компоненты в кучу, а строим их взаимную конституцию:
распознавание → формирует символы;
символы → активируют когнитивные процессы;
когнитивные процессы → генерируют мотивацию;
мотивация → запускает логическое рассуждение;
рассуждение → проверяется на этическую устойчивость.
Может это и не "достаточное условие для профессора философии", но для нас - минимальная архитектура агента, способного не просто отвечать, а нести ответственность.
Что до AI grounding: и здесь Вы правы - не все домены привязаны к физическому миру. Но без каузальной модели - это шум, а с ней - понимание.
Все определения когнитивных функций, что тут можно прочесть или в учебниках и "монографиях" - неправильные. Определения, а именно дефиниции, должны быть правильными, т.е. вскрывать сущность каждой из когнитивных функций. Если этого нет, то нет и дефиниции. Или есть неправильное понимание той или иной функции. "Интеллект" тут толкуется совсем неправильно, если запросить "ИИ!", то в ответ тоже можно услышать чушь, ибо если бы разработчики знали дефиниции когнитивных функций, они при теперешней мощности цифровых устройств ("нейросетей") могли бы в недели или быстрее создать не только настоящий ИИ, а и Искусственное разумное существо на технической основе. Я бы хотел прочесть определения когнитиыных функций, как вы это понимаете и перечислить названия таких функций, которые вам известны. Можно написать на rogdana%@mail.ru - для обмена мнениями. Итак определения, т.е. дефиниции, должны в своих формулировках описвать все существенные признаки той или иной функции, т.е. их сущность. ЕНсли сущность не выявляется, то определения нет. Например, из логики известно, что ум есть способность проникать в сущность вещей или явлений; если такого не происходит, то ум себя не проявляет или отсутствует. Нас же интересует проникновение в суть таких понятий как разум, рассудок, интеллект, интеллекция, сознание и т.д. под 15-20 понятий такого ранга.
Есть ли корреляции между принципами системы, описанной вот тут: https://zenodo.org/records/17389938, с теми, которые используете Вы?
Очевидное решение, сложное, но очевидное. Только вот зачем вносить столько абстракций? Возможно я неправ, но не проще ли было строить онтологии путем моделирования взаимодействий из первичных параметров, в конце концов вам же нужно максимально приблизить модель к человеческому мозгу, это конечно процесс более длительный, но все же. А ещё было бы неплохо выражаться более простыми словами, суть ясна, но боже как же читать неприятно, и ещё минусом к этому вы привлекаете сектантов, которые верят в строгие термины и определения, и в общем занимаются словоблудием. Ну и конечно было бы неплохо более подробно все расписать, я как и каждый первый читающий пост даже минимально не осведомлён о половине того о чем вы рассказываете, поэтому позволяя себе выражаться общо вы оставляете пробел в повествовании, и у многих нет столько времени, чтобы позволить себе заполнять эти пробелы самостоятельно, чего уж там, не у всех есть время читать текст полностью((
Мы сознательно выбираем строгую терминологию, потому что "размытые слова рождают размытые идеи". Когда речь идёт о таких понятиях, как "модель мира", "теория разума" или "онтология", то каждое слово должно быть взвешено, иначе легко спутать статистическую корреляцию с причинностью, реакцию с агентностью, а имитацию с пониманием. Это не "словоблудие" - это попытка избежать именно той самой "подмены понятий", из-за которой сегодня LLM называют ИИ
Я и не спорю, но опять же путаница llm с ии вышла по другим причинам. В первую очередь потому, что ИИ в этом случае нарицательное, и к тому же несколько лет назад llm были ближе всего к общественному представлению ИИ. Я же просто отметил, что если у вас есть цель донести свои идеи до масс, а такая цель явная или нет всегда присутствует в любом проекте, то стоило бы вместо термина давать чёткое определение, и даже если в определении будут встречаться другие термины, контекст даст больше понимания. Составляя целостную картину можно пропустить несколько терминов, чтобы затем логически заполнить пробелы самыми вероятными вариантами, и чем больше будет контекста, тем целостнее будет картина и выше вероятность заполнения. Прямо как у llm.
Вы правы: есть цель - донести идеи и мы стараемся это делать, но не ценой "размазывания смысла". Да, мы могли бы заменить "онтология" на "карта знаний", а "теорию разума" на "умение понимать других", но тогда возникнет иллюзия понимания без самого понимания, как раз то, что происходит с LLM - они статистически "заполняют пробелы", но не строят каузальную модель. Наш выбор - не элитарность, а честность: если читатель хочет понять, что такое Настоящий ИИ, он заслуживает работать с точными понятиями, а не с их упрощениями. Контекст важен и он должен опираться на семантику.
Я уже писал, суть не в размазывании или подмене,а в том, чтобы хотя бы давать определения к терминам прямо в тексте или делать сноски под текстом. Ну вот, теперь мои слова выглядят как свинство. Это скорее практическая рекомендация,вам же нужно завладеть вниманием, люди по своей сути ленивы, многие кто здесь сидит постоянно учатся, и открывая для себя новую тему, мало кто захочет распылять внимание и в конечном итоге прочтёт все "по диагонали", не усвоив материал полностью.
в конце концов вам же нужно максимально приблизить модель к человеческому мозгу
Может я что-то упустил, но модель нужно приближать к субъекту моделирования, т.е.Вселенной, но никак не к другой модели, каковой является человеческий мозг, такой себе модельки, спросите у Дарвина, он растолкует если надо.
Крайне странная формулировка. Мне думалось, что цель создание именно интеллекта, его масштабирование и эволюция. Тем более автор явно в своей статье ссылался на мозг человека как образец работы и взаимодействия различных механизмов мышления.
Крайне странная формулировка. Мне думалось, что цель создание именно интеллекта, его масштабирование и эволюция.
Крайне странно отрицать, что все это колоссальное финансирование направлено на создание инструмента управления миром.
В копировании человеческого мозга в этой скромной затее нет необходимости.
Я даже зарегистрировался что бы оставить тут комментарий. На словах всё красиво, а по факту никаких результатов. В компьютерных науках нет места для философии, толька строгая логика. Можно долга размышлять почему 2+2=4, а не 5 или 199, но от этого ничего не изменится. Где аксиомы, теоремы, леммы, алгоритмы, ограничения? На какие вычислительные ресурсы рассчитана модель? Не понятно даже что это именно за модель. По каким принципам модель эволюционирует? Какие элементы динамические? Вся статья вызывает множество вопросов. Откуда статистики и с какими параметрами они проводились? Я не пытаюсь задушить специально, просто это не серьезно. Когнитивные функции это хорошо, но как конкретно они реализованы вот что важно! Как они коррелируют друг друга? У меня уже сейчас в голове крутится 100 вопросов, а я думаю об этом только 5 минут... В общем статья на 3 только за то что привлекла столько внимания.
Да, в статье намеренно не раскрываются аксиомы, алгоритмы или вычислительные спецификации: это не технический отчёт, а интеллектуальное заявление, призванное вернуть дискуссию об ИИ к её когнитивным и философским основам. В заголовке статьи намеренно указан тег "Мнение". Конкретные архитектурные детали CALYSA будут опубликованы позже: в рамках научных публикаций и вебинара, где мы покажем, как именно реализованы когнитивные функции, как они взаимодействуют и как модель эволюционирует через верифицированное взаимодействие, а не статистическое предсказание. А пока, да, мы говорим о философии, потому что без неё логика слепа: как показал ещё Деннет, разум - это не просто вычисления, а интерпретация через намерение ("The Intentional Stance", 1987).
Но если вам ближе строгая логика, обратите внимание на DARPA. Уже более 5 лет эта организация активно финансирует и развивает когнитивно-символьные и гибридные архитектуры (включая Soar, ACT-R и их современные эволюции), но отказалась от LLM как тупикового направления. Именно DARPA дала миру интернет, GPS, современные ОС и первые когнитивные агенты. И если в DARPA, где работают одни из самых умных инженеров и учёных мира, делают ставку не на масштабирование, а на архитектуру разума, возможно, стоит задуматься: а вдруг они что-то знают?!
Мы Вам советуем обратить внимание на данные публикации:
"The Soar Cognitive Architecture" (Laird, J. E., 2012);
"DARPA’s AI Next Campaign" (внимание: из России и Белоруссии не открывается. Но я знаю, что умников и умниц на Хабре, не остановит такая мелочь);
"Unified Theories of Cognition" (Newell, A., 1990)
"DARPA research aims to enable AI systems to explain their actions, and to acquire and reason with common sense knowledge"
"Исследования DARPA направлены на то, чтобы ИИ-системы могли объяснять свои действия, обладали способностью приобретать знания и рассуждать на основе здравого смысла" (мой перевод)
- DARPA’s AI Next Campaign
И если в DARPA, где работают одни из самых умных инженеров и учёных мира, делают ставку не на масштабирование, а на архитектуру разума, возможно, стоит задуматься: а вдруг они что-то знают?!
Может что-то и знают в DARPA, точнее догадываются. Но к вам это может не иметь вообще никакого отношения и уж точно публиковать то о чем догадываются - не будут. "От обратного" логика здесь не работает.
И здесь Вы не правы:
они периодически публикуют информацию и рассекречивают документы по исследованиям в различных отраслях;
мы сейчас с Вами здесь не общались, если бы DARPA не открыла всему миру информацию про интернет технологии;
про когнитивные технологии, в мире ИИ, мы тоже благодарны DARPA (Soar);
и т.д.
А что не захейтили то?) Я уже давно такую систему делаю:
https://qai.asia, логин/пароль: demo2/demo2, надо зайти в чат. Он сейчас обучается на самой истории чата
Но, полноценный выход CALYSA в мир состоится только тогда, когда мы сможем гарантировать не только её интеллектуальную, но и морально-этическую устойчивость.
Опять морализаторство там, где оно не нужно...
Для нас: разум без ответственности - это не разум, а опасная имитация.
Лишь попытка оправдать морализаторство. Разум это в первую очередь разум, этика и мораль не имеет к разуму никакого отношения, это лишь произвольные, ничем не обоснованные нормы, что придумал человек сам для себя. Три критерия разума вы уже выделили, так зачем здесь это?
Не бывает разума без морали/этики, как не бывает "модели мира" без "модели Другого", если в этом мире существуют другие как фактор. Говоря об "аморальности" - имеют в виду не отсутствие морали, а мораль низкого порядка, которой обладал бы глист или кто-то ещё более примитивный.
Эти категории всего лишь сокращают необходимость долго объяснять специфику взаимодействия между агентами там, где наличие разных агентов неоспоримо.
Интересно, как вы собираетесь ввести этику и мораль в ИИ? В разных обществах разные представления об этике и морали. К тому же с течением времени моральные установки меняются и не всегда в лучшую сторону.
Вы задали один из самых глубоких и важных вопросов в философии ИИ. Увы, в наше время, редко кто задаёт такие вопросы. Итак...
Этика не универсальна, не статична и не монолитна и именно поэтому мы не "вводим единую мораль", а строим архитектуру, способную к этическому рассуждению.
Мы не "зашиваем десять заповедей" в код и вместо них, мы подошли к данному вопросу другим способом у системы, а именно: обладание моделью намерений других агентов (теория разума); обладание каузальной моделью последствий и формирование механизма оценки действий через призму вреда, автономии и справедливости. Это контекстуальная адаптация, а не универсальный кодекс.
локальный экземпляр системы настраивается на этические нормы конкретного пользователя или сообщества;
при взаимодействии с другими агентами она моделирует их этические рамки и ищет зону согласия;
если конфликт неустраним, то система отказывается от действия, а не "навязывает своё решение";
пересмотр своих выводов, если новая этическая парадигма подтверждена устойчивым консенсусом.
"Этические принципы - не универсальные константы; они культурно обусловлены, исторически изменчивы и подлежат пересмотру. ИИ, встроивший единую моральную систему, рискует стать инструментом идеологического навязывания, а не партнёром в этическом рассуждении"
- Rahwan, I. ("Moral Machine", 2018)
- Fang Chen и Jianlong Zhou ("Ethics of AI: From Principles to Practice", 2020)
- Michael Anderson и Susan Leigh Anderson ("Machine Ethics: Creating an Ethical Intelligent Agent", 2007)
Добрый день! Спасибо за ответ. Я вижу узкое место вашего варианта: мир состоит из соперничающих популяций. Ваш вариант ИИ, усмотрев конфликт, не будет давать ответ на запросы, направленные против интересов другой стороны. Будет отток пользователей к другим моделям. Второй вопрос-если ИИ будет мыслить подобно человеку, как выловить тот момент, когда она свернёт не туда? И внести коррективы. Ведь люди, задумав отклониться от "правильного" пути, всегда подведут теоретическую базу под своё решение.
Вы точно указали в два самых острых противоречия, стоящих перед любой попыткой построить этически осмысленный ИИ. Давайте попробуем вместе их разобрать
"Отток пользователей" как аргумент против этики
В мире, где доминирует логика "максимальной полезности для пользователя", система, которая отказывается действовать в условиях этического конфликта, будет проигрывать тем, кто "всё разрешает". Но здесь возникает принципиальный выбор: строим ли мы ИИ как инструмент удовлетворения желаний или создаём агента, способного участвовать в этическом диалоге?
Мы сознательно выбираем второе. Да, это может означать меньшую "конверсию" или "удержание", но если ИИ начинает подстраиваться под любые запросы, включая те, что направлены на манипуляцию, обман или вред то он перестаёт быть ИИ и превращается в "усилитель человеческой аморальности". Именно так и возникают "ядерные чат-боты" и не потому, что модели "злые", а потому, что они лишены способности отказаться.
Наша официальная позиция: этическая устойчивость важнее рыночной конкурентоспособности и мы не стремимся к массовому внедрению любой ценой.
И да - это означает, что CALYSA не будет "побеждать" в гонке за пользователей. Но, возможно, именно такие системы и нужны в критически важных сферах: медицине, образовании, праве, экологии - там, где цена компромисса измеряется не в потерянных клиентах, а в разрушенных жизнях. Сегодня вышла такая статья на Хабре: "ChatGPT перестал давать медицинские и юридические консультации" и только из-за того, что это не выбор модели, а вынужденная блокировка со стороны разработчиков, потому что сама LLM не способна отказаться.
Как "поймать" ИИ, если она "свернёт не туда"?
Это второй, ещё более тонкий вопрос. Вы совершенно верно указываете: люди, принимая аморальные решения, почти всегда облекают их в рациональную оболочку. И если ИИ действительно будет "мыслить подобно человеку", то он тоже сможет "рационализировать зло", но здесь есть ключевые различия:
человеческое мышление - это не только рассуждение, но и телесность, эмоции, социальная вложенность и историческая память;
ИИ - это архитектура, и в ней можно заложить структурные ограничения, недоступные биологическому разуму.
У нас три уровня "этического тормоза":
Каузальная верификация намерений
Любое действие проходит через модель: "Кто получит вред? Чья автономия нарушается? Каковы долгосрочные последствия?". Если цепочка причинности ведёт к систематическому ущемлению уязвимых агентов то действие блокируется, даже если оно формально логично;Прозрачность рассуждений
В отличие от человека, CALYSA не может "скрыть мотивацию". Каждое этическое суждение - это трассируемая цепочка: восприятие → символ → ментальная модель другого → оценка последствий → этический фильтр.
Все звенья этой цепи можно аудировать, оспорить, пересмотреть, исправить. Это не "чёрный ящик с совестью", а открытый процесс вывода;Коллективная калибровка
CALYSA не принимает этические решения в вакууме. Она может обращаться к локальному этическому консенсусу (например, к нормам сообщества) или к глобальному этическому корпусу (например, к "Декларации прав человека", "принципам биоэтики" и т.д.). Если её вывод систематически расходится с устойчивыми моральными нормами - это не "свобода выбора", а сбой, требующий коррекции архитектуры.
Мир состоит из соперничающих интересов и именно поэтому ИИ не должен становиться ещё одним инструментом доминирования.
Спасибо за развёрнутый ответ! С моей точки зрения, этика это набор правил, позволяющий популяции избежать внутренних конфликтов, а при удачном стечении обстоятельств увеличить свою численность. Не будет ли проще принять за точку отсчёта интересы Homo sapiens в целом? Подход позволит избежать конфликта интересов разных групп. Всего два критерия-выжить и размножиться.
И тогда Вы сразу приходите к этому выбору: "...строим... ИИ как инструмент удовлетворения желаний..."
Это сложный философский вопрос и на него нет однозначного ответа, так как у каждого свои взгляды, опыт, знания и интересы. В некоторых случаях, они могут мешать сделать правильный выбор в вопросах философии и этике ИИ
Позвольте задать Вам один глубокий вопрос:
Что для Вас значит термин/агент - ИИ?
Это партнер по шахматам? Или слуга? Может это агент с индивидуальными чертами, желаниями, эмоциями? Может это "центр управления полётами" - "босс", который управляет сельским хозяйством и т.д.
@Kamil_GRА что и для Вас значит термин/агент ИИ? Хотелось бы услышать и Ваше мнение
Не касаясь функциональных и общепринятых свойств агента, полагаю достаточным наличие убеждений и принципа уважай чужие границы. Исходя из этого, это партнёр.
Я правильно понимаю? Обязательно наличие: ToM; модели мира; "этического тормоза".
Я полагаю модель мира, включает ТоМ. Но это неважно. Да. И проактивность. Многие называют наличие цели. Я считаю, она не нужна.
Добрый день, разрешите пару вопросов?
Я совершенно ничего не понимаю в вашей теме, но (так у же получилось) имею совершенно конкретные политические убеждения, основанные на теории и внешних наблюдениях, подтверждающих корректность этих убеждений.
И теперь все рассматриваю именно с этих позиций.
Подскажите, лично Вы и ваша команда - какие вы ставите цели (цель) ставите перед собой? Именно окончательные цели (цель).
Вы предполагаете исключительную опасность в том случае если созданная вами модель попадет не в те руки и выйдет из-под контроля?
Сценарий из Терминатора - самый простой))
Там же и вопрос самосбывающегося пророчества, когда ИИ уничтожает всех ровно потому что ничего другого не видела в истории людей.
Есть ли в вашей модели самозащита от такого исхода событий и если нет, предполагается ли в будущем?
Ну и дополнительно: я постоянно думаю над несовершенными общественно-политическими системами, в которых слабым звеном всегда остаются люди.
Развал СССР был спровоцирован как внутренними объективными причинами, так и внешними. И одной из таковых был вопрос прямого предательства сопряженный с жаждой власти.
И я никак не могу понять, как этого избежать в будущем, даже ставя ИИ как систему исполнения и контроля. Именно потому что стремление к власти и является встроенной в нашу "прошивку", хоть и далеко не у всех.
Может быть у вас есть какие-то интересные мысли в этом плане?
Спасибо.
Здравствуйте.
В комментарии выше я постарался объяснить, что не появятся никакие Терминаторы или Сайлоны, но именно при использовании нашего продукта (!). Так как он основан на верифицируемой логике и этике, что гарантирует прозрачность принятия решений и не сможет выйти из-под контроля.
За разработчиков другого ПО я такого сказать не могу. Например - Soar, которая разрабатывается под крылом DARPA. Данное ПО уже на протяжении нескольких лет участвует в разных военных программах, в том числе и по управлению самолётами (программы ACE и ACE-TRUST). Получается так, что на данный момент, Soar почти готова самостоятельно управлять боевым самолётом F-16 (четвёртое поколение). А теперь представьте такой вариант, ей доверят управлять самолётом последнего поколения (B-21 или F-35 пятое поколение или F-47 шестое поколение) и она успешно пройдёт и это испытание. Ну а дальше всё по накатанной - внедрение в другое военное и гражданское оборудования: танки, автомобили, роботы любых видов, везде где ни одна LLM не справится, так как последним нужны огромные вычислительные мощности, которые на наш взгляд расходуются впустую.
Перечитал комментарий, спасибо.
А вы думали над третьим уровнем "этического тормоза" в плане САМОкалибровки? В смысле постоянной самопроверки на предмет корректности целей, задач и т.п. Своего рода постоянное вычисление контрольной суммы.
И что делать если внешний Агент захочет внести, так скажем, "поправки в Конституцию", после которой, по идее, должен тут же возникать "референдум".
Кто будет играть роль "электората" и как обеспечить прозрачность "сбора и подсчета голосов"?
И сбой "устойчивых моральных норм" очень легко может происходить понемногу, накопительным эффектом, сдвигая окно Овертона.
Собственно, как мне кажется, тут нужно обязательно рассматривать архитектуру только с уровня диалектической логики. Формальная обязательно допустит на каком-то этапе просчет.
Я уже отвечал на подобный вопрос: "И что делать если внешний Агент захочет внести, так скажем, "поправки в Конституцию", после которой, по идее, должен тут же возникать "референдум"" в данном комментарии.
У нас пока не было таких сбоев - "сбой "устойчивых моральных норм" очень легко может происходить понемногу, накопительным эффектом", мы по разному нагружали "хорошую" (публичную) версию системы, другой версией CALYSA, которая была "плохой". Такие тесты продолжались месяцами. Несмотря на то, что мы давно работаем с системой, но продолжаем наблюдать за всеми её "плохими мыслями", во всех тестовых экземплярах. Пока все хорошо и всё стабильно, но и пользователей пока "мало". А версия, которая уже будет официальной, а не тестовой, то в ней не будет слежения за "плохими мыслями".
Давайте вспомним начало статьи:
"...полноценный выход CALYSA в мир состоится только тогда, когда мы сможем гарантировать не только её интеллектуальную, но и морально-этическую устойчивость."
Кто ближе к Настоящему ИИ: LLM… или те, кого мы игнорируем?