В августе выходит моя книга по эпистемологии и философии науки “Пролегомены ко всякому знанию”. В книге представлен новая концепция конструктивизма, в которой разрешается его основная проблема - как внутренние конструкции ума согласованы с тем, что мы называем реальностью. Для этого мной описывается новая концепция интеллекта как способ создания согласованных моделей реальности. И по-новому интерпретируются такие функции интеллекта как аналогия, восприятие, мышление, память. Показывается, что базовой функцией интеллекта является многовариантный предикат как способ обнаружения изменений. И далее, как из многовариантных предикатов мы получаем схемы и целые модели, которые помогают распознавать что есть, предсказывать что может быть, а также отвечает на вопросы как мы познаем новое, будучи “слепыми” (ментально замкнутыми) и т.п. Все это описано в главах 3-5. Книгу можно сказать по ссылке .

В своих постах здесь я хочу дать комментарии к тем тезисам, которые как мне кажется будут интересны читателям Хабра. Начнем с первой главы.

Тезис

1.3.1. То, что на время написания этой книги называется искусственным интеллектом, таковым не является. Это не более чем вычислительная имитация за счет колоссального объема данных на все случаи, о которых может спросить обычный человек, с небольшой аппроксимацией между примерами. Но даже такая имитация не может нарисовать лошадь с пятью конечностями, что может даже шестилетний ребенок. Потому что даже в таких объемах данных нет всех вариантов композиции, к которой способен естественный интеллект. В основе нейронных сетей нет никакой теории знания.

Это отрывок из большой статьи в журнале «Философские проблемы информационных технологий и киберпространства». В ней приводится критика современного теоретического представления об аналогии как структурного отображения (Д. Гентнер) с одной стороны и статистического метода получения аналогии «по контексту употребления» (Т. Миколов). Мы предлагаем иной метод получения аналогии, который основан на методе аналогии по предикатам (статья), что дает значительные преимущества. Во‑первых, ее легче получить в отличие от статистических методов, которые требуют обучения на большом корпусе. В нашем методе достаточно прим. 200 книг. Во‑вторых, это интерпретируемая и управляемая аналогия — всегда можно посмотреть, по каким предикатам получена аналогия и какие будут аналоги по другим предикатам. Это отправная точка исследования. Далее будет показана фундаментальная роль аналогии в нашем мышлении.

Большие языковые модели в виде чат-ботов очень правдоподобно имитируют диалог как всезнающий собеседник и поэтому получили широкое распространение. Но даже Google в своем чат-боте Gemini не советуют доверять тому, что напишет чат-бот и просят проверять его ответы. В данном обзоре будут проанализированы различные типы ошибок LLM такие как проклятие инверсии, обработка чисел и др., чтобы выявить их причины. Такой анализ привел к выводу об общих причинах ошибок, заключающемся в том, что трансформеры не обладают глубокой аналогией, абстракцией и избирательностью контента, учитываемого в вычислении ответа (inference). Но наиболее важным выводом является то, что трансформеры, как и другие нейросети, построены по концепции обработки входного сигнала, что создает сильную зависимость от нерелевантной информации, которую не может компенсировать слой внимания трансформера. Концепция нейросетей была заложена в 50-х идеей перцептрона Ф. Розенблата и не учитывала тех достижений когнитивной психологии, которые появились позже. Согласно же конструктивисткой парадигме, входной слов (или перцепция) является только способом проверки правильности сконструированной предиктивной модели для возможных ситуаций. Это же служит причиной самой большой проблемы трансформеров, называемой галлюцинациями. И устранение ее возможно только при изменении архитектуры нейросети, а не за счет большего количества данных в обучении.

Но это далеко не все проблемы, которые непреодолимы трансформерами без помощи людей. Это и проблемы с логикой, и с вычислениями в больших последовательностях, и следование правилам, и, конечно-же, галлюцинации. Таки примеры и будут проанализированы в статье. Отсюда следует все чаще звучащий тезис о том, что необходимо искать новую архитектуру для создания поистине интеллектуальных систем. Эта статья посвящена поиску тех архитектурных принципов, которые могу приоткрыть путь к новой архитектуре. И в этом нам помогут как раз те ошибки трансформеров, которые описаны исследователями. Они прямо указывают на те принципиальные недостатки, причины которых могут быть как раз в отсутствии необходимых функций и структур нейросети. И цель исследования состоит в том, чтобы проанализировать такие ошибки «мышления» трансформеров, чтобы предположить, каких способностей не хватает трансформерам.

1. Порождаемые диалоговой системой тексты отвечают «здравому смыслу».
2. Ответы системы соответствуют контексту диалога и ожиданиям человека.
3. Понимание целей, намерений высказываний человека в диалоге.

Анализ подходов

В чем различие человека и программы

1. Человек обладает картиной мира, которая позволяет ему по части информации дополнять картину такими данными, которые не прописаны в программе. Кроме того, картина мира структурно устроена так, что позволяет нам иметь хоть какое-то представление обо всем. Даже если это нечто круглое и светится в небе (НЛО). Обычно для этого строят онтологии, но онтологии не обладают такой полнотой, плохо учитывают многозначность понятий, их взаимное влияние и пока применимы только в строго ограниченных темах.
2. Человек обладает логикой, которая учитывает эту картину мира, что нами называется здравым смыслом или common sense. Любое утверждение обладает смыслом, и учитывает скрытые недекларированные знания. Несмотря на то, что законам логики много сот лет, никто до сих пор не знает, как функционирует обычная, не математическая, логика рассуждений. Мы по сути не знаем как запрограммировать даже обычные силлогизмы.
3. Произвольность. Программы не обладают произвольностью. Это пожалуй самое сложное из всех трех отличий. Что мы называем произвольностью? Возможность построить новое поведение, отличное от того, что мы выполняли при тех же обстоятелствах ранее, или построить поведение в новых, не встречавшихся ранее обстоятелствах. То есть по сути это создание на ходу новой программы поведения без проб и ошибок с учетом новых, в том числе внутренних, обстоятельств.

Решил опубликовать еще один отрывок из рассказа "Высший разум", который тоже касается обсуждаемого на Хабре — обработка информации. В нем изложен несколько неожиданный взгляд на поток информации в мозге, чем принят в программировании. Но не спешите критиковать, это просто попытка иначе взглянуть на то, что порой кажется известным и само собой разумеющимся. Сразу замечу, что этот подход основан на когнитивной психологии. Буду рад интересным мнениям, так как вопрос открыт.

• Эми, я столкнулся с проблемой. Как создавать модели? Информации от объектов явно недостаточно. И она зашумлена. Надо очень много предъявлений, чтобы корректно обучить модель.
• Модель не создается по информации от предмета. Она уже есть в мозге. Только тогда информацию, как ты говоришь, можно «принять», то есть выбрать вариант этой модели. Каждый предмет, ситуация, факт, явление – это только вариант более общей модели. И сама модель состоит из других моделей. Как предложение, описывающее предмет, из слов, служащих для описания не только этого экземпляра. Тебе надо разобраться в этом.
• Подожди, то есть, по-твоему, наши представления строятся не из информации от предмета?
• Если бы это было так, то ты бы видел в цвете только маленький круг в фокальной зоне (в фокусе внимания), все остальное вокруг было бы для тебя в оттенках серого. Так устроена сетчатка, как ты знаешь. Информация о предмете всегда неполная, но вы видите предмет всегда полностью. Потому что информация от предмета только активирует вариант модели, которая уже есть в мозге.
• Как так, не понял? Как работает мозг тогда?
• Так же как вы решаете уравнения. В уравнении уже установлены отношения между переменными. И вам обычно не известны все переменные сразу. Вы подставляете одни, чтобы найти другие. И в итоге приходите к решению. К одному из решений, то есть варианту модели при данных переменных. Примерно так же это происходит и в мозге, только модели более сложные, распределенные и многомодальные.

Последний отрывок из рассказа "Высший разум". В этот раз некая "претензия" на формулу сознания с объяснением его происхождения. Сразу хочу отметить, что все приведенные тезисы основаны на современных научных данных (когнитивных наук). И все равно, это мое мнение, не претендую на абсолютную истину и ни с кем не спорю. Каждый вправе иметь свое мнение, но чужие мнения мне интересны, если в них есть ценная мысль, которая поможет продвинуть и меня в поисках. Итак:

• Эми, самый главный вопрос — что такое сознание? Как сделать так, чтобы запрограммированные процессы породили свет сознания? А робот вдруг стал осознавать то, что он видит?!
• Это достаточно просто.
• Как просто? Не может быть.
• Это так. Если ты сравнишь бессознательное и сознательно, то второе отличается тем, что ты помнишь его как свое действие. Ты помнишь, что это осознавал ты в отличие от бессознательных действий. Так? Что это значит по-твоему?
• Не знаю, но кажется догадываюсь, к чему ты клонишь – помним о своих действиях?
• Да, это значит, что после совершения действия, например, узнавания чего-либо, вы еще распознаете свое узнавание как свое действие. И вписываете их в память о себе — в автобиографическую память, связанную в единую цепочку времени местоимением "Я" как стихотворения рифмой.
• Не понимаю пока, о чем ты.
• Ты осознаешь, не когда начинаешь испытывать чувства к понравившейся картине, а когда распознаешь эти чувства в себе, как свои! Вот ты входишь в музей, видишь картину Красный квадрат. Твой мозг сначала распознает, что это красное и квадрат. Ничего особенного, это может сделать и нейросеть. Но через мгновение распознаешь то, что это ты смотришь на картину «из глаз» и распознал на ней красный квадрат. Ты знаешь, что это распознание является твоим, что сопровождается чувством «знакомости». Вот при втором действии возникает чувство осознанности.

Продолжаю публиковать отрывки из книги "Высший разум". Теперь о том, почему мы так далеки от действительного искусственного интеллекта. И не факт, что сможем его достигнуть.

…
— Ты знаешь, что мы тоже работали над созданием искусственного интеллекта?
— Ваши разработки еще очень далеки до того, что можно назвать интеллектом. Ваши нейросети – это пока не более чем классификаторы сложных паттернов, которые выбирают какой-то из выходов сети, но совершенно не знают о нем ничего более чем о точке выхода. Это вы интерпретируете выход как «лошадь», а не сеть, распознающая ее картинку. Сеть о ней ничего не знает. Это не интеллект.

• Поясни. Не понял этот тезис.
• Вам кажется, что вы сделали нейросеть, которая как человек распознает образы. Она может различить лошадь и пароход. Но нейросеть не может различить, например, две лошади так, чтобы назвать их произвольное отличие. Мозг отличается именно аналитической функцией, то, что вы называете common sense.
• Но нейросети уже многое могут то, что раньше мог только человек. Разве это не интеллект?
• Самый совершенный ваш автопилот не может действовать так же эффективно как обычная пчела. Пчела летает без помощи дорожной разметки и ориентируется без GPS. А пчела — это насекомое, самое начало эволюции нейронных систем. Вы находитесь где-то на том же шаге в разработке интеллекта. И достигаете результата только за счет больших масштабов.

Кстати, обученные вами нейросети, с подкреплением особенно, похожи на выработку врожденных инстинктов у насекомых. Только время их выработки вы сумели сжать до нескольких часов вместо тысячи лет, собрав датасет из картинок, которые жучок может увидеть только за сотню поколений. Но поменять инстинктивное поведение обученной сети вы уже не можете, как и жучок свои инстинкты. Это тот уровень, которого вы достигли. А интеллект – это память, внимание, мышление, воображение и, в конце концов, сознание. Вы даже не знаете еще, что это такое, но думаете, что можете создать их. Это очень странно.