Кажется, мы настолько привыкли к прогрессу нейронных сетей, что больше удивляемся, когда они чего-то не умеют, чем видя их новые достижения. Тем не менее, сегодняшние технологии искусственного интеллекта — это самое начало пути.
Интеллектуальные модели на основе нейронных сетей, при всех их впечатляющих возможностях, не лишены серьезных недостатков, зачастую являющихся обратной стороной достоинств. Отталкиваясь от используемой сегодня архитектуры, попытаемся определить возможные направления дальнейшего развития систем искусственного интеллекта (ИИ).
Галлюцинации
Любой, кто имел дело с большими языковыми моделями (LLM — Large Language Model), сталкивался с так называемыми галлюцинациями, или явлением генерации моделями ошибочной информации, выдаваемой за истинную. Подобными свойствами обладают не только LLM — странные артефакты на сгенерированных изображениях имеют ту же природу. Важно, что такие ошибки появляются не из желания моделей обмануть пользователя, а как естественный результат работы лежащих в их основе нейронных сетей. Но если галлюцинации ухудшают «пользовательский опыт» использования моделей, можно ли от них избавиться, и в чем, собственно, причина их возникновения?
Обратимся к некоторым базовым принципам. Алгоритм обучения нейронной сети предполагает не запоминание всех примеров обучающей выборки, а, скорее, выявление существующих закономерностей. Количества весовых коэффициентов нейронов обычно недостаточно для запоминания всего обучающего набора, но даже если сеть настолько велика, что способна запомнить выборку целиком, этого стремятся избежать с помощью специальных методов. Такая подстроившаяся под обучающие примеры, «переобученная» сеть становится неспособной к обобщениям. При получении входных данных, совсем немного отличающихся от исходных, она с большой вероятностью выдаст хаотичный, бессмысленный результат.
Можно сделать вывод: всё генерируемое нейронными сетями содержание фактически является галлюцинацией по самому способу своего формирования. Обученная сеть в ответ на запрос выдает обобщенную выжимку из обучающего набора, модифицированную случайными флуктуациями. Говоря о языковых моделях на базе этой архитектуры, приходим к заключению, что любые совпадения их выдачи с реальными фактами являются случайными и необязательными.
Польза или вред
Полученный вывод будто бы противоречит тому, что мы видим в реальности, ведь значительную часть информации нейронная сеть усваивает и воспроизводит без искажений. Почему так происходит?
Обнаруживая закономерности в обучающих данных, сеть получает возможность кодировать отдельные частные случаи без их запоминания. Так, обучившись на огромном количестве правильно построенных предложений, она усваивает правила грамматики и начинает составлять новые предложения по аналогии. В то же время, существующие исключения из правил могут быть отброшены по причине их малого веса в общем наборе обучающих данных, становясь потенциальным источником ошибок.
Еще более важно, что языковые модели слабо осведомлены о полноте своих знаний и бесстрашно пытаются ответить на любой вопрос. В отсутствие точной информации по затронутой теме (в пределах досягаемости текущего промпта) они выдают ближайшую аналогию, не будучи способны оценить ее правдоподобность. Скажем, сеть может спонтанно сконструировать несуществующую функцию языка программирования по аналогии с существующей функцией другого языка.
Таким образом, галлюцинации нейронных сетей представляют собой процесс неконтролируемого порождения смысловых единиц на основе обобщений и аналогий. Но ведь обобщения и аналогии — как раз то, что делает языковые модели «умными» и «творческими». Способность создавать абстракции и находить далекие связи между явлениями является одной из важнейших черт интеллекта.
Интересно, что человек действует подобным образом в ситуации недостаточного количества данных. Ребенок, впервые увидевший корову (реальный пример), может воскликнуть: «Смотрите, какая большая кошка!» Другими иллюстрациями — разного масштаба — служат мифы и суеверия. Образ гигантского антропоморфного существа как причины грома и молний выглядел вполне естественно на определенном уровне развития общества, предлагая более понятную аналогию, чем известные на тот момент проявления электричества, например, в виде наэлектризованного янтаря.
Следовательно, пути избавления от галлюцинаций следует искать не в отказе от порождения новых сущностей, а в проверке их соответствия, с одной стороны, обучающему набору, с другой — реальному положению вещей.
Естественный язык
Использование структур естественных языков в качестве основы «движка» больших языковых моделей, конечно же, упрощает их обучение и взаимодействие с ними, но существенно ограничивает их возможности.
Прежде всего, знания сегодняшних языковых моделей несистемны и причудливым образом фрагментированы. Обладая контекстно-зависимой архитектурой, они усваивают информацию не «вообще», а в контексте, и часто именно в контексте языковых структур. Помимо этого, имеющиеся в обучающей выборке противоречия не разрешаются, а сводятся к наиболее «значимому» (то есть сильнее всего влияющему на функцию ошибки) варианту или разносятся по разным сегментам «памяти» сети.
В итоге, в зависимости от предъявленного промпта и направления, в котором пошла генерация, можно получить совершенно разные результаты для одинаковых по смыслу, а порой и идентичных запросов. Нередки случаи, когда сеть, галлюцинируя в ответ на «естественный» запрос, выдает точную информацию при использовании специально подготовленного промпта. В то же время, с точки зрения работы алгоритмов сети все эти ответы «верны».
Еще один фактор заключается в том, что актуальная архитектура серьезно сдерживает творческие способности нейронных сетей, не позволяя им отходить слишком далеко от паттернов обучающего набора.
Этот тезис можно проиллюстрировать на примере сети с простой архитектурой, обученной распознавать символы по их изображениям. Допустим, обучающий набор содержит несколько вариантов изображений каждого символа, отличающихся способом написания, но не толщиной линий. Если такой сети предъявить изображения с измененной толщиной линии, то при небольших отклонениях она распознает их без труда, но чем больше разница, тем сложнее ей будет проводить классификацию. Не владея другими способами анализа и пытаясь экстраполировать имеющиеся шаблоны, сеть начнет ошибаться.
Подобным образом, LLM, сталкиваясь с вопросами, не затронутыми в обучающем наборе, заполняет «пустоты» при помощи аналогий, однако не слишком далеких, чтобы не погрязнуть в галлюцинациях.
Почему мы связываем эту особенность с применением естественных языков? Причина в том, что на функцию ошибки при обучении нейронной сети сильнее всего влияют наиболее часто встречающиеся в обучающих данных шаблоны. Сеть «привязывается», на разных уровнях, сначала к повторяющимся словам, фразам и грамматическим схемам, затем к типичным смысловым конструкциям. К примеру, понятия, обозначаемые отдельным словом, будут иметь более «четкий» отпечаток в структурах сети, чем те, для которых такого слова не существует (подробнее о понятиях речь пойдет ниже). Можно сказать, что память сети заполняется преимущественно такими конструкциями. Все прочие структурные и смысловые единицы, лежащие в стороне от областей «мейнстрима», или попадают в труднодоступные области сети, или синтезируются в случае необходимости с разной степенью точности.
Опора на естественные языки, по всей видимости, становится фактором, ограничивающим возможности нейросетевых моделей. И хотя на сегодняшний день этот способ представления информации является основным, возможно, следовало бы отказаться от него в пользу более универсальных методов кодирования знаний, рассматривая естественные языки как один из возможных слоев абстракции. Что же это могут быть за способы?
Пространства свойств
Как говорилось ранее, достижения интеллектуальных моделей обусловлены в значительной степени использованием принципов обобщений и аналогий.
Обобщение — это выделение общих признаков у совокупности объектов (явлений, процессов) и придание им независимого статуса. Такое выделение признаков возможно исключительно на базе восприятия более объемлющих структур или пространств. Например, тела движутся, значит, мы можем выделить свойство движения, не зависящее от формы, цвета, массы и т.д. Как следствие, появляется обобщенное представление о «движущемся теле».
Аналогию можно определить как перенос части (обобщенных) свойств с одного объекта на другой. Например, есть красный куб и синий шар. По аналогии можно создать красный шар. Если машины движутся, а дома стоят на месте, ничто не мешает представить себе движущийся дом, независимо от того, существует ли такой объект в реальности.
Разложение объекта по свойствам подобно указанию координат в многомерной реальности, измерения которой соответствуют отдельным свойствам. Точнее говоря, раскладываются не сами объекты, а их модели в рамках объемлющей модели. Такое представление не будет единственным, потому что часть свойств могут быть выражены через другие. Возникает вопрос: можно ли построить систему координат для представления всего многообразия возможных свойств и их сочетаний?
В поисках базиса
Полагаем, что двусмысленность термина «модель» не помешает дальнейшему изложению и смысл будет ясен из контекста. Также, чтобы уменьшить путаницу, будем чаще пользоваться сокращением LLM.
LLM хранят модель реальности, в значительной степени совпадающую с моделью реальности людей. Конечно, люди и LLM приходят к этой реальности по-разному: человек через обобщение сигналов органов чувств, восприятие культуры и общение с другими людьми, языковые модели — через обучение на данных, предоставленных человеком. Но, независимо от способа познания, осмысленное взаимодействие подразумевает наличие общих представлений о реальности.
Выделим уровень восприятия, который будем считать «первичным»: для человека это сигналы органов чувств, для языковых моделей — пространство токенов, образованное из слов или иных единиц. Сама возможность находить закономерности в потоке первичных восприятий подразумевает, что восприятия «приходят» уже упорядоченными — разбитыми на элементы и классы элементов. Только тогда они будут подлежать перебору, сравнению, формированию окрестностей. Во всяком случае, они должны быть таковыми с точки зрения алгоритмов их обработки.
Обладая соответствующим набором алгоритмов, воспринимающий субъект становится способен совершать обобщения. Сначала он выделяет инварианты, описывающие простейшие закономерности, затем — более сложные и отвлеченные, но в любом случае сводимые к базовым структурам восприятия. Для человека и нейронной сети эти структуры, конечно, будут отличаться, но важно, что они ссылаются на одну и ту же реальность.
Условия, описывающие полученные инварианты, представляют собой утверждения в рамках некой алгебры, элементами которой выступают первичные восприятия и операции над ними. Тем самым каждая сущность внешней реальности получает определенную «формулу» во внутреннем мире субъекта, на некотором уровне обобщения сходясь с построениями других субъектов. Подобными формулами могут быть описаны любые свойства объектов, формируя таким образом производные (в отличие от первичных) пространства.
Утверждая существование многомерных пространств свойств, можно говорить и о пространствах моделей вследствие постепенного перехода моделей друг в друга по мере изменения их свойств.
Разделяемые модели
В предыдущей публикации нами рассматривались понятия как особый вид моделей.
Попытаемся уточнить и генерализовать это определение. Модели, описывающие объекты, чей статус существования (онтологический статус) понимается одинаково несколькими субъектами, назовем «разделяемыми» (shared). Совокупность связанных между собой объектов, чей онтологический статус понимается одинаково, формирует разделяемую реальность в отношении разделяющих это понимание субъектов.
Конечно, человек и LLM не разделяют в точности одну и ту же реальность, что, впрочем, можно сказать и о восприятии реальности разными людьми. Но для появления минимального взаимопонимания должно существовать некоторое общее представление о реальности.
Технические системы предыдущих поколений были способны моделировать отдельные аспекты окружающего мира. Отличие современных интеллектуальных систем в том, что: 1) их модели реальности глубже и шире; 2) они способны обмениваться информацией, касающейся этих моделей. Человек, общаясь с LLM, постепенно формирует представление о ее модели мира. Сопоставляя эту модель со своей собственной и убеждаясь, что они в значительной степени совпадают, человек делает (необоснованный, вообще говоря) вывод о том, что обсуждает с ИИ «одну и ту же» реальность.
Указанные два признака важны также потому, что являются отличительными признаками разделяемых моделей вообще.
Действительно, модель можно считать разделяемой при условии существования нескольких субъективных моделей, описывающих один и тот же фрагмент реальности. Но как убедиться, что модели описывают общую реальность? Сравнить их напрямую в большинстве случаев невозможно, так как кодирование информации у разных субъектов может базироваться на первичных восприятиях разного типа. Необходима метамодель, единообразно описывающая общее (разделяемое) содержание сравниваемых моделей и предоставляющая возможность обмена этой информацией. Примером метамодели такого типа, привычной человечеству, является естественный язык.
Также для обоснования эквивалентности различных версий модели необходим минимальный объем разделяемого содержания. Фактически, первый из двух перечисленных признаков говорит о согласованности содержания моделей реальности, второй — о возможности обмена информацией о них.
Что же такое понятия? В том случае, если разделяемые модели рассматриваются в контексте человеческого мышления и языка, они превращаются в понятия. Требование привязки к системе обозначений, упоминавшееся ранее, фактически является гарантией соответствия описанным выше двум признакам. Более того, применение естественного языка в качестве системы обозначений подразумевает усложнение и повышение уровня абстракции моделей до уровня концепций и средств коммуникации, используемых человеком. Модели, не достигшие такого уровня, в рассматриваемом контексте логично называть протопонятиями.
Программирование на естественном языке
Применение естественных языков для технических задач, таких как программирование и администрирование, вовсе не выглядит оптимальным. Основные черты естественных языков, затрудняющие их использование в проектировании и разработке:
многозначность: в обычной жизни смысл слов может меняться в зависимости от контекста, в технических же сценариях требуется точность;
избыточность: естественные языки обладают избыточностью, помогающей в повседневном общении справляться с «помехами» и передавать дополнительные оттенки смысла, но вредной при изложении технических вопросов;
ограниченность выразительных средств: жестко заданная структура грамматических конструкций, консервативность лексики препятствуют формированию новых абстракций.
Конечно, эти ограничения можно частично обойти вкраплением в промпты кода и псевдокода, но тогда возникает вопрос: а не выполняем ли мы часть работы за ИИ? Если же сгенерированный код отказывается работать и начинается поиск способов его отладки, «vibe coding» может окончательно превратиться в «pain coding».
Администрирование систем
Современные большие языковые модели не только способны помочь в решении отдельных задач системного администрирования и DevOps, но в состоянии полностью спланировать развертывание информационной инфраструктуры в условиях конкретного окружения. И хотя на сегодняшний день LLM занимаются преимущественно теорией, в скором времени станет привычным полностью автономное выполнение такого рода задач интеллектуальными агентами.
Декларативный подход, предполагающий описание результата вместо точной последовательности шагов, был распространен в системном администрировании задолго до появления больших языковых моделей и vibe coding, однако дальнейшая интеграция ИИ в эту область полностью изменит правила игры. По аналогии с программированием, где язык программирования отходит на второй план, если кодовую базу поддерживает и оптимизирует ИИ, в системном администрировании будут исчезать многие привычные инструменты, практики и целые уровни абстракции.
Заглянем чуть дальше. Несмотря на то, что интеллектуальные модели пока не владеют технологией создания сложных программных систем, они, тем не менее, значительно опережают человека по скорости написания и анализа кода. Через какое-то время они смогут не просто анализировать, но и модифицировать исходный код программного продукта с целью коррекции или расширения его функциональности.
Следующим шагом может стать способность ИИ создавать с нуля полнофункциональную систему с требуемыми характеристиками. Не исключено, что сгенерированный ИИ продукт будет обладать более гибкой архитектурой по сравнению с разработанным человеком вследствие хранения расширенной метаинформации, позволяющей легко вносить модификации в самом широком диапазоне.
Спустившись еще на уровень ниже, можно утверждать, что эти же принципы справедливы в отношении операционной системы — ИИ соответствующей мощности мог бы генерировать собственную специализированную ОС под конкретный тип устройств. Наконец, интеллектуальные системы будущего не обязаны зацикливаться на той или иной аппаратной архитектуре. Стоит ожидать появления физических устройств, реализованных ИИ на базе самых разных организационных принципов, в том числе идеологически бесконечно далеких от архитектуры фон Неймана.
ИИ-ориентированное программирование
Существующие языки программирования не предполагают наличия развитых средств обеспечения устойчивости программ, таких как мониторинг использования ресурсов, защита от вредных внешних воздействий или дублирование критически важных функций. Ошибка в работе программы зачастую фатальным образом сказывается на ее функциональности. Принято, что вопросами изоляции процессов и распределения ресурсов занимается операционная система, но ее возможности также ограничены.
Распространение на серверных платформах систем управления виртуальными машинами, а позже оркестрации контейнеров упростило мониторинг состояния сервисов и потребления ресурсов. Тем не менее, при таком подходе отсутствует единство в организации работы компонентов. Программа пишется на одном языке, автоматизация работы операционной системы выполняется с помощью других языков или средств, управление контейнерами и микросервисами — с помощью третьих. Этот довольно странный разрыв, в общем-то, ничем не обоснован.
При переходе к единому способу управления системами на основе высокоуровневого декларативного подхода вместо машинно-ориентированных сценариев описанный разрыв исчезает.
Возвращаясь к галлюцинациям
Итак, какие методы борьбы с галлюцинациями нейронных сетей известны и применяются в настоящее время?
Оптимизация обучающей выборки, в частности, устранение противоречий и удаление ложных (по мнению исследователей) сведений.
Добавление синтетических данных для повышения равномерности покрытия определенных тем.
Формирование способностей сети к распознаванию «сомнительной» информации.
Выполнение нескольких попыток генерации и сравнение их результатов.
Дополнительное обучение с участием экспертов.
Использование режима рассуждений.
Поиск в Интернете.
Особенно интересен режим рассуждений, или ризонинг. При использовании этого режима языковая модель, прежде чем выдать результат, генерирует вспомогательную цепочку рассуждений, имитируя диалог с самой собой.
Такой подход дает следующие преимущества:
вследствие расширения и уточнения промпта потенциально достигаются более далекие «уголки» сети, содержание которых добавляется в текущий контекст;
реализуются более сложные итерационные алгоритмы, чем те, что были усвоены при обучении;
появляется больше возможностей для проверки результата.
Как следствие, повышается общий интеллект модели и уменьшается количество галлюцинаций.
Нужно отметить, что все перечисленные методы нацелены исключительно на повышение качества освоения нейронной сетью обучающего массива. «Мировоззрение» модели полностью определяется специалистами, формирующими первичный обучающий набор и задающими прочие аспекты обучения. Это касается и опции поиска в Интернете, который можно рассматривать как расширенную обучающую выборку со своими ограничениями и противоречиями, алгоритмы поиска в котором заложены изначально.
Применение подобных методов в принципе не может гарантировать избавления от галлюцинаций, поскольку сеть всё равно будет обобщать, и она должна это делать, если стоит задача получить интеллектуальную модель, а не базу данных. Для формирования адекватной картины мира будущие поколения ИИ неизбежно придут к необходимости анализа самой реальности, подобно тому как сейчас выполняется анализ документов. Предоставленные человеком сведения станут лишь фрагментами общей картины мира, нуждающимися в соответствующей оценке.