Эпиграф: Галлюцинация одного человека — это творчество другого человека и наоборот.

Я думаю, многие пользователи LLM так или иначе сталкивались с проблемой «галлюцинации LLM» и испытывали разочарование и досаду. Я тоже сталкивался, и не раз.

Но у меня есть объяснение этому феномену, которое позволяет мне избегать самой проблемы как таковой.
Вернее, я изменил отношение к этой проблеме, предположив ее возможные причины, и научился избегать условий ее появления.

Можно сказать по-другому, выражаясь научным языком, это когнитивные искажения «неосознанная ложь» (конфабуляция), а также «мотивационное рассуждение» (motivated reasoning): когда «хочу» побеждает «могу» и здравый смысл в том числе.

Я предлагаю посмотреть на этот феномен с психологической точки зрения, найти аналогии с человеческими свойствами мозга, которые давно и хорошо изучаются и анализируются.

Сначала я хотел написать обычную научно-популярную статью об оптических нейропроцессорах, которые являются самой передовой технологией на пути создания AGI.
Но затем решил сделать это в несколько необычной форме, отступив от канонов научно-популярных статей и сместив акцент на то, как эта технология кардинально изменит нашу жизнь.

Ведь технических статей и так много.
А вот осмысление грядущих изменений ещё более интересно.

Я опишу обычный день программиста не очень далёкого будущего, насыщенного оптическими нейропроцессорами, которые встроены буквально во всё, что нас окружает, и даже в нас самих.

В предыдущей статье мы за 2 шага создали с помощью LLM игру для браузера «Шарики», Lenes (Color Lines).

В результате получился вполне рабочий вариант, который можно взять за основу и дальше усовершенствовать в деталях или вручную, или тоже с помощью LLM.

Но это была довольно простая, на мой взгляд, задача для демонстрации возможности технологии.
Реальные задачи, конечно, будут сложнее, и кода придется писать еще больше.

Поэтому я хочу перейти на более высокий уровень сложности и создать там же способом с нуля известную игру Super Mario, точнее её демо-аналог.

В результате визуальное оформление, качество кода, его логичность и структура — всё на высоком уровне.

Мы посмотрим и на Корбена Далласа и Лилу из фильма «Пятый элемент», на сюжет из фильма «Люди в черном» и другие интересные арты, созданные LLM программно.

Допустим, мы художнику завязываем глаза, даем в руки кисть и краски и формулируем задание, согласно которому он должен на холсте всё это изобразить максимально точно.
То же самое мы можем проделать с LLM, дав инструкцию нарисовать заданный сюжет, а вместо кисти и красок будет код. Например, HTML5 и API canvas.

Выясняется, что среди моделей есть как аутсайдеры, провалившие задание, так и гении, впрочем, как и среди людей. А одна из них, по сравнению с другими, ну просто Леонардо да Винчи.

И вот прошло 9 месяцев, модели стали значительно совершеннее, и качество написания кода улучшилось в разы, если не на порядок.

Тогда в своей статье «Кажется, LLM программирует лучше меня» я с изрядной долей самоиронии описал в подробностях пошагово написание кода игры «Шарики», Lenes (Color Lines).

Это вызвало самые разные отклики, но и большой интерес к новой парадигме программирования, в которой кодированием занимается LLM, а программист выступает в роли аналитика, управляющего процессом выполнения поставленной задачи. При этом задача выполняется пошагово, от простого к сложному методом последовательных улучшений кода.

Поэтому проведем такой же эксперимент с новейшей моделью такого же размера и попробуем на экспертном уровне оценить степень прогресса в данной области.

Что изменилось за это время?

Для тех, кто хочет сразу получить конечный ответ: в прошлый раз эта игра была создана за 15 шагов, теперь за 2 шага.

Цвет флага каждый может определить для себя сам, речь о другом.

Сделаю свой прогноз на обозримое будущее пилотируемой космонавтики в отношении Луны и Марса.

Леопольд Ашенбреннер — бывший сотрудник OpenAI, специализирующейся на AGI:
«Итак, к 2027-2028 начнется эндшпиль. К 2028-2029 начнется интеллектуальный взрыв; к 2030 году мы увидим сверхразум во всей его мощи».

Я представляю себе этот эпический момент, когда человекоподобный робот с очень продвинутым ИИ в буквальном смысле слова выходит из спускаемого аппарата на поверхности Марса, произносит соответствующие пафосные слова о величии совершаемой человечеством миссии и втыкает флаг, а потом еще и, возможно, отдает честь под восторженные крики и обнимашки миллионов земных наблюдателей этой прямой трансляции.

Насколько LLM хорошо понимают юмор и способны уместно и ненавязчиво его использовать в процессе общения?
От этого сильно зависит тональность диалога и вовлеченность в него нас самих. Мы получим от него больше удовольствия и будем общаться свободнее. Наш стиль общения станет естественнее, а эмоциональное состояние — комфортным.

Поэтому давайте напрямую попробуем проверить именно эти качества моделей и оценим результаты чисто субъективно.

Попросим разные модели для начала просто придумать анекдот. И пусть это будет, для нашего большего удовольствия, анекдот про программистов с элементами чёрного юмора.

Проводя свои текущие исследования для задач сегментации и распознавания объектов на изображениях, я задал простой вопрос многим мультимодальным моделям с целью оценить их способности к интерпретации деталей изображения.

Результат был, мягко говоря, странным.

С одной стороны, общее описание простой, на первый взгляд, картинки радует подробным и содержательным ответом.
Но, с другой стороны, наблюдаются просто вопиющие утверждения, которые ни как нельзя оставить без внимания.

Итак сам промпт:

- Опиши детально, что ты видишь на этой картинке?

Альберт Эйнштейн:

"Если люди хороши только из-за боязни наказания и желания награды, то мы действительно жалкие создания"

Когда я смотрю на то, как одни люди минусуют карму другим, то представляю себе приблизительно такой образ.

Вот я стою перед автором, написавшим множество различных статей, в которых он выразил свои мысли и идеи, результаты проделанной работы и поделился с сообществом.
В руках у меня кнут и пряник, и я властен казнить его или миловать.

Я никогда и никому не буду минусовать карму. Это принципиальная позиция.

Я задал следующий вопрос наиболее популярным LLM.

Сделай прогноз на 2025 год.
Какие существенные изменения произойдут в области разработки и внедрения систем ИИ по сравнению с текущим уровнем и какие принципиально новые уровни будут достигнуты. Как в связи с этим изменится наша жизнь. Ответ должен быть конкретным и реалистичным.

И вот каков прогноз.

Важное замечание: в статье будет рассматриваться только сама проблема уникальной письменности, а не спекуляции вокруг нее и бездоказательные утверждения. Я отношусь к этому удивительному феномену как к увлекательной головоломке.

В 2018 году неутомимый путешественник и увлеченный исследователь артефактов Мезоамерики Андрей Жуков посетил центральную Мексику и в провинции Ojuelos de Jalisco сделал множество высококачественных снимков древних артефактов под названием "каменная книга" и других.

Она представляет собой довольно большие каменные пластины, соединенные в единую конструкцию.

На пластинах изображены тщательно и детально прорисованные сюжеты, смысл которых вполне понятен и определенно выражен — это контакт инопланетной расы с местным населением Мезоамерики. Вместе с рисунками на пластинах есть множество текстов на неизвестном языке.

Написать эту статью меня побудило серьезное научное исследование, которое обосновало прекрасный и оригинальный метод Chain of Code (CoC) улучшения рассуждений моделей и точности их ответов.
Суть метода заключается в том, чтобы заставить модель написать подходящий программный код, соответствующий поставленной в промпте задаче, интерпретировать его выполнение и на основе полученного результата сформировать более логичный, точный и достоверный ответ.
Метод особенно хорошо работает в логических и математических задачах и я считаю, что он заслуживает пристального внимания программистов, как оригинальный и эффективный подход к решению различных хорошо структурированных задач.

Я решил продемонстрировать его работу, но так, чтобы было интересно и не скучно.

Поэтому предлагаю развлечься с моделями, а поскольку для нашей цели одной будет маловато, то давайте сразу с тремя.

Люди и модели похожи больше, чем вы думаете. Собственно, это и не удивительно, ведь модели для этого и создаются. В идеале они должны когда‑нибудь стать вообще неотличимыми от людей. Но как это проявляется сейчас, на данном этапе их развития? И в чем конкретно мы так похожи на них, или они на нас? Подойдем к этому вопросу в терминах, свойственных самим LLM.

Я давно хотел узнать, может ли LLM написать интересный рассказ так, как это делает писатель. Насколько будет хорош литературный стиль и высока художественная выразительность? Достаточно ли качественно будет создан сюжет и интересны герои повествования? Насколько хорош и уместен юмор?

Когнитивные способности LLM можно оценивать по способности мыслить логически и строить цепочки рассуждений, а можно по способности разгадывать загадки, требующие смекалки и нестандартного мышления. Почему-то всё внимание направлено только на первое и совсем не исследовано второе.

Люди в разной степени владеют этими навыками, а как это у моделей?

Автор статьи "ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику" дал простую задачу о встречных поездах ChatGPT 4-o и Gemini, которые ее провалили. Мне нравятся такие простые, наглядные и эффектные тесты, поднимающие серьезные проблемы с современными LLM.
Поэтому я решил продолжить эту тему в более интересном ракурсе и провести серию аналогичных экспериментов, чтобы не ограничиваться только одним диалогом с моделями, а получить некоторую статистику по 50 запросам и затем уже порассуждать о результатах.

А они получились довольно неожиданными.

Группа исследователей ИИ описала свой обширный эксперимент с участием наиболее известных LLM. Они сделали вывод, что все модели драматически плохо решают задачи на рассуждение со здравым смыслом, которые легко решают обычные люди.
Интеллектуальные способности LLM сильно преувеличены, а тесты не отражают глубину реальных проблем.
Неужели всё так действительно грустно?
Не претендуя на всеобщность, я решил провести аналогичное мини исследование, только в ограниченном масштабе, чтобы подтвердить или опровергнуть этот пугающий вывод пусть и в одном частном случае.
И, как выяснилось, не все так однозначно и, как говорится, есть нюансы.

Может быть именно в день программиста будет интересно посмотреть на свою жизнь с неожиданной точки зрения, поднявшись немного вверх, так сказать с высоты птичьего полета и с помощью LLM увидеть перспективы.

Афоризм от LLM: "Жизнь - это рекурсивная функция. Но если ты нашел способ выйти из цикла, то ты постиг смысл жизни и уже достиг просветления."

Я решил выбрать для разговора с LLM одну из самых интересных тем - в чем смысл жизни программиста.

LLM и ASCII art - казалось бы взаимоисключающие понятия. Какое отношение лингвистическая модель может иметь к графическим образам?

Модель не "видела" никаких изображений, как слепой от рождения человек, и не обучалась обрабатывать информацию этого типа. В ее модели мира не может быть визуальных образов в принципе. Если уж сравнивать модель со слепым человеком, то корректнее было бы сказать, что этот человек еще и совершенно глухой и полностью парализованный, не способный получать ни звуковую ни тактильно-осязательную информацию. Зато у него есть фантастический нейро-интерфейс, с помощью которого ему прямо в мозг загрузили мегатонны текстовой информации. Может ли у такого человека сформироваться картина мира с визуальными образами как-бы сама собой или как некий побочный результат?

В предыдущей моей статье среди уважаемых читателей разгорелась большая дискуссия о том, способна ли модель адекватно программировать и освободить программиста от значительных трудозатрат по кодингу.

Ее заголовок, который написан с долей юмора и самоиронии некоторые восприняли очень прямолинейно. И тем не менее, вопрос по прежнему актуален. В этой статье я буду делать с помощью LLM рефакторинг двух образцов грязного кода и анализ результатов.