Comments 13
Да блин, очевидна причина этого явления. LLM генерируют по одному токену, предсказывая его по контексту так, что бы распределение токенов было похоже на то, что было видно в обучающей выборке. Никаких знаний или логики у нее нет. Когда выданный ответ совпадает с фактами, это называют удивительными способностями к дедукции. Когда не совпадает - галлюцинациями.
На мой, сугубо непрофессиональный, взгляд, LLM галлюцинируют банально потому, что их этому учат. LLM учат отвечать на промпт, но в процессе этого обучения её не учат молчать или отвечать "Я не знаю". LLM приучена давать ответ на любой промпт, вот она и даёт ответ, какой получится.
Вы правы, надо в обучающую выборку добавить больше фрустрирующих вопросов без внятного ответа, чтобы она чаще отвечала - не знаю. Не хуже людей тогда будет))))
Ну и будет сетка тогда рандомно отвечать "не знаю", на то, что в обучающей выборке вполне себе было.
Не знаю, помогут ли просто вопросы без ответов. Возможно, тут придётся пересматривать сам способ обучения. Учить не просто на размеченных массивах данных, а как-то иначе.
Вот почему нейросеть в ответ на просьбу изложить биографию "Гийома Монтильякского, французского композитора XIII века" пытается мне изложить что-то правдоподобно выглядящее, вместо того, чтобы честно сказать что ни про какого Гийома (мной только что выдуманного) слыхом не слыхивала? Потому что в её обучающей выборке были биографии, были композиторы, были французы, был XIII век. А несуществующих людей не было, и я не очень представляю как такой обучающий текст должен выглядеть. Человека-то тяжело обучить тому что не на все вопросы есть ответ, что уж там нейросеть.
Добавляя в запрос что-то вроде "если не знаешь - это нормально/скажи об этом" можно с высокой вероятностью получить именно такое признание на сложный вопрос, но это всё рано чистый рандом, абсолютно всю информацию от генеративных нейросетей надо проверять на достоверность
Прикиньте, я в промпты стал добавлять "Сказать "я не знаю" — это нормально", и внезапно оно перестало галлюцинировать и теперь вместо этого говорит "Я не знаю". Видимо, его тренировали "дать ответ человеку хоть тушкой, хоть чучелом".
"Не в человеческом мозгу рождалась эта речь — в гортани. Извержение состояло из слов, но не было речью в подлинном смысле, это был шум, производимый в бессознательном состоянии"
У меня есть своё мнение по поводу причин галлюцинаций. Пока прочитал только заголовок, сейчас напишу свое мнение и пойду читать)
Какая функция LLM основная ? Меня недавно прям осенило. Основная функция состоит из двух процессов, которые выполняются одновременно. 1) Перевод текста из окна контекста во внутреннее представление, картину мира, но это не голая картина мира, она неразделима со вторым процессом. 2) Перевод внутреннего представления в будущий ответ.
И по сути LLM сводится к простому переводчику, он переводит с "языка" на котором к нему обратились в язык, которым он отвечает, через внутреннее состояние, которое оперирует концептуальным смыслом. Если убрать фазу перевода простого текста из затравочного контекста во внутренее представление, то роль LLM еще больше упрощается. LLM просто учится переводить между двумя языками, внутренего представления и человеческого текстового.
Для обычных переводчиков между разговорными языками достаточно понять правила перестановки, двузначности фраз и прочие ньюансы перевода. То для LLM стоит более сложная задача, найти связь, как связан затравочный текст с ответом. Получается сложный переводчик поставленных вопросов в осмысленные ответы.
Галлюцинации возникают по причине того, что внутренее представление не до конца точное, и не соответствует на 100% смыслу тексту затравки. Т.е. не хватает параметров для полного описания всех ньюансов смыслов, имеющихся в обучающем корпусе. В начале восхождения LLM заметили простой факт, тупо увеличивая количество параметров, получаем меньшее количество ошибок и более корректные ответы. Просто детализация внутренней картины миры становится более насыщенной. Это как в том меме, где чувак держит в пальцах маленький кусочек бумажки с картинкой и щурится)) Ведь другое дело, когда бумажка это полотно на всю стену, где не только общий смысл картины рассмотреть, но и увидеть мельчайшие обьекты вдалеке, которые теперь стали видны. И можно более подробно описать увиденное, а значит лучше понять смысл картинки.
ps. Прочитал. Лучше автору не натягивать сову на глобус, тем более, если в тематике не совершенно не разбираетесь.
Добавлю отдельно, не успел во время дописать. Утрируя, когда параметров маловато, то несколько разных деталей ее внутренней картины мира модель не запоминает по отдельности (мало детализации), а запоминает некое усредненное значение. При попытке выудить из нее одну из этих конкретных деталей, она просто возвращает то усреднённое, разница между усреднением и конкретной деталью и есть та самая ошибка.
Галлюцинации возникают по причине того, что внутренее представление не
до конца точное, и не соответствует на 100% смыслу тексту затравки. Т.е.
не хватает параметров для полного описания всех ньюансов смыслов,
имеющихся в обучающем корпусе. В начале восхождения LLM заметили простой
факт, тупо увеличивая количество параметров, получаем меньшее
количество ошибок и более корректные ответы.
И это в общем случае неправда. Вот тут приведен пример, когда рост размера модели приводит к увеличению числа галлюцинаций. Да и отчёт OpenAI по GPT-3 (1) ясно показывает, что зависимость качества модели от размера не является монотонно возрастающей. То есть причина галлюцинаций лежит совсем в иной плоскости.
Нет единой причины галлюцинаций, она комплексная. Это и недостаток обучающих данных в каких-то моментах, архитектурное несовершенство, неспособность отделять и запоминать факты, неспособность модели к саморефлексии. Это всё поэтапно решается всевозможными костылями, но по факту нужна новая архитектура, которая позволит получить действительно разумный ИИ, а не генератор выхолощенно-усредненных ответов.
В чем причина галлюцинаций у нейросетей