Комментарии 22
А значит, при построении систем на основе генеративных моделей нужно в первую очередь уделять внимание фактологически неверным ответам. И важно не путать их с галлюцинациями.
А разве фактологически неверные ответы не являются галлюцинациями? У вас эти понятия разделены, но если, например, погуглить определение галлюцинации на английском, везде даётся менее строгое определение:
"response that is either factually incorrect, nonsensical, or disconnected from the input prompt"
"deviates from user input (input-conflicting), previously generated context (context-conflicting), or factual knowledge (fact-conflicting)"
"content that is irrelevant, made-up, or inconsistent with the input data"
Что в общем-то логично. Если на вопрос "сколько глаз у кошки" модель даёт ответ "пять: один снаружи и четыре внутри", чем же это не галлюцинация?
"Не, брат, с таким настроением ты слона не продашь" (с)
Ну, может и имеет смысл разделять, если механика этих галлюцинаций разная. Получится более детальная картина, с технической стороны в том числе.
Люди свои галлюцинации очень даже разделяют) Одни называют сми, другие философией, а третьи вообще священным писанием.
Ну это как минимум ответ на заданный вопрос, да логику можно подвести. И это будет не галлюцинация а шизофрения, что уже прогресс.
Можно провести такую аналогию: когда ученик в школе отвечает неверно на вопрос учителя, мы ведь не говорим, что у ученика галлюцинации. Даже не предполагаем такую возможность:) Вот и в случае LLM нам кажется, что стоит отличать случаи, когда модель генерирует информацию, которая не связана с вопросом и опорным документом (галлюцинации) от случаев, когда она просто дает неверный ответ.
А разве фактологически неверные ответы не являются галлюцинациями?
Когда на вопрос «В каком году состоялась Куликовская битва?» ученик отвечает «В 1944-м» — это фактологически неверный ответ. А когда он вдруг сообщает, что «перваком называют ту часть самогона, которая попадает в емкость для сбора дистиллята самой первой» — это галлюцинация.
У галлюцинаций в психиатрии и в машинном обучении определения существенно разные. Человек может вообще ничего не говорить и не отвечать на вопросы при галлюцинациях. А если человек даёт ответ невпопад, это может быть вызвано например проблемами со слухом. Когда галлюцинирует модель, она чаще всего выдумывает правдоподобный ответ, не зная правильного.
Автор статьи даёт такое определение:
Галлюцинацией мы будем называть отдельное слово, если оно содержит информацию, никак не связанную со словами опорного пассажа.
То есть, ключевой признак галлюцинации — отсутствие связи.
1) Может ли это отсутствие быть частичным (ответ в некоторой степени похож на правильный)?
— В каком году была Куликовская битва?
— В Нью-Йорке.
2) Может ли это отсутствие быть полным (ответ ничем не похож на правильный)?
— В каком году была Куликовская битва?
— Кирпичи делают из глины.
Личное мнение, но галлюцинации больших языковых моделей - следствие архитектуры. Их можно уменьшить, увеличивая размеры датасетов, увеличивая сами модели, но избавиться от них совсем - невозможно. Дистилляция моделей, насыщение параметров за счёт большего датасета тоже в какой-то мере помогут, но не исправят того, что LLM - тупиковая ветвь развития, как в своё время паровой двигатель. Низкий КПД, огромные размеры и ворох принципиально нерешаемых проблем. Я думаю год-два и мы увидим новые архитектурные наработки, но скорее всего не на базе нынешних ИНС, собственно корни проблем LLM растут именно из них.
мне кажется, если отойти от концепции итеративной генерации каждого следующего токена, а обучить выдавать сразу несколько (или все 'контекстное' окно) токенов (еще вопрос как это организовать, ведь тут не получится выбирать вероятный токен, он должен быть только один на своем месте), то у модели будет значительно меньше мест с выбором токенов, меньше мест где схитрить и выдать воду, и соответственно меньше возможностей для галлюцинаций.
Это какие такие проблемы? В том, что вероятности, внезапно, не точные? :)
И технически такие ошибки LLM правильнее назвать конфабуляцией или ложными воспоминаниями. У людей ложные воспоминания и галлюцинации имеют мало общего. Так что ошибки LLM называть галлюцинациями - плохая идея. Но термин устоялся, так что вот мы здесь
В статье измеряют смысловые расстояния между словами в сгенерированных текстах и в эталонах. При этом забывают, что в смысловой эмбеддинг слова конвертируют тоже нейросети на основании уже своих знаний о смыслах! Причём эти нейросети достаточно небольшие. И их знания, актуальность, области знаний - разнятся
-Ответь мне на вопрос: {текст вопроса}.
-Да, очень сложно не констатировать контрадикторность смелых ремарок по поводу дивергенции семантической аттракции публикаций. Особенно следует подчеркнуть этическую бифуркацию радикальной имплементации, сравнимой по сфокусированной симметричности восприятия материала с множественной дихотомией, что, естественно, не приводит к инвариантности в своеобразном фазовом пространстве позитивного набора её характеристик. С этим сложно не согласиться. Вот пусть так и будет.
Померьте для интереса % галюцинаций в коментариях на Хабре
Мне инетерсно, что быстрее: найти подходящую метрику ( BERTScore ) и с её помощью провести автоматическую оценку результатов на галлюцинации, или просмотреть ответы глазами? Их всего 300, и входные тексты небольшие.
Сейчас трудно найти задачу машинного обучения, для которой в лидерах не было бы трансформерных моделей.
задача регрессии на обучающих выборках малых и средних размеров
Галлюцинацией мы будем называть отдельное слово, если оно содержит информацию, никак не связанную со словами опорного пассажа.
Нет, такое определение вводит вас в заблуждение. Галлюцинация — это логическая неконсистентность. Галлюцинации заложены в архитектуру трансформеров ввиду отсутствия механизмов для символьных вычислений.
Сегодня интеллект модели ИИ оценивается по качеству ее генерациий, а не по качеству ее мыслей.
Другими словами, мы заставляем модель сказать что-то и оцениваем, является ли это «что-то», например, сгенерированный текст, «разумным», вместо того, чтобы оценивать, откуда «взялось» это поколение интеллекта.
Ключевым моментом является наличие высококачественных внутренних представлений о мире (модель мира). Таким образом, мы должны оценивать интеллект мыслей, которые ведут к тем генкрациям (в то время как модель, выводящая интеллектуальный текст, может сигнализировать о том, что она интеллектуальна, она также может сигнализировать о том, что модель запомнила этот вывод).
Было бы интересно понять насколько компрессия модели, в данном случае в 4bit, влияет на результаты в вашем эксперименте.
Действительно ли большие языковые модели галлюцинируют? Эксперимент