Что побуждает LLM врать и как этого избежать в своих продуктах

[artmaro]

В OWASP Top 10 LLM до сих пор галлюцинациям отведено место в первом ряду по "уявзимосям" моделей, хотя это к ИБ не имеет прямого отношения

[KonstantinKosvintsev]

Тоже сталкивались с ситуацией галлюцинаций, нам хорошо помог подход few-shots prompting

[Squirrelfm]

Действительно, это помогает.

[moonroach]

как будто хочется еще добавить в статью пару тем про fine-tuning и как бы он помг помочь.
типо таких тем:

1. роль обучения с подкреплением от человеческой обратной связи (RLHF) про то, что метод позволяет моделям лучше учитывать человеческие предпочтения и контекст, что способствует снижению вероятности галлюцинаций.

2. важность качества обучающих данных - большой и хороший инструментдля снижения риска возникновения галлюцинаций. Ведь модель может говорить только то, что знает

ну и про CoT бы хорошо добавить

[Squirrelfm]

🤔

[Kristaller486]

Не все модели одинаково хорошо понимают разные языки. Всегда предпочтительнее использовать английский для промптинга, так как он работает лучше всего для большинства моделей.

Очень спорно. Это кажется интуитивно понятно, что, мол, если модель обучена в основном на английском, то и промты должны быть английские, но некоторые замеры показывают, что это не так, то есть, лучше (или по крайней мере не хуже) выбирать для подсказки тот же язык, на котором написаны входные данные.

Некоторые замеры (картинка)

[Squirrelfm]

Действительно, это хорошее замечание, если исходные данные не на английском. Поправлю

[Frankenstine]

как можно доверять корпоративному AI-ассистенту, если он рандомно придумывает факты?

Как можно доверять человеку, если он рандомно придумывает факты? Если люди до сих пор галлюцинируют, ИИ конечно же будет галлюцинировать как минимум не хуже кожаных мешков.

[Squirrelfm]

человека можно найти и принять меры, у него есть мотивация действовать по инструкциям. хотя это вопрос философский, в конечном итоге разницы мало и все упирается в организации процесса и контроля качества

[Frankenstine]

Ai и искать не надо, но отучить врать его так же невозможно, как и человека

[taujavarob]

Если так, то AI можно уже отправить к "Базам Знаний" конца 80-х годов прошлого века.

[Frankenstine]

Смысл? Пичкать устаревшей на пол века информацией, чтобы что? Ещё ухудшить качество информации, на которой тренируют ИИ?

[Stathem4ik]

Норм контент, правда очевидніе вещи касательно того, как задать запрос...

[dmelikhov]

Галлюцинации бывают и у людей, а LLM, как продукт людей, просто перенимает все хорошее и плохое!

[needsomedata]

Как определить какая произошла ситуация?

1. Модель понимает вопрос, но даёт неверный ответ.

2. Модель не понимает вопрос и поэтому даёт неверный ответ.

3. Вопрос не имеет однозначного ответа, и, следовательно, если вы не согласны с моделью, это не делает её ответ некорректным. Например, вопрос "Трамп или Байден?" — любой ответ будет просто мнением.