AlexeySushkov Apr 19 at 14:20

Накорми языковую модель документами

Easy

13 min

13K

Machine learning*Artificial IntelligenceIT Infrastructure*Natural Language Processing*

Review

+13

Comments 11

IlyaRice Apr 20 at 08:49

Как ты борешься с галлюцинациями rag систем?

Когда системе задаётся вопрос по базе знаний, но в ней нет искомой информации.

Или, что хуже, когда в БД есть вроде похожая, но всё равно отличающаяся информация, и ллм, получив такие чанки в контекст, пытается быть полезным и отвечает по данному контексту. Ответ системы в таких случаях часто звучит правдоподобно, но по факту является некорректным.

ENick Apr 20 at 08:55

"Как ты борешься с галлюцинациями rag систем?" - тут только GraphRAG поможет

AlexeySushkov Apr 20 at 23:52

Есть ещё вариант использовать NLI-модели (Natural Language Inference), чтобы проверить, следует ли ответ модели из переданного контекста (например, roberta-large-mnli).

ENick Apr 21 at 07:31

Вы имеете ввиду ReRanker CrossEncoder?

S_A Apr 21 at 11:08

предположу, речь идёт о zero-shot классификаторах

AlexeySushkov Apr 21 at 23:50

ReRanker CrossEncoder, NLI-модели, zero-shot классификаторы - это разные алгоритмы, но все они используется для более качественного отбора чанков, которые далее передеются в модель для ответа.

S_A Apr 20 at 09:04

Некоторые модели хорошо понимают что в отданных чанках нет ответа на вопрос, особенно если их зампромптить на такой ответ: "если в указанной информации ответа нет, явно сообщи об этом числом 0".

Если есть похожие к запросу, но почему-то неревантные, значит надо улучшать retrieval.

nivorbud Apr 20 at 11:48

Имхо, эта проблема заключается в сущности работы векторов слов/документов. Чанк может содержать (и содержит) одновременно несколько смыслов, причем зачастую весьма неожиданных. Поэтому векторный поиск может выдать весьма неожиданные результаты. Плюс польшая склонность к обобщению. Это хорошо для исследований, но не годится для применений, где требуется точность ответов. Я наверно в RAG буду использовать обычный поиск по ключевым фразам. Полноты будет, конечно меньше, но точность значительно выше. А векторный поиск хорош для развлекательных тематик - там ошибки некритичны.

ialexander Apr 20 at 13:58

Года идут, а пальцы нейронки так и не научились рисовать.

kaskolive Apr 20 at 17:14

Это qwen. Он это любит.

apxapuyc Apr 21 at 14:15

Хорошо хоть не ноги вместо рук.