Что такое RAG-система? Полный разбор от теории до продакшена

[Toolza]

RAG разбор топовый с кодом под Ollama, но без reranker’а на проде галлюцинации сожрут ответы. GraphRAG на миллион нодов без кластера взлетит?

[rnbparty]

Если бабки есть можно на хоть на луну полететь) но в случае GraphRAG это перебор.

да и никакие ответы никто не жрет, локально для ответа выделяется пул токенов, их не может быть больше или меньше... сожрать их ничего не может, просто вы видимо имеете ввиду токены под словом ответ. И если раг корректно настроен то галюцинаций будет минимальное количество при этом настолько минимально, что близится к 0. Там же в чем фишка, выбрать информацию из векторки это одно, а вот то какой вы запрос для генерации именно ответа отдадите нейросети это уже совершенно другое и к рагу не относиться. Суть рага выбрать максимально близкие по смыслу данные и все. Не больше не меньше. А вот сгенерировать ответ на основе этих данных это отдельная большая тема

[shyr1punk]

Неожиданно очень полная статья для тех кто начинает разбираться в теме. Полтора года назад все эти шаги проходили на своем опыте

[ksergik]

Только про то что не надо переобучать RAG при появлении новых документов неверно написано. А так - хорошая полноценная статья.

[rnbparty]

В нашей статье слово "переобучение"это просто замена документов в векторном хранилище на актуальные и все

будем подбирать более конкретные слова

[ksergik]

Точнее сказать - надо дообучать на новых документах, но не все RAG могут такое поддерживать и при смене модели тоже придется переобучать. А также если мы решим по-другому разбить на чанки. Ну и иногда оптимизировать базу надо.

[jenea007]

Наконец-то годная статья, автор - спасибо.