Retrieval-Augmented Generation (RAG): глубокий технический обзор

[Adgh]

Самое интересное в RAG – вытянуть максимум из ретривера. А тем, как залить md в вектор и найденные фрагменты вставить в промт — уж «все заборы исписаны»)

[Kapral07]

Если позволяют ресурсы - https://huggingface.co/BAAI/bge-reranker-v2-m3 отличная модель реранкера (с динамической квантизацией тоже показывает очень хорошие результаты), с ней метрики значительно подрастут. А перед реранкером по-хорошему поиск комбинацией BM25 и Embeddings

[woronin]

Хорошая обзорная статья, о как то мало конкретики и примеров как можно использовать RAG. Я например поставил себе на комп Ollama и в ней OpenWebUI вроде RAG заработал, но на сколько точно он дает ответы - не понятно как проверить.