Retrieval-Augmented Generation (RAG): глубокий технический обзор

[Adgh]

Самое интересное в RAG – вытянуть максимум из ретривера. А тем, как залить md в вектор и найденные фрагменты вставить в промт — уж «все заборы исписаны»)

[Kapral07]

Если позволяют ресурсы - https://huggingface.co/BAAI/bge-reranker-v2-m3 отличная модель реранкера (с динамической квантизацией тоже показывает очень хорошие результаты), с ней метрики значительно подрастут. А перед реранкером по-хорошему поиск комбинацией BM25 и Embeddings