Retrieval-Augmented Generation (RAG): глубокий технический обзор

Если позволяют ресурсы - https://huggingface.co/BAAI/bge-reranker-v2-m3 отличная модель реранкера (с динамической квантизацией тоже показывает очень хорошие результаты), с ней метрики значительно подрастут. А перед реранкером по-хорошему поиск комбинацией BM25 и Embeddings

RAG: борьба с низким качеством ответов в условиях экономии памяти на GPU

Отдельная боль таких документов - таблицы, которые могут иметь разные структуры и размеры