Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

[kolomaynen]

Стоит указать, что у всех представленных бенчмарках только английские корпуса.

[gavexe]

1. Нужна единственная метрика -процент правильных ответов с точки зрения эксперта предметной области. Все остальные - вспомогательные и стоит им уделять внимание только если вы ТОЧНО уверены, что они повышают эту главную. Если у вас в базе знаний (вокруг которой rag) нет правильного ответа на конкретный вопрос, то никаким повышением context precision вы это не решите. 2. Главной проблемой после отсутствия информации в базе является выдача релевантных чанков (тех самых, в которых содержится ответ на вопрос пользователя и если которых в принципе нет, то разговаривать вообще не о чем). Простые методы типа топ-к не работают. И тут только два пути - либо повышать это к, тем самым увеличивая денежные затраты на каждый промпт - в принципе рабочий вариант. Либо усложняя алгориьмы. В подавляющем большинстве кейсов (за исключением пожалуй случаев, когда rag нужен на сильно структурированных данных типа sql баз) оптимальным является parential retrievement. Он практически гарантирует, что если в бз есть правильный ответ на вопрос - модель его выдаст пользователю. Его суть: делаем две таблицы чанков: small и large. Large - абзац, таблица целиком и тп - семантически законченный кусок знаний. Small - разбитый на части large чанк, по длинне максимально близкий средней длине вопроса пользователя. Как правило, одно предложение.

[aka_MIK]

Качество ответов в первую очередь определяется качеством выдачи top k чанков векторной базой, а она в свою очередь сильно зависит от языка твоей документации, окончания там, речевые обороты и т.д. Поэтому хотелось бы тест-базы на русском всё-таки

PS статья классная, спасибо, как раз борюсь с одним тест-кейсом, никак не пойму почему моя система не выдает правильный ответ, когда информация точно есть в документации.