Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 1

[Dubrawa]

Восхитительная статья! Я сейчас семантический RAG изучаю и было очень полезно :) Надеюсь, что во второй части расширится набор LLM и эмбеддеров для стабильных выводов (сейчас ограниченность сэмпла, в разных моделях ведь разные position-bias и приоритеты, RAG ведёт себя по-разному). Резюме под спойлерами у Вас везде очень качественные, но редко дают количественные оценки (токены, стоимость, всё такое) — как с этим на практике? Очень бы хотелось увидеть пару явных рекомендаций по настройкам индекса и параметрам эмбеддера. 🙏🏻Если есть примеры failure-case’ов — вообще будет интересно!

Спасибо за огромную работу!

[Tuturutuw]

Спасибо большое, очень приятно это слышать!

Все количественные метрики, примеры ошибок (без них ни как) и подобное будет во второй части — там мы поговорим про это подробнее. В текущем сравнении я сознательно зафиксировал LLM и эмбеддеры, чтобы сфокусироваться на различиях RAG-техник. Хотя в реальных проектах, действительно, стоит перебирать разные модели и эмбеддеры из-за смещений.

Постараюсь скорее закончить вторую часть, чтобы уже можно было увидеть цифры, графики и примеры работы. Но пока работа вносит свои корректировки :)

[G-Wayne]

Присоединяюсь, статья супер! Спасибо за ваш труд! Ждём продолжения

[Tuturutuw]

Спасибо за поддержку!)

[Zenzoik]

Отличная статья. Реализовал базовый RAG и ищу возможности повышения точности. Статья даёт объемный анализ с + и -.

[Tuturutuw]

Отлично, вы на верном пути!