Как стать автором
Поиск
Написать публикацию
Обновить

Оценивание LLM в RAG на клиентских и синтетических датасетах: методология и результаты

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров2.1K
Всего голосов 2: ↑2 и ↓0+4
Комментарии4

Комментарии 4

А что вы всё-таки тестировали? Точность поиска опорных документов в RAG, т.е. эмбеддинги, или точность обработки найденных опорных документов для выдачи ответа?

второе, то есть точность генерации по найденным докам. точность поиска мы оцениваем на отдельном этапе до оценки генерации, на нем же подбираем оптимальные настройки поиска

А промпт, который используется это коммерческая тайна?

ага, к сожалению, не могу пошарить :(

Зарегистрируйтесь на Хабре, чтобы оставить комментарий