Комментарии 9
Интересная статья!!111
Было бы здорово еще про дообучение моделей написать статью
Наверное, одно из самых корректных и доходчивых описаний RAG.
Да, было бы неплохо почитать статью про дообучение моделей LoRA, особенно интересует использование langchain для этого.
Спасибо за статью, написал программу с самостоятельным конфигурированием system message и temperature теперь хочу прикрутить к ней RAG, буду использовать статью как руководство.
Спасибо за отличный обзор!
Поясните пожалуйста насчет RELP. Допустим, есть бот, которому мы задаем вопросы по содержанию некоторой внутренней базы документов: список всех договоров, которые мы когда-либо заключали с партнерами. Например: "Сколько килограмм меда было отгружено Винни П. за 2018 год?" С RAG все понятно: сначала подбираем все фрагменты документов, которые семантически и лексически близики к вопросу, а затем LLM использует их все как контекст для ответа на первоначальный вопрос.
А что же RELP? Из каждого найденного контекста (чанка) мы должны сформировать что-то типа инстракт-датасета на 1-2 вопроса? Попытался найти информацию, но нашел лишь одну статью, где в лишь в общих чертах описано
Relp можно давать не самые релевантные варианты данных с точки зрения содержания, но релевантные с точки зрения подхода к ответу. Соответственно это как миниобучение - мы даём LLM примеры, и надеемся что она догадается как правильно ответить
Архитектура RAG: полный гайд