Comments 11
Интересная статья!!111
Было бы здорово еще про дообучение моделей написать статью
Наверное, одно из самых корректных и доходчивых описаний RAG.
Да, было бы неплохо почитать статью про дообучение моделей LoRA, особенно интересует использование langchain для этого.
Спасибо за статью, написал программу с самостоятельным конфигурированием system message и temperature теперь хочу прикрутить к ней RAG, буду использовать статью как руководство.
Спасибо за отличный обзор!
Поясните пожалуйста насчет RELP. Допустим, есть бот, которому мы задаем вопросы по содержанию некоторой внутренней базы документов: список всех договоров, которые мы когда-либо заключали с партнерами. Например: "Сколько килограмм меда было отгружено Винни П. за 2018 год?" С RAG все понятно: сначала подбираем все фрагменты документов, которые семантически и лексически близики к вопросу, а затем LLM использует их все как контекст для ответа на первоначальный вопрос.
А что же RELP? Из каждого найденного контекста (чанка) мы должны сформировать что-то типа инстракт-датасета на 1-2 вопроса? Попытался найти информацию, но нашел лишь одну статью, где в лишь в общих чертах описано
Relp можно давать не самые релевантные варианты данных с точки зрения содержания, но релевантные с точки зрения подхода к ответу. Соответственно это как миниобучение - мы даём LLM примеры, и надеемся что она догадается как правильно ответить
Спасибо за обзор!
Всего не вместишь, но на мой взгляд, есть две важных вещи, которые есть смысл обсудить во второй части, если она будет:
1) Память текущей беседы (сессии), с учетом ограничения на размер окна LLM. У langchain даже есть специальные классы для этого, например ConversationSummaryMemory
2) Определение смены темы разговора человеком (когда можно сбросить контекст)
спасибо за статью! Как говориться, стильно, модно, молодежно, :) отличный стиль.
Тема секьюрити как то совсем не упомянута, если нужно поиск делать только по документам, доступным для данного пользователя.
Архитектура RAG: полный гайд