Комментарии 2
механизмом поиска векторизованных ембеддингов
Можно немного подробнее об этом механизме? Если это не коммерческая тайна конечно. Не понятно, что имеется ввиду под подсовывать чат-боту в качестве аугментации. И каким образом выглядит база знаний, условно мы генерируем для каждого такого ответа из базы вектор и в нужный момент ищем ближайший нашему вопросу?
В минимальной обвязке да, храним в бд вектора, формируем на лету интент, генерим из него вектор, ищем ближайшие, подсовываем чатботу. Но на реальных задачах тут появляются дополнительные слои абстракции в виде параметрического поиска, нескольких "сортов" ембеддингов и соответственно правил отбора помимо собственно похожести. Ну и собственно сам "интент" может формулироваться в очень разных терминах, что несомненно влияет на результат поиска, это собственно сама тонкая часть механизма RAG, потому что наиболее существенно влияет на качество работы всего механизма в смысле адекватности выдаваемой кастомеру рекомендации, то, как формулируется намерение пользователя, это самая кастомная часть механики, поскольку требует под капотом и механизма NYC, и просто знаний в предметной области, в нашем случае особенностей тревела, тут быстро вылезает нечто вроде RAG внутри RAG и далее вглубь кроличьей норы.
LLM-чатбот в основе консьерж-сервиса