Подводные камни векторного поиска по базе знаний

[Ata_Akhunzhanov]

Несколько апдейтов из опыта, если будет полезно – круто!
1. Гибридный поиск (vector + BM25) + cross-encoder решает проблему "разного языка" без типовых вопросов
2.LLM-as-a-judge для "есть ли ответ" работает лучше логрегрессии и/или Ragas
3. Semantic caching для top запросов режет latency в 10x


Не понял зачем эмбединговую модель файнтюнить? но оставлю его открытым
Так же зачем BERT если речь как я понял идет о другой архитектруе, немного запутался:

Статья классня, спасибо

[Applechina]

Не пробовали связи между статьями создавать и использовать в поиске/выдаче? Например, "форматирование на Маке" связана с "форматирование", расширяя ее.

[WhiteBehemoth]

Огромное спасибо за статью, было интересно и без лишней "воды".

На данный момент мы не нашли еще каких-то прямых или косвенных метрик с помощью которых можно измерить качество поиска по базе знаний в автоматическом режиме. Если у Вас, есть идеи или опыт реализации подобного, делитесь, пожалуйста в комментариях - обсудим.

а оператор получает историю чата в момент перевода? Может ему в интерфейс добавить оценку поиска? Операторы мотивированны, чтобы улучшить авто-поиск. Соответственно потратить минуту, чтоб ответить "поиск норм" или флагнуть чат для детального анализа, если поиск не нашел очевидного с человеческой т.з., это в вего интересах. А то и с возможностью закинуть пользовательские запросы в поисковые вектора ненайденной статьи. Это и фидбек и работа над улучшением.

еще я бы посмотрел на статистику всех "неудачных" запросов, после которых был перевод на оператора (на предмет схожего контекста или семантики вопросов).