Comments 10
Зачем изменять параметр альфа, когда LLM уже выделила вам лучшие документы из найденных?
Параметр альфа управляет ранжированием всех кандидатов, а не выбором документов
LLM тут не "уже выделила лучшие документы", а всего лишь быстро оценила, какой тип поиска (dense или BM25) в данный момент полезнее. Мы используем этот сигнал, чтобы подкрутить α и лучше ранжировать весь список кандидатов, а не делать дорогой LLM-rerank по десяткам документов каждый раз.
Я только одного не понял.
Критерий определяет LLM.
Если найденный документ напрямую отвечает на вопрос, поставь 5 баллов.
Так ответ же предназначен пользователю. А он человек. Зачастую сам не знает что спрашивает "а я тут спрашивал.. но имел в виду". А тут LLM, обученная на каком то общем датасете за него решает.
В жизни "я имел в виду" сплошь и рядом (что такой аборт.. А волны бились "а борт" корабля)
Может это как то работает на данных, которые были широко представлены в датасете обучения данной LLM. Но для узкоспециализированных вопросов на темы которых либо вообще не было при обучении или мало, решение LLM будет некорректным (скорее всего случайным).
Справедливое конечно замечание, но в любом случае, другие механизмы то какие? Только просмотр самостоятельно корпуса документиов с выбором нужного (и то не факт, что не ошибется и сам человек-эксперт). Пока LLM это вынужденное "зло" и просто надо его либо доучивать под предметную тему, либо подбирать среди уже готовых наиболее адекватного (как и сделано в статье), чтобы просто повысить релевантность оценки найденых на предыдущих этапах поисков документа.
В любом случае, RAG очень сильно экономит время для поисков, как для последующих запросов к LLM, так и для ознакомления с имеющимся набором данных (этакий локальный библиотекарь).
Пока это всё ещё в стадии устаканивания, поэтому будет ещё много разных эксперементов, пока не выработаются наиболее удобные и полноценные методы.
Зачастую сам не знает что спрашивает
Ну это уже проблемы пользователя. "Сам дурак". Пусть учится правильно формулировать свои вопросы. Иначе его не поймут ни поисковики, ни даже другие люди.
А читать мысли мы пока ещё не научились.
Совсем не факт, что пользователь "сам дурак". Во первых, учиться сформулировать правильный промпт, это на само мделе и правда наука. Вот уже пол года осваиваю, и очень далек от даже примерного мастрества. Так я каждодневно в процессе! А чего говорить до современных, и в общем то порой малограмотных, пользователей.
Это вы зря. Это максимализм. Люди которые мыслят чуть по другому чем вы это не "Сам дурак".
Из жизненного опыта и накопленной статистики могу сказать, что с вероятностью 100% другой человек может сказать и про вас, что вы "не правильно вопросы формируете и он не может вас понять".
И это не потому что он "Сам дурак". А потому что он из чуть другого круга общения с другой терминологией с другие "подразумеваю это".
Даже внутри одной компании при общении с людьми, которые занимаются другими темами, нужно всегда тщательно уточнять "что имеется в виду".
А уже когда сталкиваешься в совещаниях с еще более отдаленными в теме или с другим культурным/техническим контекстом, то вообще XXX.
Если бы мне за услышанную в разных вариациях фразу "это же очевидно, что я спрашиваю/говорю" давали по рублю, то уже было бы "много рублей" :)
Ок, звучит разумно, вроде бы, если не принимать во внимание что для RAG не требуются десятки документов, поэтому LLM-rerank хватает для практических целей и RSF уже не нужен.
А вы поробовали к существующим системам как-то адаптер сделать его? Weaviate или иной плагин адаптировать и применить в том же Dify
DAT: новый способ гибридного поиска в RAG с динамической настройкой альфа-параметра