Comments 2
"Моя мотивация", "мотивация" и т.п.. - уважаемый автор, определитесь пожалуйста, Вы о себе пишите или о ВМ25?
"Однако мы не знаем на самом деле, какие документы «релевантны», поэтому можем лишь гадать "-???. Если учебники лень смотреть, посмотрите ВИКИ: там четко написано, что релевантность означает степень соответствия. Какие критерии выберете, такую релевантность и посчитаете.
"...точная вероятность.." - очередной шедевр, могу поспорить, что автор - блондинка
"...крайне рекомендую..." - это даже не LLM
даже не пытается вычислять вероятность релевантности документа
Алгоритм считает вероятности и переводи в значение индекса; опосредовано по ним и происходит сортировка.
Константы 0,5 и 1 здесь используются для сглаживания уравнения,
Мелкое замечание - это для того, что бы в сомножителе нулей не было.
Разбираем алгоритм полнотекстового поиска BM25