Спасибо за разбор, по главному тезису вы правы. Потолок задаёт первичная выборка, и судья не спасёт того, кого поиск не показал. Мы это как раз мерили, вот числа с нашего эталона. Подходящих кандидатов за пределами первой сотни векторного поиска оказалось 34, из них 14 плотный поиск не возвращал вовсе. Объединение с BM25 вернуло в пул 6 из этих 14 и добавило 2,6 пункта точности. В проде на живых вакансиях объединение даёт около четырёх с половиной кандидатов на вакансию, которых нашёл только полнотекстовый поиск и которые дошли до верхней десятки.
Про 66% против 85% сравнивать напрямую не стоит, пока не сверены метрики. У нас три вердикта разметки, и 66,3% это доля строго подходящих в первой десятке, где пограничные идут в ноль. На том же замере мягкая точность, то есть подходящие плюс пограничные, 85,8%. Если ваши 85% считаются как релевантность с учётом пограничных, мы примерно там же, а если строго, то расхождение реальное и интересное. Какой у вас размер размеченного набора и сколько вердиктов в шкале?
Про контекстуальный чанкинг. У нас его нет, и проблемы, которую он лечит, тоже нет. Резюме не режется на фрагменты, оно кодируется целиком одним вектором, и глобальный контекст стоит в начале текста, роль, грейд, навыки, потом опыт. Приём полезен там, где документ длинный и рвётся на куски, теряющие владельца. Если вы имели в виду что-то другое, поправьте.
Про рассуждающую модель на роли судьи наш замер вас подтверждает. Мы прогнали четыре модели по 476 парам одним промптом и смотрели долю цитат, которых нет в резюме дословно. У нерассуждающих 27,2% и 31,6%, у рассуждающей 6,5%, и выбрали мы её именно за это, хотя она вчетверо дороже и почти впятеро медленнее. За конкретную модель спасибо, посмотрим на неё. Довод про локальное железо и персональные данные принимаю без спора, это честный минус нашего решения.
Одно уточнение про RRF. У нас он как раз не работает, об этом половина статьи. На эталоне он уронил полноту со 140 до 137 подходящих из 174 и снял полпункта точности, потому что кандидат, которого не нашёл плотный поиск, получает вклад только от BM25 и остаётся далеко внизу. Мы выбросили формулу слияния и оставили простое объединение пулов, а разбираться с порядком отдаём судье.
Спасибо за разбор, по главному тезису вы правы. Потолок задаёт первичная выборка, и судья не спасёт того, кого поиск не показал. Мы это как раз мерили, вот числа с нашего эталона. Подходящих кандидатов за пределами первой сотни векторного поиска оказалось 34, из них 14 плотный поиск не возвращал вовсе. Объединение с BM25 вернуло в пул 6 из этих 14 и добавило 2,6 пункта точности. В проде на живых вакансиях объединение даёт около четырёх с половиной кандидатов на вакансию, которых нашёл только полнотекстовый поиск и которые дошли до верхней десятки.
Про 66% против 85% сравнивать напрямую не стоит, пока не сверены метрики. У нас три вердикта разметки, и 66,3% это доля строго подходящих в первой десятке, где пограничные идут в ноль. На том же замере мягкая точность, то есть подходящие плюс пограничные, 85,8%. Если ваши 85% считаются как релевантность с учётом пограничных, мы примерно там же, а если строго, то расхождение реальное и интересное. Какой у вас размер размеченного набора и сколько вердиктов в шкале?
Про контекстуальный чанкинг. У нас его нет, и проблемы, которую он лечит, тоже нет. Резюме не режется на фрагменты, оно кодируется целиком одним вектором, и глобальный контекст стоит в начале текста, роль, грейд, навыки, потом опыт. Приём полезен там, где документ длинный и рвётся на куски, теряющие владельца. Если вы имели в виду что-то другое, поправьте.
Про рассуждающую модель на роли судьи наш замер вас подтверждает. Мы прогнали четыре модели по 476 парам одним промптом и смотрели долю цитат, которых нет в резюме дословно. У нерассуждающих 27,2% и 31,6%, у рассуждающей 6,5%, и выбрали мы её именно за это, хотя она вчетверо дороже и почти впятеро медленнее. За конкретную модель спасибо, посмотрим на неё. Довод про локальное железо и персональные данные принимаю без спора, это честный минус нашего решения.
Одно уточнение про RRF. У нас он как раз не работает, об этом половина статьи. На эталоне он уронил полноту со 140 до 137 подходящих из 174 и снял полпункта точности, потому что кандидат, которого не нашёл плотный поиск, получает вклад только от BM25 и остаётся далеко внизу. Мы выбросили формулу слияния и оставили простое объединение пулов, а разбираться с порядком отдаём судье.