vitaliy-trenkenshu Sep 21 at 11:45

Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов

Medium

15 min

10K

Machine learning * Natural Language Processing * Big Data * *nix *

Analytics

From sandbox

+11

Comments 13

sfirestar Sep 21 at 12:05

Исследование интересное, но как же в глаза бросается нейроночность текста... Обрывистый стиль Claude нейронок сразу узнается.

vitaliy-trenkenshu Sep 21 at 14:13

Так точно, с Клодом писал. Добавил в ЗЫ.

ToxaBes Sep 21 at 13:16

Сравнивал на 928 позициях из технических спецификаций госзакупок

Давайте проведем эксперимент, выложите пожалуйста их списком куда-нибудь вместе с сылкой на используемый ОКТРУ, а я сделаю независимую проверку и напишу о результатах здесь или в отдельной статье.

vitaliy-trenkenshu Sep 21 at 14:18

https://github.com/redflags-ai/oktru2-techspec-928 — 928 позиций техспецификаций госзакупок с кодами ОКТРУ и 30-ю кандидатами из ретрива, справочник ОКТРУ там же для удобства, ну или можно официальный скачать тут: https://www.ksm.kz/ru/info/oktru/

ToxaBes Sep 21 at 14:19

Большое спасибо!

ToxaBes Sep 24 at 10:38

Меня опередили и дообучили модель.

vitaliy-trenkenshu Sep 29 at 06:43

Я тестировал kev, а также SemIf , Laya, jev, jeff. SemIf ближе всех подобрался к Jev по точности (0.797 против 0.861) на этой задаче.

ToxaBes Sep 29 at 10:33

Спасибо, что поделилсь.

ENick Sep 22 at 09:15

"Английский как основной язык модели. На русских описаниях товаров она сработала лучше всех, но это один домен и один язык." А как решали вопрос с казахским языком? В доках Qwen казахский язык в списке рабочих языков.

vitaliy-trenkenshu Sep 22 at 11:16

Техспеки на двух языках всегда, поэтому мы подаём только русский вариант ТС. С казахским все модели показывают метрики хуже и ретрив работает слабее, так что мы в проде отказались от казахского языка в этапах ретрива и реранка.

Bucherland Sep 22 at 16:03

латенси на позицию.

Анбеливибл)

Jiablero Sep 23 at 06:22

Также можно брать для обычной LLM max_tokens по минимальному разнообразию вариантов выбора (вероятно 1 раз у вас 30 позиций подаются на вход), брать логиты и считать софтмакс по ограниченному словарю. Получится примерно тот же Jev-подобный вывод, но на той же модели которую вы уже используете в проде, с примерно той же экономией на decode и kv-cache, что еще и позволит увеличить количество одновременныз воркеров если вы это делаете на своем железе.

vitaliy-trenkenshu Sep 25 at 10:02

Как я понял, некоторые OSS-аналоги Jev примерно так и устроены, SemIf например (Qwen3.5-4B по сути).

Я тестировал SemIf , Laya, kev, jev, jeff. SemIf ближе всех подобрался к Jev по точности (0.797 против 0.861) на этой задаче.