Jev: модель, которая не пишет текст, а принимает решения

[ToxaBes]

Это уже наверное шестая статья подряд о Jev без сравнения с альтернативами. Я не буду говорить о том что это же можно сделать самому из обычной модели, но ведь есть же открытые решения, доступные для локального запуска, которые уже сопоставимы (а кое-где и обходят) Jev:

1. Kev - дообученный Qwen под тоже самое, что и Jev. Есть разные размеры 2/4/8/27B, модель Kev-27B по тестам догнала Jev.

2. Julia от SupersonicLabs - ультралегкая открытая модель, обучена с нуля на базе mmBERT-small. Имеет всего 144.3M параметров, что позволяет использовать ее на процессоре.

[amorev]

Спасибо! как раз искал варианты похожие)

[amorev]

Изучил. Не подойдет. kev не обучена на русский текст, а julia лимит до 20 опций на вызов. Для браузерного агента не подойдет и вообще для вариантов, где много опций.

Будем ждать когда появятся локальные аналоги помощнее)

[ToxaBes]

Изучил. 

Не уверен :) сейчас обьясню:

kev не обучена на русский текст,

Он на базе Qwen, который знает русский, зачем его дообучать русскому языку?

julia лимит до 20 опций на вызов.

Из документации Larger choice sets:

from julia.router import Router, FastEngine
router = Router(FastEngine('/path/to/checkpoint', device='cuda'), survivors=2)
result = router.route(row_with_up_to_4096_options)

4K вариантов достаточно?

[ShiWarai]

kev отлично работает с русским языком. Там база - Qwen 3.5 0.8B, которая работает с русским языком из коробки.

[ENick]

Запускали Kev в Win10/11?

[DoctorCat92]

Уверен под капотом обычная llm, т.к. вообще то llm делают то же самое. Они могут на вопрос отвечать одним словом и выполнять сортировку текста по категориям и т.д. причем достаточно быстро.

Я например сортирую отзывы в стиме с помощью gemma, которая работает локально.

[True_form]

Гвозди можно заливать микроскопом, значит ли это, что в микроскопе молоток?