Закрытый Jev против открытой Laya: сравниваем decision-модели в RAG-реранжировании

[AndrewGanzha]

Круто, спасибо!

[danilovmy]

Опоздали с Laya. Вышел Jeff. Ещё быстрее Jev и локально. Это дообученная Qwen https://github.com/firelex/jeff работает быстро даже на CPU (у меня Huawei простенький)

[AleGen]

А что скажете про новую Julia-1?

Может быть имеет смысл расширить список рабов Jeff'ом и Julia-1?

[NullPilot]

Список кандидатов растет быстрее, чем я успеваю их прогонять. Julia-1 - любопытный случай: 144 млн, mmBERT и все локально. На фоне Laya у нее есть шанс выглядеть заметно лучше.

[ToxaBes]

Огромное вам спасибо за качественный обзор!

Жаль только, что аналоги сейчас выходят быстрее чем есть возможность протестировать и свести все в одну таблицу, интересно было бы почитать общий тест с Kev, Jeff, Julia и тд.

[NullPilot]

Спасибо! С таким темпом общая таблица устареет раньше, чем допишется. Kev, Jeff и Julia-1 - первые кандидаты. Наборы и код открыты, так что продолжить можно без переделки - https://github.com/stemirkhan/jev-laya-benchmarks

[akakoychenko]

Эх… Jev, кажется, отличный пример, как сделать локальную революцию, да пользователю именно то, что он хочет, а не то, что случайно выкатилось из задней двери исследовательской лаборатории, и, при этом, вообще не иметь защитного рва.

Ведь, в отличии от sota, тут размер модели ограничен самой постановкой задачи, а, увы, зная путь, повторять маленькие модели отлично умеют как коммерческие, так и некоммерческие конкуренты.

PS: ну и да, ожидаю, что след шагом будут модели оценщики для определенных отраслей. Условно, jev для кодинга на go, jev для юридических документов на французском и т.д.