Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 6
Интересно было бы посмотреть сравнение с чем-то вроде gemma-4-E4B-it
Еще было бы классно сюда добавить сравнение с DiffusionGemma. Западные блогеры сейчас распиарили это как альтернативу JEV. Хочется увидеть, насколько это действительно рабочий вариант.
Спасибо за наводку! По описанию Google, DiffusionGemma генерирует текст блоками, обрабатывая несколько позиций параллельно. Интересно проверить, какой выигрыш это даст именно здесь, где ответ - одна категория или короткий JSON. Высокая скорость генерации текста ещё не говорит, сколько займёт весь такой запрос. Поэтому сравнение действительно имеет смысл.
Интересная статья, спасибо. Вопрос - почему не использовали новую, ранее не виденную моделями выборку? Сохранятся ли результаты на реальных данных?
Спасибо! Для статьи я подготовил 50 синтетических комментариев и перевёл их на английский, а не использовал готовый публичный бенчмарк. В тесте заметил, что "похвала" и "обратная связь" пересекаются по смыслу. Уточнил категории и заново прогнал все модели на тех же комментариях. Новую выборку после этого не делал, на реальных данных пока не проверял.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Jev и обычные LLM: сравниваем качество, скорость и стоимость