Comments 10
Используете ли вы Jev в реальных рабочих проектах? Насколько он применим в качестве классификатора и роутера для ИИ-ассистента первой линии техподдержки - например, для определения темы и приоритета обращения, маршрутизации и необходимости эскалации? Интересно также, какова фактическая стоимость обработки одного обращения в продакшене. Пробовали ли вы архитектуру, в которой Jev маршрутизирует запрос, RAG извлекает контекст из базы знаний, а обычная LLM формирует ответ?
Интересно было бы посмотреть сравнение с чем-то вроде gemma-4-E4B-it
Еще было бы классно сюда добавить сравнение с DiffusionGemma. Западные блогеры сейчас распиарили это как альтернативу JEV. Хочется увидеть, насколько это действительно рабочий вариант.
Спасибо за наводку! По описанию Google, DiffusionGemma генерирует текст блоками, обрабатывая несколько позиций параллельно. Интересно проверить, какой выигрыш это даст именно здесь, где ответ - одна категория или короткий JSON. Высокая скорость генерации текста ещё не говорит, сколько займёт весь такой запрос. Поэтому сравнение действительно имеет смысл.
Интересная статья, спасибо. Вопрос - почему не использовали новую, ранее не виденную моделями выборку? Сохранятся ли результаты на реальных данных?
Спасибо! Для статьи я подготовил 50 синтетических комментариев и перевёл их на английский, а не использовал готовый публичный бенчмарк. В тесте заметил, что "похвала" и "обратная связь" пересекаются по смыслу. Уточнил категории и заново прогнал все модели на тех же комментариях. Новую выборку после этого не делал, на реальных данных пока не проверял.
Используете ли вы Jev в реальных рабочих проектах? Насколько он применим в качестве классификатора и роутера для ИИ-ассистента первой линии техподдержки - например, для определения темы и приоритета обращения, маршрутизации и необходимости эскалации? Интересно также, какова фактическая стоимость обработки одного обращения в продакшене. Пробовали ли вы архитектуру, в которой Jev маршрутизирует запрос, RAG извлекает контекст из базы знаний, а обычная LLM формирует ответ?
В рабочих проектах Jev пока не использую, потому что он проприетарный. Присматриваюсь к открытым аналогам, например Laya. Экспериментально пробовал связку Jev + LLM на лидах. Jev распределяет их по группам, а если сомневается, подключается большая LLM. Дальше лиды обрабатывают LLM-агенты. Возможно, напишу об этом отдельно. Не всегда нужен ответ за доли секунды, а вот длинная история переписки может не поместиться в контекст Jev.
Здесь вы тестировали RU и EN по отдельности, оба перевариваются. Но в жизни часто бывает смешанный state. Вы пробовали тесты, где анализируется сообщение на русском а instructions и criteria на английском?
Jev и обычные LLM: сравниваем качество, скорость и стоимость