Когда речь идет о нейросетях, мы представляем некого нашего ассистента, который пишет условно скажем какой‑то текст. Но есть модели, которые устроены иначе. Которые не генерируют слова, а придуманы для решения проблем. Быстро, дешево и что самое интересное, с указанием вероятности. Одна из таких моделей — Jev. Она не поддерживает диалог, не ответить вам на вопросы и не объясняет вам свои ответы. Предназначение этой модели в другом. Она получает данные и список вопросов, и выдает вам вероятность для каждого варианта. Простыми словами, это умный переключатель для программ. И посреди тысячи мелких задач и принятие решений в день, модель раскрывается лучше всего.
Что такое Jev?
Jev — модель от стартапа TypеSafe AI которую создал исследователь Диогу Алмейда. На секундочку, он участвовал в разработке ChatGpt и RLHF. Данная модель не работает как обычные нейросети. Она не генерирует слова или предложения, или не придумывает того чего нет и не было. А что же тогда умеет Jev?
Допустим вы отправляете в модель какие‑то данные. Текст письма, лог сервера, состояние заказа и так далее. Задаете список вопросов с вариантами ответов. Она сама обрабатывает все вопросы параллельно выдает тебе ответы с вероятностями.
Представьте интернет‑магазин. В службу поддержки приходит письмо, что мол заказ «N55342» не пришел, а деньги списались. Верните мне деньги! В это время Jev приступает к работе, код отправляет жалобу в модель и задает вопросы:
1. Тема обращения — жалоба, доставка, возврат ит.д
2. Срочность — от 0 до 10
3. Злой ли клиент? — «да» или «нет»
И за доли секунды модель выдает вам ответы на данные вами вопросы:
1. Доставка (90%)
2. 7,8
3. Да (76%)
Дальше код смотрит на вероятности. Если допустим, тема определена с вероятностью выше 85, обращение уходит в соответствующий отдел. Если срочность выше 8, помечается как приоритетная. А если заказчик «злой» с вероятностью выше 80%, подключается уже сам человек. Вся обработка занимает меньше секунды и значительно улучшает эффективность целого отдела или даже бизнеса. Данная модель поддерживает 3 формата запросов.
— Choice. Выбор из заданного списка. Например, «В какой отдел направить жалобу?» Варианты: Платежи, Доставка, Техподдержка.
— Score. Оценка по шкале. От 0 до 10
— Noul. Ответ «да» или «нет» с вероятностью.
Уверенность
Обычная языковая модель может написать «Я уверен, что это техническая проблема». Но это всего лишь слова который он сгенерировал. Она может быть уверена на 10% или на 99%, но все равно напишет одинаковый ответ. А Jev выдает ответ с вероятностью, не просто генерирует текст а указывает, насколько процентов он уверен в своем ответе. Языковая модель напишет: «Я уверен, это техническая проблема», а Jev что «Я уверен, что это техническая проблема (88%)». Эта модель позволяет строить систему с предохранителями. То есть, если уверенность выше 85%, можно действовать автоматически. Если в пределах 45–85%, то надо еще раз перепроверить. Ну а если ниже 45%, то лучше подключить сюда человека. Пример кода:
def route_request(confidence, choice): confidence: уверенность модели от 0 до 10 choice: выбранный вариант if confidence > 0.85: return f"Автоматически направить в {choice}" elif confidence > 0.55: return f"Перепроверить: {choice}" else: return "Отправить человеку"
Примеры из бизнеса
Самое интересное не технические аспекты, а как в реальной жизни, в реальном бизнесе уже применяют эту модель. Про обработку обращений я вам уже рассказал, давайте что‑то поинтереснее.
— Маршрутизация задач. Агенты, так я называю ИИ программы, часто должны решать какой инструмент использовать дальше или какую модель применить к данной или иной задачи, нужно ли передавать управление человек и так далее. Vercel, компания заменила языковую модель на Jev.
Результат — 5–15 раз быстрее.
— Анализ рекламы и маркетинга. Мэтью Берман использовал эту модель для анализа более 700 рекламных объявлений от более 30 брендов. Систему он настроил так что модель разделял каждый креатив по параметрам. Тип, формат, предложение, призыв к действию и так далее
Стоимость — 9 центов.
Почему Jev быстрее чем языковые модели?
Разница в строении модели. Языковые модели генерируют слова последовательно. То есть, надо сгенерировать 100 слов, это займет 100 действий. Jev генерирует ответ параллельно. Он не пишет текст, а возвращает вероятности для всех вариантов. Разработчики заявляют о скорости в 100 раз быстрее и стоимости до 400 раз ниже.
Не надо путать языковую модель и модель Jev. Он не заменяет языковую модель, Jev выступает в роли диспетчера, который решает где можно потратить ресурсы а где можно сэкономить на них. В бизнесе это важно. Где ежедневно тысячи задач, где им нужно принимать решение быстро и с большой вероятностью на успех, данная модель пока что подходит лучше всего. Именно поэтому его можно встроить туда, где обычные модели тупо не успевают, где нужна быстрота и четкость в решении задач.
