Зачем голосовому боту на LLM снова нужен классификатор вроде Jev

[infosave]

Спасибо за обзор! Я автор формата https://github.com/infosave2007/cmf и модели принятия решений https://huggingface.co/infosave/cmf-decision как раз метод роутинга на основе технологии, был применен в моем AIVPN ). Интересно, какой сценарий у вас самый критичный по задержке — routing или конец реплики? У меня есть OpenAI-совместимый эндпоинт, так что CMF можно воткнуть в существующий VoxEngine-пайплайн без переделок, и я могу прогнать бенчмарк на ваших задачах, если поделитесь примерами.

[Talos13]

Если вы уже пробовали Jev или его аналоги в голосовых ботах, расскажите в комментариях, какие пороги у вас прижились и что ломалось по дороге.

"реплика точно нам?"

Это вообще не решается сколько-нибудь эффективно с помощью одного лишь Jev без настоящей диаризации. двое в комнате, оба говорят в сторону микрофона - Jev даёт срабатывание на реплику, не адресованную ассистенту, и бот вклинивается. Или наоборот - не реагирует на то, на что должен. Само собой - зависит от размера модели, но важно и не усугубить скорость ответов.

Прототипирую нечто подобное тому что описано, на Kev. VAD + попытка опознать, к ассистенту ли обратились. Достичь удалось приблизительно всего того, что хочу от Алисы, причём с возможностью ручной подстройки порогов вмешательства и промптов, и интеграцией всего что мне нужно в отличии от закрытой экосистемы Яндекса.

Однако, при 2+ человеков в комнате без нормальной диаризации или отказа от Intervene (проактивное вмешательство) боюсь не поедет. Проверить на мультиспикере больше не могу, но хотя бы для пытающихся будет мой вывод.

Получается вполне себе "Джарвис", особенно с Toolhub. отвечает практически с той же скоростью что и Алиса.

Если к теме будет интерес - могу попробовать собрать отдельный материал. Здесь не хватит вайбкодинга, нужно уже иметь опыт и понимание VAD, wakewords, Jev, правильной классификацией и ручной подгонкой гиперпараметров. почему-то казалось что все уже так и делают, и рассказать мне нечего, а тут вон оно как)

[aylarov]

По мнению Justin Uberti, который занимается в OpenAI именно Realtime / Live темой, большие модели способны сами отделять основного говорящего от шума. Но пока их собственное решение не то чтобы это умеет делать.

[Talos13]

да-да) пока у них с этим проблемы. а моё локальное и того быстрее и качественнее обрабатывает barge-in - не исключаю что в usa их voice-to-voice тоже работает побыстрее, но в снг его можно и 5 секунд перебивать, пока не заткнётся. Спасибо за тренинг по перебиванию людей, OpenAI!

А смешки, поддакивания (экспрессивность, паралингвистика) у них реально сейчас красивые, базовые TTS конечно так круто ещё не умеют

[Saleswaveru]

Интересный материал, особенно про разделение: LLM говорит, а решения принимает быстрая типизированная модель.