Что такое платформа оркестрации Voice AI
6 мин
Обзор
Перевод
Платформа оркестрации голосового ИИ (VAIOP, Voice AI Orchestration Platform) — важнейший управляющий уровень для создания голосовых ИИ агентов и их подключения к коммуникационным системам. Такие платформы дают возможность управлять выбором больших языковых моделей (они же LLM) и систем для обработки и синтеза речи, координируют обработку реплик (VAD и turn-taking), управляют аудио потоками, обрабатывают вызовы внешних функций, обеспечивают соблюдение требований к инфраструктуре, в итоге позволяя внедрять надёжные масштабируемые решения для голосовых агентов в реальном бизнесе.
Не так давно Skype анонсировал реал-тайм перевод во время видеообщения с собеседником. Эта тема уже давно не дает покоя человечеству: многие помнят фильм «Автостопом по галактике» и Babel fish. Мы решили разобраться, как сделать это существо на Voximplant. Описание и демка – под катом.
Наша облачная платформа Voximplant — это не только телефонные и видео звонки. Это еще и набор «батареек», которые мы постоянно улучшаем и расширяем. Одна из самых популярных функций: возможность синтезировать речь, просто вызвав JavaScript метод say во время звонка. Разрабатывать свой синтезатор речи — на самая лучшая идея, мы все-таки специализируемся на телеком бэкенде, написанном на плюсах и способном обрабатывать тысячи одновременных звонков и снабжать каждый из них JavaScript логикой в реальном времени. Мы используем решения партнеров и внимательно следим за всем новым, что появляется в индустрии. Хочется через несколько лет отойти от мема «Железная Женщина» :) Статья, адаптированный перевод которой мы сделали за эти выходные, рассказывает про WaveNet, модель для генерации звука (звуковых волн). В ней мы рассмотрим как WaveNet может генерировать речь, которая похожа на голос любого человека, а также звучать гораздо натуральнее любых существующих Text-to-Speech систем, улучшив качество более чем на 50%.
Однажды к нам постучись за помощью – сделать сервис-рацию. После продолжительных поисков клиенту не удалось найти подходящее решение, поэтому он обратился в 
Недавно мы запустили новый функционал на нашей платформе VoxImplant, который позволяет делать 
В последнее время мы были заняты работой над большим обновлением VoxImplant, которое должно сделать платформу еще более гибкой и удобной для разработчиков коммуникационных сервисов. Количество новых функций достаточно большое, поэтому будем рассказывать о них по-порядку и начнем с месседжинга и презенса. Так как банальное описание функционала мало кому интересно, то сразу разберем пример создания приложения для внутрикорпоративных коммуникаций с использованием популярного ReactJS и Flux. Это позволяет достаточно оперативно сделать более-менее сложное приложение, ну и заодно показать как использовать VoxImplant при таком подходе. Presence у нас тоже с некоторыми интересными особенностями, про которые мы расскажем более детально и объясним потом зачем это может быть нужно.
В современном мире мобильные устройства уже стали популярнее чем PC и давно обогнали их по продажам. Первую версию мобильного SDK для VoxImplant мы делали, используя свои предыдущие наработки, а именно SDK для Zingaya, но требования и функциональные возможности VoxImplant существенно шире, поэтому у нас не было другого выбора кроме как сделать новую версию SDK. Эта версия получила полную поддержку WebRTC, что позволило нам дать разработчикам полный функционал Web SDK, включая видео звонки, peer-to-peer и другие полезные функции. Подробнее о создании новой версии SDK и новых возможностях под катом.
В современном мире компании используют большое количество каналов привлечения клиентов: контекстная реклама, баннерная реклама, реклама на радио или ТВ, наружная реклама и так далее. В каждом из этих каналов еще могут присутствовать параметры размещения, например, ключевые слова или площадки. Реклама — дело затратное и у бизнеса возникает понятное желание изучить эффективность тех или иных каналов и площадок. В случае онлайн-продаж все более-менее просто и отработано, есть специальные метки и cookie, которые цепляются к браузеру клиента и, когда он совершает покупку, Google/Yandex/любая другая система выдает вам информацию о том что клиент пришел из определенного канала по каким-то определенным ключевым словам. Но не все компании продают товары или услуги онлайн, многие до сих пор делают это по телефону, у каждого бизнеса своя специфика и телефон как канал продаж до сих пор не утратил своей актуальности. Для анализа эффективности маркетинговых каналов в случае телефонных продаж используется call tracking, дальше мы рассмотрим типы колл-трекинга и расскажем о том как его можно реализовывать.
При звонках в колл-центр компаний часто приходится сталкиваться с большим временем ожидания на линии, многие из нас слушали надоедливую мелодию в течение десятков минут хотя бы раз в жизни. Самое интересное заключается в том, что это совершенно невыгодно компании в колл-центр которой вы звоните, особенно если вы звоните на номер 8-800. К счастью, уже давно придуман способ, позволяющий решить данную проблему — это callback или обратный вызов. Суть этого способа очень простая: позвонившему предлагают отключиться от колл-центра при этом его номер так и остается в очереди на обслуживание и как только его очередь подойдет, то ему автоматически наберут и соединят с оператором, на которого распределился его звонок. Таким образом убиваем сразу несколько зайцев: не занимаются линии колл-центра, не тратятся дорогостоящие минуты 8-800, а клиенты не испытывают лишнего раздражения в ожидании ответа. Вендоры колл-центрового ПО хотят за такую функцию весьма приличных денег, а мы под катом расскажем как данный функционал достаточно просто и быстро реализуется с помощью платформы VoxImplant.
Не секрет, что большинство современных мобильных операторов отправляет звонок в голосовую почту в ряде случаев, которые могут быть самыми разными в зависимости от подхода к этому вопросу самого оператора, а также пользовательских настроек. В этой функции нет ничего плохого, но она может мешать в случае реализации ряда телефонных сценариев, когда важно соединить оператора именно с человеком, а не отправить его общаться с голосовой почтой. Во-первых, это может приводить к дополнительным затратам на телефонию, а также впустую тратить время операторов, что тоже приводит к лишним финансовым издержкам. При разработке платформы VoxImplant мы исходили из того, что какие-то из клиентов захотят сделать на ее базе колл-центр и данная проблема будет для них актуальна, поэтому решили изучить какие есть способы борьбы с данной проблемой и какие сложности могут возникать. Начали мы с изучения поведения голосовой почты наших операторов большой тройки (МТС, Билайн, Мегафон).
Приближается новый 2015 год и мы, немного поразмышляв, решили развлечь людей и заодно реализовать идею новогоднего колл-центра с 
Организация очередей звонков и распределение звонков по операторам является одной из основных задач колл-центра, обслуживающего входящие вызовы, когда количество вызовов превышает количество доступных операторов (стандартная ситуация для большинства колл-центров). Звонящего ставят в очередь под определенным номером, о чем ему сообщает IVR, и проигрывают музыку, переодически рассказывая об изменении места в очереди и предполагаемом времени ожидания (до того как ответит оператор). Если повезет, то музыка будет приятной, а ожидание не слишком долгим. Хотите узнать как быстро организовать колл-центр с описанным функционалом, не влезая в дебри и сложности IP-телефонии — добро пожаловать под кат.
Стандартный сценарий, который нужно реализовывать многим бизнесам — IVR-меню при входящем звонке, которое позволяет или получить какую-то информацию или связаться с конкретным сотрудником или оператором компании. Звонящий может управлять меню либо нажимая кнопки на телефоне (DTMF), или даже голосом (ASR). Так как платформа VoxImplant позволяет быстро писать и отлаживать сценарии обработки вызовов на Javascript, то мы решили рассказать как можно за несколько минут улучшить восприятие вашего бизнеса клиентами, сделав удобное и технологичное IVR-меню. К тому же, вы сможете грамотно распределять нагрузку на вашу телефонную систему и сотрудников. За деталями, как обычно, добро пожаловать под кат.