WebRTC упростил (в большинстве своем) получение и отправку видеопотоков в реальном времени. А значит, можно немного поразвлекаться с ними при помощи машинного обучения. В прошлом месяце я показал, как запустить компьютерное зрение (Computer Vision – CV) локально в браузере. Как я уже упоминал, локально – это, конечно, хорошо, но иногда требуется более высокая производительность, и для этого нам понадобится удаленный сервер. В данном посте я расскажу о том, как запускать серверные модели OpenCV с аппаратным ускорением на чипсетах Intel с помощью Open WebRTC Toolkit (OWT) с открытым исходным кодом.

Эта статья является частью специального выпуска VB. Читайте полную серию здесь: AI and Security.

Количество дипфейков – медиа, которые берут существующее фото, аудио или видео и заменяют личность человека на нем на чужую с помощью ИИ – очень быстро растет. Это вызывает беспокойство не только потому, что такие подделки могут быть использованы, чтобы влиять на мнения людей во время выборов или впутывать кого-то в преступления, но и потому, что ими уже злоупотребляли для создания фейкового порно и обмана директора британской энергетической компании.

Для телеграма разработали SIP-коннектор (@siptg). Voximplant – это платформа телефонии. Правильно, они могут прекрасно работать в паре и сегодня мы покажем, как. Добро пожаловать под кат!

Ученый работает над вакциной против COVID-19 в Университете Копенгагена. Дания, 23 марта 2020.

Всего за 10 дней количество заболевших COVID-19 увеличилось более чем вдвое – 153 тысячи 14 марта против 372 тысяч 24 марта. Даже с учетом совместных усилий и ресурсов китайских экспертов и «Врачей без границ», высокая скорость распространения вируса в Италии привела к полному заполнению больниц, невозможности принимать новых пациентов в реанимацию и, как следствие, повышенной смертности по сравнению с другими странами.

Мы долго готовили обновление Smartcalls – визуального редактора для исходящих звонков – и вот оно случилось. Сегодня под катом расскажем про UI/UX-изменения и залезем под капот деморежима, чтобы показать, как мы приручали JointJS.

Наши клиенты и читатели блога знают про Dialogflow – платформу для создания умных ботов. Именно Dialogflow лежит в основе Contact Center AI (далее CCAI) от корпорации добра. Схематично стек технологии равен DialogFlow + WaveNet (text-to-speech) + voice recognition (speech-to-text), на выходе оно расширяет возможности обычного колл-центра, а именно позволяет оказывать более персонализированные услуги поддержки. Как именно? Рассказываем под катом и даем примеры успешной интеграции, добро пожаловать!

Суперреалистичные цифровые люди из проекта Neon – настоящие. Ну, вроде того. И да, не спрашивайте у них прогноз погоды…

Загадочная компания, выросшая из Samsung Technology и Advanced Research Labs (STAR Labs), показала себя на выставке CES 2020 в Лас-Вегасе с 7 по 10 января. Они презентовали технологию Neon – «виртуальное существо, которое выглядит и ведет себя как человек, проявляет эмоции и разумность». По сути, Neon создает видеочат-ботов (далее – неоны), которые выглядят как настоящие люди; это не всезнающие ассистенты, андроиды, заменители или копии людей, Они не расскажут вам о погоде или когда умер Авраам Линкольн. «Неоны – это не ИИ-ассистенты, они больше похожи на нас. Это независимые, хоть и виртуальные, существа, которые учатся на собственном опыте. Они не знают всего на свете и они – не интерфейс для доступа в Интернет, чтобы уточнять, какая погода за окном или включать вашу любимую музыку», – говорят в компании.

CIMON – Crew Interactive Mobile CompanioN (далее «Саймон») – научная разработка аэрокосмического агентства Airbus и IBM, спонсированная германским центром авиации и космонавтики DLR. В прошлом году его впервые испытали «в бою» на МКС, а в этом месяце начали испытание второй версии помощника. Так как нам интересно все, что связано с высокотехнологичными и прорывными коммуникациями – например, мы уже писал про работу с IBM Watson – то мы не смогли пройти мимо этой новости и подготовили перевод-компиляцию из нескольких зарубежных материалов, чтобы понять самим и сообщить вам – зачем астронавтам условная Алиса/Алекса/{you name it}? Под катом вас ждет хронология событий, цитаты сопричастных и небольшой вывод. Приятного чтения!

WebSocket — это прогрессивный стандарт полнодуплексной (двусторонней) связи между клиентом и сторонним сервисом в режиме реального времени. Веб-сокеты используются для организации непрерывного обмена данными без дополнительных HTTP-запросов.

И мы рады сообщить вам, что все это стало возможным в Voximplant благодаря новому модулю VoxEngine, который называется – сюрприз – WebSocket. Отныне вы сможете передавать текст и аудио, пользуясь преимуществами веб-сокетов в полной мере. Проще говоря, у вас появился еще один инструмент, чтобы прокачать ваше приложение.

Из этой статьи вы узнаете, как создать исходящее WebSocket-соединение, передать через него аудиопоток и преобразовать его в текст с помощью Google Cloud Speech-to-Text API.

Тот, кто разрабатывает на Voximplant, знает о концепции «приложений», которые связывают друг с другом облачные сценарии, телефонные номера, пользователей, правила и очереди звонков. Проще говоря, приложения – это краеугольный камень разработки на нашей платформе, входная точка в любое решение на основе Voximplant, так как именно с создания приложения все и начинается.

Раньше приложения «не помнили» ни действия, что выполняют сценарии, ни результаты вычислений, так что разработчики были вынуждены сохранять значения в сторонних сервисах или на своем бэкенде. Если вы когда-либо работали с local storage в браузере, то наша новая функциональность весьма похожа на это, т.к. позволяет приложениям запоминать пары «ключ-значение», которые уникальны для каждого приложения в вашем аккаунте. Работа хранилища стала возможна благодаря новому модулю ApplicationStorage – под катом вас ждет краткое руководство по его использованию, welcome!

Сегодня стриминг-платформы на пике популярности, так как миллионы талантливых людей регулярно делятся своими знаниями – читай, используют стриминг на всю катушку. Так как этот рынок растет, то существует и масса приложений, которые могут стримить видео в реальном времени, используя камеру смартфона или ноутбука. Возможно, вы тоже хотите внедрить в ваше приложение такую функциональность; если так, то спешим обрадовать – теперь Voximplant позволяет прокидывать видеозвонки по RTMP в любой CDN, который поддерживает этот протокол.

Эта функциональность стала возможна благодаря новому модулю Voxengine – StreamingAgent. Под катом вас ждут 5 шагов по настройке этой интеграции, добро пожаловать!

Как известно, осень — время конференций. Мы уже в четвертый раз проводим собственную ежегодную конференцию про коммуникации и их автоматизацию, и приглашаем вас принять в ней участие. Конференция, по традиции, состоит из двух потоков и нескольких специальных событий.

Мы немного поменяли формат участия в мероприятии: это первый год, когда участие в конференции бесплатное для всех желающих, но регистрация обязательна. Будем ждать вас 14 ноября в ЦДП (Цифровое Деловое Пространство, Москва, м.Курская, ул. Покровка, 47).

Последние достижения в области глубокого обучения привносят существенные улучшения в развитие систем синтеза речи (далее – TTS). Это происходит благодаря применению более эффективных и быстрых методов изучения голоса и стиля говорящих, а также благодаря синтезу более естественной и качественной речи.

Нет времени объяснять, вот главные постулаты сегодняшнего перевода:

• чат-боты не имеют предельных издержек и продают в 4 раза больше, чем люди;
• вероятность продажи падает на 79%, если люди понимают, что говорят с роботом;
• потребители воспринимают роботов как менее компетентных и эмпатичных.

Под катом – подробности исследования и инсайты от ученых. Приятного чтения!

Возможно, вы слышали или читали про функцию Call Screening, которую Google выкатил для своих телефонов Pixel в США. Идея отличная – когда вам поступает входящий звонок, то виртуальный ассистент начинает общаться, в то время как вы видите этот разговор в виде чата и в любой момент можете начать говорить вместо ассистента. Это очень полезно в наши дни, когда почти половина звонков – это спам, но при этом вы не хотите пропускать важные звонки от кого-то не из вашего списка контактов. Единственная загвоздка – эта функциональность доступна только на телефоне Pixel и только в США. Что ж, препятствия существуют, чтобы их преодолевать, верно? Поэтому мы решили рассказать, как сделать подобное решение, используя Voximplant и Dialogflow. Прошу под кат.

Расскажем, как финтех-проект группы QIWI — карта беспроцентной рассрочки «Совесть» — перевел часть разговоров контакт-центра на робота, который не только отвечает на вопросы, но и сам задает их при исходящих обзвонах. Статья про применение на практике HTTP-запросов, синтеза речи и распознавания голоса.

Zabbix – умный, гибкий, кастомизируемый – умеет все. Или почти все. Было бы странно, если бы он не мог подружиться с облачной телефонией, особенно когда у последней есть удобное HTTP API – пользуйся на здоровье. Сегодня мы наглядно покажем, как настроить Zabbix для звонков-уведомлений через Voximplant, что может быть очень кстати в экстренном случае («нет времени объяснять, нужно звонить – боевой сервер упал только что»).

За основу взят кадр из х/ф «Матрица» (The Matrix (1999), Warner Bros.)

Внимание: туториал подразумевает, что у вас уже есть работающий Zabbix и настроен Zabbix frontend. Первичная установка Zabbix не является целью этой статьи, любопытные/нуждающиеся в таком руководстве могут посмотреть официальную документацию и/или погуглить.

Распознавание эмоций всегда было захватывающей задачей для ученых. В последнее время я работаю над экспериментальным SER-проектом (Speech Emotion Recognition), чтобы понять потенциал этой технологии – для этого я отобрал наиболее популярные репозитории на Github и сделал их основой моего проекта.

Прежде чем мы начнем разбираться в проекте, неплохо будет вспомнить, какие узкие места есть у SER.

В июне в Амстердаме прошлая очередная APIDays – конференция для всех, кто так или иначе создает и пользуется различными API. Темой конференции стал «расцвет контекстуальных коммуникаций», то есть коммуникаций, в которых обе стороны сразу и полностью понимают контекст общения. Звучит абстрактно, поэтому пара примеров: вам звонят с незнакомого номера. Соответственно, вы не знаете, кто звонит, откуда и с какой целью. И напротив, если вы делаете какую-то операцию в приложении интернет-банкинга и на каком-то шаге что-то пошло не так, вы можете прямо с этого шага позвонить в поддержку – контекст ситуации с ходу будет ясен как вам, так и оператору. Чтобы обеспечивать такую осведомленность, бизнесы используют коммуникационные платформы (CPaaS, Communications Platform as a Service), а те, в свою очередь, используют AI и Machine Learning. Именно об этом и рассказывал наш CEO Алексей Айларов, выступая на APIDays, а сегодня мы публикуем адаптацию июньского выступления.

Вступление от Voximplant

Да, мы не впервые пишем про AV1 – у нас уже был перевод про Chrome 70 с поддержкой кодека, и вот мы снова делимся новостями. В этот раз – слово Nathan Egge, старшему инженеру Mozilla и участнику фонда Xiph.org, который порадовал новостью про дефолтную поддержку AV1. Трудно переоценить важность этого кодека для современных стриминговых сервисов, равно как и для real-time приложения для аудио/видеосвязи. Почему dav1d, чем он отличается от первого декодера AV1, немного графиков из бенчмарков и прогноз на будущее – коротко и по делу, прошу под кат.