Голосовые интерфейсы *

Аудиоинтерфейсы окружают нас повсюду: в виде голосовых помощников, навигационной системы в автомобиле и общественном транспорте. Их давно используют в военной технике — речевые информаторы передают команды и подсказки экипажу самолетов с середины двадцатого века.

Военные летчики США прозвали инструменты голосового оповещения «Bitchin’ Betty» — «Стервозной Бетти» — за их требовательную интонацию. Сегодня расскажем об аналогах «Бетти» и разберемся, почему в аудиоинтерфейсах женские голоса встречаются чаще мужских.

10 октября 2019 — второй день рождения Алисы. Популяризируя технологии голосовых ассистентов, Яндекс продолжает ежемесячно раздавать деньги разработчикам голосовых приложений в конкурсе “Премия Алисы”.

В погоне за премией разработчикам могут пригодиться замечания автора “Ассоциаций на время”, получивших в сентябрьском конкурсе 1-е место и 100000 ₽ в категории “Игры и развлечения”.

Начнём с новостей. Вчера Яндекс.Облако анонсировало запуск сервиса бессерверных вычислений Yandex Cloud Functions. Это значит: ты пишешь только код своего сервиса (например, веб-приложения или чатбота), а Облако само создаёт и обслуживает виртуальные машины, где он запускается, и даже реплицирует их, если возрастает нагрузка. Думать вообще не надо, очень удобно. И плата идёт только за время вычислений.

Впрочем, кое-кто может вообще не платить. Это — разработчики внешних навыков Алисы, то есть встроенных в неё чатботов. Написать, захостить и зарегистрировать такой навык может любой разработчик, а с сегодняшнего дня навыки даже не надо хостить — достаточно залить их код в облако в виде той самой бессерверной функции.

Но есть пара нюансов. Во-первых, ваш питонячий код может требовать каких-то зависимостей, и затаскивать их в Облако — нетривиально. Во-вторых, любому нормальному чатботу нужно хранить где-то состояние диалога (stateful поэтому); как сделать это в бессерверной функции проще всего? В третьих, а как вообще можно быстро-грязно написать навык для Алисы или вообще какого-то бота с ненулевым сюжетом? Об этих нюансах, собственно, статья.

Здравствуйте, меня зовут Дмитрий Карловский и я иногда выступаю на конференциях, митапах, а так же с недавних пор сам вхожу в команду организаторов одного из них — PiterJS. Недавно у нас был юбилей — 40 проведённых митапов. Но вместо того, чтобы расслабиться и получать поздравления, мы запарились и сами подготовили доклады от организаторов.

Но и этого нам мало, поэтому мы решили отметить юбилей по крупному, организовав конференцию на берегах Невы PiterJSConf, которая пройдёт уже в эту субботу 7 сентября 2019. Спешите записываться, пока ещё есть свободные места, ведь участие в ней для вас будет совершенно бесплатно.

Мы всё это делаем не за деньги, а за великую идею, что знания должны быть бесплатны. Поэтому всё, что мы делаем, доступно в Open Source. Мы с радостью делимся своими наработками, знаниями и опытом с другими. И призываем к сотрудничеству организаторов из других городов для создания открытой платформы организации технологических митапов на регулярной основе. Присоединяйтесь к нам в качестве организатора, партнёра, докладчика, волонтёра, патрона или просто слушателя.

А пока, предлагаю вам рассказ про веб приложение для проведения презентаций $hyoo_slides, которое я использую для всех своих выступлений. Видеозапись доступна на YouTube, но там не всё. Можете читать этот рассказ как статью, так и открыть в интерфейсе самого приложения. Далее я расскажу вам, сколько всего оно умеет, и как работает.

В этой статье речь пойдёт о голосовых интерфейсах (Voice User Interface — VUI), а также будет показано, как на Node.js можно создать приложение (навык — в терминологии платформы Яндекс.Диалоги) для голосового помощника Алисы. С помощью стороннего API наше приложение будет получать цитаты известных людей и передавать Алисе, а та, в свою очередь, зачитывать их пользователям. Также рассмотрим и один из немногих способов монетизации таких приложений — создание кнопки донации (donation — пожертвование). В общем, все должны остаться довольными.

UX и UI-дизайнеры всё ещё со скепсисом смотрят в сторону голосовых интерфейсов. Одним кажется, что это маркетинговый хайп, который скоро сойдёт на нет. Другие не пользуются голосовыми ассистентами и поэтому уверены, что голос — это неудобно и неестественно. Но пока они сомневались, сложилась самостоятельная профессиональная сфера — со своими секретами, паттернами и механиками (и даже рынком труда). Вместе с UX-архитектором Just AI Екатериной Юлиной разбираемся, как подступиться к голосовым технологиям и что в своем мышлении должен изменить UX-дизайнер традиционных интерфейсов, берясь за голосовые.

Вот уже почти год Яндекс вручает денежную Премию Алисы за самые популярные и интересные навыки для своего голосового ассистента. Анна Савинкова, не будучи программистом, гейм-девелопером или ux-дизайнером, разработала голосовой квест «Цитадель» в двух частях, каждой из которых удалось завоевать Премию в категории «Игры и развлечения».

Под катом — ее история про поиск инструмента для разработки, сложности голосовой навигации по игре, проектирование «рюкзака с артефактами» с помощью JavaScript, настройки health points с укусами волков и исцеляющими шматками сала, эксперименты с аудиторией и продвижением голосовой игры в соцсетях. Вдруг этот опыт поможет выиграть и вам. Ну а картинка на тему «Как разработать призовой навык своими руками», а заодно — оригинальная иллюстрация к «Цитадели».

Пока Google готовил глобальное обновление для русскоязычного Ассистента – с новыми голосами, блэкджеком и встроенными оплатами, мы решили создать для него собственную игру. Мы экспериментировали с жанрами, сюжетом, пасхалками, озвучкой и внутриигровыми платежами. В итоге получился дико интересный опыт, который может повторить каждый, кто хочет сделать первый шаг в геймдев через голос. На примере квеста «Мир Лавкрафта» делимся соображениями об играх для голосовых ассистентов: как разработать и какие есть возможности для монетизации.

Все знают: догфудить собственный продукт (ну, есть корм своей собаки – разрабатывать продукт, который сам же используешь) – это правильный во всех отношениях принцип. Работая над конструктором чатботов Aimylogic, мы в Just AI прекрасно представляли, каким он должен быть, но поначалу не догфудили – наши NLU-инженеры обычно сразу пишут код. И поэтому решили пойти по пути lean startup: выкатить бету, собрать ранний фидбэк от пользователей и писать Aimylogic по-живому. Рассказываем, как мы вместе с пользователями шли от беты к релизу.

На работе я занимаюсь созданием полезных навыков для Алисы, а в свободное время попробовал использовать голосового помощника для игры с друзьями, в домашней обстановке. Я уже описывал свою разработку текстовой игры для одного или двух игроков, а в этот раз делюсь опытом создания видеоигры для целой компании.

Введение

В настоящее время большое внимание уделяется созданию доступной среды для людей с инвалидностью и ограниченными возможностями здоровья. Важным средством обеспечения доступности и улучшения качества жизни, социального взаимодействия, интеграции в общество для людей с инвалидностью являются средства вычислительной техники и специализированные информационные системы. Анализ литературы показал, что на сегодняшний день ведутся различные разработки для облегчения взаимодействия человека и компьютера, в том числе в направлении разработки голосовых интерфейсов управления вычислительной системой. Однако, данные разработки ориентируются на создание дикторонезависимых систем, обучаемых на больших данных и не учитывающих особенности произношения команд компьютеру людьми с различными нарушениями речевых функций.

Целью научно-исследовательской работы является проектирование дикторозависимого голосового интерфейса управления вычислительной системой на основе методов машинного обучения.

Задачи, решаемые в работе:

1. Провести обзор голосовых интерфейсов и способы их применения для управления вычислительными системами;
2. Изучить подходы к персонализации голосового управления вычислительной системой;
3. Разработать математическую модель голосового интерфейса управления вычислительной системой;
4. Разработать алгоритм программной реализации.

Методы решения. Для решения поставленных задач используются методы системного анализа, математического моделирования, машинного обучения.

14 ноября в Москве пройдет Conversations – первая в России конференция для разработчиков и бизнеса, посвященная технологиям conversational AI, разговорного искусственного интеллекта. Настоящее и будущее индустрии разговорного AI на Conversations обсудят эксперты Яндекс, Google, Huawei, МТС, Mail.ru, iPavlov, «Кошелек», HeadHunter, Voximplant, «Наносемантика», Digital Intelligence и другие компании. Организатор события – Just AI.

О чем конференция?

К 2019 году, по данным Strategy Analytics и Canalys, доступ к виртуальным голосовым помощникам будут иметь более половины всех смартфонов, а число умных колонок в домах по всему миру превысит 100 миллионов устройств. Не сдают позиции и чатботы: Juniper Research прогнозируют, что экономия от их внедрения к 2022 году вырастет в 400 раз и составит более 8 миллиардов долларов в год.

Чтобы эти прогнозы сбылись, экосистема вокруг разговорного AI должна постоянно развиваться. На конференции Conversations разработчики, вендоры и представители бизнеса – ритейла, финтеха, телекома – смогут вместе разобраться, как превратить разговорный AI из мирового тренда, от которого многого ждут, в инструмент, которым все действительно пользуются.

О чем расскажут хедлайнеры?

В первой части мы разобрались с основными принципами проектирования и разработки приложений для Google Assistant. Теперь пришло время написать собственного помощника, чтобы пользователи могли наконец выбрать фильм на вечер. Разработчики shipa_o, raenardev и дизайнер ComradeGuest продолжают рассказывать.

Хакатон Google, и все, что нужно, чтобы начать разрабатывать свои приложения для ассистента.

Google организовал хакатон, посвященный технологии Actions On Google. Это хорошая возможность получить опыт и подумать, как начать делать conversation user interface (CUI) для наших приложений. Поэтому мы собрали команду из двух Android-разработчиков: shipa_o, raenardev и дизайнера comradeguest и отправились участвовать.

Будущее у голосовых интерфейсов получше, чем у покрывающихся пылью ботов. Продажи устройств бодро растут, а основные платформы стремительно обзаводятся партнёрствами и интеграциями во всё, что подключено к электричеству и интернету. К концу года прогнозируют 100 миллионов устройств; уже 20% американских семей имеют умную колонку. Ну а отечественные хайпожоры позавчера стояли в очереди за Алисой. Были вы там или нет, изучить тему полезно.

RUVDS совместно с Хабром начинают проект, состоящий из серии интервью с интересными, на наш взгляд, людьми в IT-среде. Сегодня мы представляем интервью с руководителем группы разработки диалоговых систем в Яндексе, Борисом Янгелем.

Почему Алиса, а не Макс, в чем был не прав бывший министр связи Никифиров, зачем запускать Tesla в космос. Ответы в видео и тексте под катом.

Интервью помогли подготовить Лера Негря и редактор Хабра Николай Землянский.

Несколько минут назад на конференции YaC 2018 мы впервые рассказали о Яндекс.Станции. Это первое мультимедийное устройство с Алисой, которое воспроизводит музыку и фильмы, рассказывает детям сказки, помогает в повседневных делах, а также поддерживает навыки от сторонних разработчиков.

Может показаться, что для создания подобных устройств достаточно взять голосового помощника, добавить к нему простой микрофон из смартфона и спрятать всё это в корпусе недорогой аудиоколонки. На практике перед разработчиками подобных систем стоят серьёзные технологические проблемы, о решении которых в Станции мы и расскажем сегодня читателям Хабра. Вы также узнаете, что именно представляет собой технологическая платформа Yandex.IO, на основе которой и создано устройство.

Ноябрь 2017 года, на календаре отображалось число одиннадцать. Распродажа на Aliexpress шла полным ходом, руки чесались что-нибудь купить. Выбор пал на "Ми-свет RGBW светодиодный лампы AC86-265V удаленного управление Smart освещения". В итоге были приобретены два экземпляра максимальной мощности, на 9 ватт, и хаб-контроллер MiLight WiFi iBox. Доставка из Китая не заставила себя долго ждать, а спустя 4 месяца, 13 марта 2018, открылась платформа Яндекс.Диалоги (платформа, позволяющая сторонним разработчикам добавлять умения голосовому помощнику «Алиса»). Следом Алиса научится управлять освещением (и не только) у вас в квартире, а мы с вами ей в этом поможем, поэтапно и без единой строчки кода.

Алексей Важеркин, руководитель проектов в студии NIRIS, специально для блога Нетологии написал статью о новых возможностях голосового помощника Алиса. Теперь на её основе можно написать собственную программу (навык), например, игру, систему консультирования или чат-бота для продаж ваших товаров и услуг.

В марте Яндекс запустил бета-тестирование платформы Яндекс.Диалоги. Теперь на её основе можно создать собственный «навык» для голосового помощника Алисы.

Навык — это специальная программа, которая может общаться с пользователем. Например, сыграть с ним в текстовую игру или подобрать для него подходящий товар из вашего каталога.

Пользователь произносит фразу, Алиса переводит голос в текст и отправляет на ваш сервер, где программа обрабатывает информацию и отправляет Алисе ответ, который она передаёт пользователю — голосом, текстом или в виде изображения.

Рынок голосовых ассистентов расширяется, особенно для русскоязычных пользователей. 2 недели назад Яндекс рассказала впервые про платформу Яндекс.Диалоги, 2 месяца назад Google представила возможность писать диалоги для Google Assistant на русском языке, 2 года назад со сцены Bill Graham Civic Auditorium Apple выпустила в открытое плавание SiriKit. Фактически, появляется новая отрасль разработки, где должны быть свои проектировщики, архитекторы и разработчики. Идеальный момент, чтобы поговорить про голосовые помощники и api для них.

В этой статье не будет подробных туториалов. Это статья об идеях и интересных технических деталях, на которых построены инструменты для сторонних разработчиков основных игроков рынка: Apple Siri, Google Assistant и Алисы от Яндекса.