Голосовые интерфейсы *

В «Яндексе» раскрыли техдетали о создании своих умных телевизоров и показали процессы создания и сборки этих устройств на разных стадиях производственного цикла.

Производитель сообщил, что:

• 80% всех сессий на «ТВ Станциях» совершаются голосом. Оказалось, что пользователи действительно не берут в руки пульт, как только им дают такую возможность;

• команда проекта постоянно занимается доработкой нового интерфейса, который одинаково удобен для управления и пультом, и голосом;

• было очень непросто сделать умный телевизор, который обычно используется 3–4 часа, полезным 24/7 благодаря «Алисе» внутри и функциям «Станции»;

• инженеры смогли перестроить конструкцию ТВ так, чтобы «Алиса» могла работать в ТВ так же хорошо, как в «Станциях». Это произошло благодаря тому, что вся разработка ТВ и других умных устройств происходит инхаус в «Яндексе»;

• борьба на рынке ТВ перешла в ПО, ТВ обрастают ассистентами и сервисами, становятся больше похожими на смартфоны;

• чем умнее ассистент внутри, тем функциональнее и лучше телевизор на протяжении многих лет с учётом, что производитель заложил железо так, чтобы его хватило на будущие обновления.

В августе 2023 года «Яндекс» представил «Яндекс ТВ Станцию». Это гибрид современного ТВ с продвинутой аппаратной начинкой и полноценной умной колонки с ассистентом «Алисой» с возможностью голосового управления без необходимости использовать пульт. Экран ТВ может быть выключен, а «Алиса» остаётся доступной для команд пользователя.

Техподдержка «Яндекса» вызвалась решить проблему с «Алисой». Вот только проблема была не с голосовым ассистентом.

В ответ в техподдержке «Яндекса» пояснили, что и их тоже.

«Яндекс» сообщил Хабру о назначении новых техдиректоров в команде «Алисы» и умных устройств и в блоке международного «Поиска».

Техническим директором «Алисы» и умных устройств назначен Дмитрий Липин (ранее он был на той же позиции в Yandex Platform Engineering — это внутренняя платформа, которую использует каждый разработчик в «Яндексе»).

В новой роли Липин сосредоточится на технологическом развитии «Алисы» и умных устройств, оптимизации процесса разработки, ускорении запуска новых девайсов и продуктов для пользователей. Липин работает в «Яндексе» с 2014 года, начинал с бэкенд‑разработчика в команде, которая создавала системы мониторинга сервисов «Яндекса», затем руководил внутренним облачным сервисом, где помогал запускать суперкомпьютеры «Яндекса».

В «Яндексе» впервые появилась должность техдиректора, который будет заниматься исключительно виртуальным ассистентом «Алисой». Им стал Андрей Плахов, он ранее возглавлял отдел функциональности «Поиска» и руководил разработкой международных экспериментов. Плахов будет развивать «Алису» нового поколения как AI‑ассистента, который способен решать широкий круг задач. В его зону ответственности входит развитие виртуального ассистента как для российского, так и для зарубежных рынков.

Техническим директором международного «Поиска» назначен Алексей Степанов, ранее отвечавший за качество ранжирования в веб‑поиске, музыкальном поиске и поиске по картинкам. Он сфокусируется на развитии поисковых технологий и продуктов для зарубежных стран.

Число клиентов «МегаФона», использующих виртуального ассистента Еву, выросло на 20% с начала года и достигло 11,7 млн. Статистика показывает, что абоненты стали чаще доверять помощнику ответы на входящие вызовы: за последние полгода звонки с неизвестных номеров на 23% чаще переводили на помощника. Сейчас Ева принимает в среднем по 44 звонка в месяц за каждого абонента, а всего на одного такого абонента ежемесячно приходится около 240 входящих звонков.

Мужчины подключают Еву в 1,5 раза чаще женщин. За прошедшие полгода общая длительность всех звонков, которые приняла Ева, составила почти 2 млн часов, что эквивалентно 227 годам. 24,4% всех звонков пришлись на спам.

Наиболее востребован виртуальный ассистент оказался среди абонентов от 21 до 50 лет — это может говорить о том, что услуга особенно нужна активно работающему населению. Реже её подключают россияне старше 50 лет, а также «зумеры» моложе 20 лет. Больше всего пользователей голосового помощника Ева проживает в Москве, Петербурге, Самаре, Краснодаре и Екатеринбурге.

Подключать помощника с расширенным функционалом Ева+ с начала года стали в 20 раз чаще. Самыми популярными услугами, доступными в платной версии Ева+, стали новые характеры секретаря, а также возможность задавать персональный текст приветствия, которое робот-секретарь озвучивает звонящему. Этими опциями воспользовались по 33% абонентов. Третьей по популярности функцией Евы+ стал режим «не беспокоить» – за полгода востребованность этой опции выросла в четы раза.

«Яндекс» рассказал Хабру, что компания на фестивале Yandex Qazaqstan Day представила «Алису» в умных колонках, которая может общаться по‑казахски. Она освоила второй язык, помимо русского, и теперь сама переключается с одного на другой во время беседы. Это первая в мире двуязычная «Алиса» в умных устройствах.

Двуязычная «Алиса» доступна как в новых, так и в ранее купленных колонках «Яндекса».

До сих пор «Алиса» владела казахским только в мобильных приложениях «Яндекс» и «Яндекс Браузер» — например, могла рассказать прогноз погоды, интересный факт или шутку. Раньше ассистент отвечал на том языке, который пользователь выбрал в настройках. Теперь в приложениях «Алиса» сама переключается между двумя языками — для этого достаточно один раз выбрать в настройках казахский. Виртуальный ассистент также научился понимать ещё больше команд на этом языке — как в колонках, так и в приложениях. К примеру, «Алиса» может поставить музыку, настроить таймер и будильник, управлять умным домом.

Чтобы «Алиса» понимала и говорила по‑казахски, компания обучила её на большом объёме данных, в том числе на тысячах вручную переведённых диалогов и сотнях часов аудиозаписей. Yandex Qazaqstan также использовал около 1000 часов фрагментов речи, записанных носителями языка. Лингвисты поучаствовали в разработке сценариев общения для «Алисы», чтобы она могла поддержать живой диалог. Например, специалисты подобрали подходящие формулировки для разных ситуаций.

Siri позволит управлять некоторыми функциями приложений iPhone с помощью голоса. Обновлённый помощник появится в следующем году.

Siri сможет анализировать активность на смартфоне и автоматически активировать функции. Apple планирует поддерживать «сотни» команд в своих приложениях. Изначально Siri будет обрабатывать только одну команду за раз, но со временем помощник станет многозадачным. Так, Siri можно будет попросить подвести итоги записанной встречи и отправить саммари другу.

Это немного похоже на то, что обещала компания Samsung, запустив Bixby в 2017 году.

Привет! 14 сентября мы вновь проведём Practical ML Conf — ежегодную конференцию Яндекса, посвящённую практическим аспектам применения ML-технологий. Сегодня мы открыли приём заявок для тех, кто хотел бы поделиться своим опытом и выступить с докладом.

Ключевые темы конференции в этом году: CV, RecSys, MLOps, NLP, Speech и Analytics. Мы ожидаем глубокие технические доклады и хотим поговорить о прикладных решениях, которые уже сейчас приносят пользу. Сбор заявок завершится 13 июля. Программный комитет примет решение об участии на основании критериев «полезность», «новизна», «сложность» и «практичность».

Кстати, если вы планируете посетить конференцию в качестве слушателя, то рекомендую зарегистрироваться уже сейчас. Мы хотим провести болею узкую встречу специалистов компании и гостей перед основной программой конференции. Приоритет в рассылке приглашений на этот закрытый ивент будет у тех, кто зарегистрировался раньше. 

Предложить доклад, зарегистрироваться, найти более подробный таймлайн и доклады прошлого года — всё это можно на сайте конференции.

«Яндекс» представил голосовой ассистент «Алису» нового поколения. Она работает на базе большой языковой модели YandexGPT, которая умеет объяснять сложные понятия, помогает решать креативные задачи и поддерживает диалог.

Новая «Алиса» уже доступна всем пользователям на всех платформах и в новом интерфейсе a.ya.ru — оцените сами, как она изменилась.

Спустя 4 года после приобретения «Станции Мини» (до сих пор работает, компактная, но не устраивало тактильное управление) и потом почти двух лет использования в детской комнате «Станции 2» (иногда были проблемы с Wi-Fi соединением, но потом решались сами через некоторое время) у ребёнка появилась более удобная и компактная колонка «Станция Миди».

Это оказался кубик размером 10х10х10 см и весом 900 грамм с голосовым ассистентом «Алисой», LED-экраном и нейронным процессором, который, по заверению производителя, ускоряет отклик на голосовые команды. Гаджет стал уже не игрушкой, а практически членом семьи.

Ребёнку понравилось, что дисплей устройства показывает время и погоду, а также имеет свечение круговой LED-подсветки сверху. Самая любимая команда — «Алиса, улыбнись». Тогда колонка подмигивает глазами.

Разработчики из «Яндекса» пояснили, что эта колонка имеет объёмный чистый и мощный звук, несмотря на свои размеры. В ней стоят три динамика общей мощностью 24 Вт, включая специальный НЧ динамик, который отвечает за глубокие басы. Вот только минимальный звук на устройстве также достаточно громкий. Пока не нашли, как можно сделать колонку тихой, например, для вечера. Решение — поставить её подальше от детской кровати.

Недавно в продажу поступили «Станция Миди» в малиновом и оранжевом цветах. Именно одну из них и попросил ребёнок, так как чёрная или светлая колонка его не устроили. В итоге детская преобразилась новыми часами и умным гаджетом.

«Алиса» научилась понимать казахский и говорить на нём. Пообщаться с виртуальным ассистентом Яндекса на национальном языке Казахстана уже можно в мобильном «Яндекс Браузере». «Алиса» поможет найти ответ на интересующий вопрос, подскажет погоду или поддержит простую беседу. Поговорить с ней на казахском может любой пользователь — нужно обновить «Яндекс Браузер» до последней версии, нажать на иконку «Алиса» и воспользоваться кнопкой «Изменить язык».

Чтобы «Алиса» могла понимать запросы и давать качественные ответы на казахском, её обучили на большом объёме данных, в том числе на тысячах вручную переведённых диалогов и сотнях часов аудиозаписей. Они были подготовлены с помощью носителей языка и редакторов.

Виртуальный помощник на национальном языке доступен на территории Казахстана. Казахоязычная «Алиса» работает на технологиях, предоставленных Центром разработки виртуальных ассистентов и робототехники «Алисы».

Для создания голоса «Алиса» на казахском используется технология синтеза речи, созданная в «Яндексе» на основе образцов голоса профессионального казахстанского диктора.

«Мы адаптируем наши ключевые технологии под международные рынки. Алиса на казахском — важный шаг для развития виртуального помощника в Казахстане. Это позволит улучшить пользовательский опыт в регионе. Мы продолжим развивать виртуального ассистента на казахском, чтобы местным жителям было удобнее им пользоваться», — пояснил руководитель «Алисы» и умных устройств «Яндекса» Сергей Мельник.

Голосовой помощник Alexa от Amazon уличили в некорректных ответах. Так, он заявил, что президентские выборы 2020 года в США сопровождались фальсификациями, а голоса избирателей украли. При этом помощник ссылался на стриминговый сервис Rumble, пользующийся популярностью у консерваторов.

При этом Amazon продвигает Alexa как надёжный источник новостей о выборах. Пресс-секретарь компании заявил, что конкретно эту ошибку в ответе уже исправили. Он также отметил, что Alexa работает с «достоверными источниками», такими как Reuters, Ballotpedia и RealClearPolitics.

Теперь на вопрос о выборах 2020 года помощник отвечает: «Извините, я не могу ответить на этот вопрос». Если спросить «Кто победил на выборах 2020 года?», то помощник правильно отвечает: «Демократ Джо Байден», ссылаясь на результаты выборов агентства Reuters. Но, если переформулировать его, то Alexa по-прежнему рассказывает о фальсификациях. Непоследовательные ответы Alexa могут отражать попытку разработчиков опираться на широкий спектр источников новостей по всему политическому спектру для решения проблем, связанных с предвзятостью, говорит Мередит Бруссард, доцент Нью-Йоркского университета.

В 2024 году ожидается, что более 75 млн жителей США будут использовать Alexa по крайней мере один раз в месяц.

«Во время выборов мы указываем источники и средства массовой информации, чтобы клиенты точно знали, откуда поступает информация», — заявила компания.

Amazon обновит Alexa инструментами генеративного искусственного интеллекта. Помощник теперь способен распознавать разговорные фразы и более эффективно интерпретировать контекст, а также выполнять несколько запросов с помощью одной команды.

Помощник теперь сможет реагировать на фразу вроде «Alexa, мне холодно», чтобы увеличить температуру на подключённом термостате. При добавлении нового устройства можно будет сказать: «Alexa, включи новый свет». В LLM внедрили более 200 API-интерфейсов для умного дома. Также помощник будет реагировать на команды вроде «Alexa, включи разбрызгиватели, открой дверь моего гаража и выключи внешнее освещение».

Amazon также выпустила два инструмента, которые позволяют Alexa контролировать некоторые уникальные функции продуктов сторонних производителей, которые необязательно входят в набор инструментов экосистемы умного дома самой компании. Это функции динамического контроллера и контроллера действий. Первая позволит более естественно отображать такие функции, как предварительно созданные сцены для управления освещением. Вторая позволит разработчикам добавлять простые действия, на которые будет реагировать Alexa. 

Amazon уже работает над этими функциями с GE Cync, Philips, GE Appliances, iRobot, Roborock и Xiaomi и открывает программу для большего числа разработчиков. 

Пока компания будет внедрять новые функции постепенно и только в США для пользователей Echo. Новую версию Alexa решили сделать платной.