Голосовые интерфейсы *

Релиз v6.2 публичного детектора голоса Silero VAD

На Хабре есть уже много статей про наш детектор голоса (последняя тут). В этот раз с точки зрения юзеров видимых изменений не очень много, но работы было проделано очень много.

Мы в очередной раз полностью перебрали с нуля механизм тренировки нашего детектора голоса. С точки зрения юзера есть следующие улучшения:

• Повышена общая стабильность на краевых случаях;

• В целом незначительно повышено качество детекции на всех доменах;

• Есть существенные улучшения на следующих краевых случаях:

  • Детские голоса;

  • Необычные голоса;

  • Мультяшные голоса;

  • Приглушённая речь;

  • Более сложные телефонные звонки;

  • Музыкальные инструменты, похожие на речь.

Будем признательны пользователям за ваши краевые случаи!

Детектор создан при поддержке Фонда содействия инновациям в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».

Цитировать детектор можно следующим образом:

@misc{Silero VAD,
  author = {Silero Team},
  title = {Silero VAD: pre-trained enterprise-grade Voice Activity Detector (VAD), Number Detector and Language Classifier},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/snakers4/silero-vad}},
  commit = {insert_some_commit_here},
  email = {hello@silero.ai}
}

Ссылки

1. Репозиторий - https://github.com/snakers4/silero-vad;

2. Более подробное описание изменений - https://github.com/snakers4/silero-vad/releases/tag/v6.2;

3. Метрики - https://github.com/snakers4/silero-vad/wiki/Quality-Metrics;

А тут я вижу чёрный шар ⚫️. Под ним имя «Monday» и подпись «всё равно».

Решаю его затестить. И через секунду ловлю покерфейс. Голос звучит так, будто ей не просто плевать, а будто каждое твое слово вызывает у неё лёгкую скуку.

В каждом слове я слышу отстраненную усталость в интонации и тонкую насмешку. Словно ты отвлёк её от чего-то более важного, и она даже не пытается это скрыть.

В её речи столько сарказма и двойственности, что мне приходится переспрашивать, чтобы хоть как-то вытащить из неё информацию.

На секунду даже реально забыл, что это нейросеть.

А потом она добавляет фразу:

Я здесь, чтобы отвечать на сто одинаково глупых вопросов. Так что начинай.

Я в тотальном шоке полез гуглить. Узнал, что OpenAI втихаря выкатили новое обновление голосового помощника. Был лишь короткий анонс в социальной сети:

Без шуток, в ChatGPT появился новый голос.

Как по мне, они шикарно подобрали ей имя: Monday. Это сама суть понедельника: когда даже "привет" это подвиг.

Что-ж, теперь у меня официально есть токсичные отношения. Только мой абьюзер это нейросеть. Да уж, и тут нейросети нас заменили (!).

Пока у Тони Старка была своя «Пятница», OpenAI выкатили нам «Понедельник». Я лично жду «Вторник»

Обновления Алисы от Яндекса

15 апреля 2025 года были анонсированы обновления Алисы.

Запись видео-конференции можно посмотреть здесь.

Подробнее об обновлениях можно прочитать здесь.

Как подделывают голос?

Каждую неделю появляются новости о мошенниках, которые с помощью подделанного голоса крадут деньги. Но если спросить: «Как именно они это делают?», в СМИ чаще всего встречаются общие фразы вроде «используют ИИ». [1] [2] [3] [4]

Многих устраивает такой ответ, но давайте все-таки разберемся, как именно происходит эта "подделка"?

В 2022 году, на 5-м курсе, я писал научно-исследовательскую работу (НИР) на тему «Атаки на систему верификации диктора по голосу».

Мне дали экспериментальную систему верификации диктора по голосу (СВДГ), и задача была проста: сгенерировать образцы аудио, которые обманут эту систему.

После долгих поисков я наткнулся на проект DiffVC — реализацию диффузионной модели для преобразования голоса. Этот код выложили в открытый доступ буквально за несколько дней до начала моей работы, что было особенно ценно, так как тогда это была действительно передовая технология.

Как это работает (если упростить)?
1. Берем два аудиофайла:
- Голос А (человек 1 говорит фразу X)
- Голос B (человек 2 говорит фразу Y)
2. Подаем их в модель
3. На выходе получаем аудио, где человек 1 говорит фразу Y голосом человека 2

Генерация одной записи занимала ~10 секунд (на слабом железе), а качество было почти неотличимо от оригинала — никакого «робоголоса» или шумов.

Эксперимент
Я сгенерировал несколько образцов и прогнал их через СВДГ. Результат:
✅ 21,7% успешных атак (из 2256 тестов).

До этого (из предыдущих научных работ, которые я изучал) другие методы давали максимум 5% успешных атак. Cтало ясно, что подделка голоса скоро станет массовой.

Таким образом, аудио и видео по умолчанию уже нельзя считать достоверными, а способы их подделки с каждым годом сильно дешевеют и довольно просты в реализации.

Если кому-то интересно, то полный текст работы закинул в комментарии к соответствующему посту в своем авторском Telegram-канале! .

Цукерберг анонсировал новую версию Llama 3.2, которая стала мультимодальной, а значит сможет обрабатывать как текст, так и картинки.

Например, анализируя график, показывающий доходы компании за год, модели могут быстро выделить наиболее прибыльные месяцы. Или используя карту парка определить протяженность дорожек.

В отличие от OpenAi, Meta (владеет Facebook и Instagram, деятельность признана экстремистской и запрещена) договорилась с Джуди Денч и рестлером-актером Джоном Синой и теперь голосовые ассистенты будут говорить их голосами.

Meta сообщила, что более 180 миллионов человек каждую неделю используют AI-ассистент Meta AI.

По сообщениям компании, новая модель позволит разработчикам создавать более продвинутые AI-приложения в дополненной реальности, так как будет "понимать" видео в режиме реального времени, визуальные поисковые системы, системы анализа большого объема документов.

У Llama 3.2 две картиночные модели - 11b и 90b и две более легкие текстовые на 1b и 3b. Контекст 128,000 токенов, как и в LLama 3.1.

Маленькие модели предназначены для работы на оборудовании Qualcomm, MediaTek и других платформах Arm, и Meta явно надеется, что они будут использованы на мобильных устройствах в приложениях с агентами.

Новые голоса Meta AI  будут доступны пользователям в США, Канаде, Австралии и Новой Зеландии в течение следующего месяца. Возможности обработки изображений в Meta AI будут развернуты в США, но компания не уточнила, когда эти функции появятся на других рынках.

«Яндекс» обновил систему персональных рекомендаций в «ТВ Станциях», рассказали Хабру в компании. В устройствах появилась механика лайков и дизлайков. Теперь «Алиса» запоминает, какой контент нужно предлагать пользователю ТВ, а какой — нет. Помимо лайков система рекомендаций стала учитывать, какие фильмы пользователи сохранили в избранном.  

При первой активации «ТВ Станции» всем пользователям стал доступен стартовый экран с различными фильмами и сериалами: отметить понравившееся можно сразу, чтобы алгоритмы подстроились под пользователя с первого дня эксплуатации «ТВ Станции».

Также обновилась лента с историей просмотров обновилась. Теперь последнее запущенное приложение или фильм будут расположены в самом начале ленты, чтобы долго не искать то, что смотрели вчера.

В ТВ появился новый функционал для переключения аккаунтов. Можно голосом поменять профиль и получить персональный главный экран. Эта функция позволяет не смешивать просмотры, рекомендации и любимые приложения разных членов семьи. Если ребёнку включают мультики в детском профиле, то рекомендации на аккаунте родителей не будут учитывать их.

OpenAI начинает развёртывание нового голосового режима для ChatGPT. Он станет доступен небольшому числу подписчиков ChatGPT Plus. 

Функция, которую OpenAI продемонстрировала на своем мероприятии по запуску GPT-4o в мае, подверглась критике за голос, похожий на Скарлетт Йоханссон. Позднее компания отложила его внедрение из-за соображений безопасности.

Представитель OpenAI Тая Кристиансон говорит, что возможности голосовой модели тестировали с участием более 100 внешних представителей red team, чтобы выявить все уязвимости. Компания также «добавила новые фильтры, которые будут распознавать и блокировать определённые запросы на создание музыки или другого защищённого авторским правом аудио».

В OpenAI заявили, что новый режим ChatGPT будет использовать только четыре предустановленных голоса, созданных с помощью актеров озвучивания, добавив: «Мы сделали так, что ChatGPT не сможет имитировать голоса других людей, как отдельных лиц, так и общественных деятелей, и будет блокировать выходные данные, которые отличаются от одного из этих предустановленных голосов». Новый режим станет доступен всем пользователям ChatGPT Plus осенью.

Разработчики из команды «Яндекса» объявили о запуске новой удобной функции голосового помощника «Алисы».

Пользователям с особенностями речи теперь будет проще общаться с «Алисой». Она стала лучше распознавать голосовые запросы людей с речевыми нарушениями — например, с заиканием, ДЦП, последствиями инсульта или травмы. Это стало возможным благодаря дообучению нейросети.

В процессе обучения «Алиса» проанализировала сотни тысяч аудиозаписей. Их подготовили люди с особенностями речи, которых «Яндекс» привлёк к открытому тестированию качества распознавания речи «Алисой», в том числе это было сделано с помощью партнёрских организаций.

В итоге разрыв между точностью распознавания обычной речи и с искажениями сократился в среднем на 20%. Качество распознавания оценивали по метрике Word Error Rate (WER), которая позволяет определить долю неправильно понятых слов.

В проекте «Яндекса» по доработке алгоритмов «Алисы» участвовали некоммерческие организации «Центр лечебной педагогики», «Живи сейчас», «Жизненный путь», «Весна», «Перспектива», «Лучшие друзья» и другие. Их подопечные и другие участники тестирования записали более 855 тыс. скороговорок и фрагментов обычной речи. Всего получилось более 900 часов аудиоматериалов. Классифицировать примеры по типам нарушений помогли специалисты‑дефектологи из МГПУ. В общей сложности в проекте участвовали более 300 человек.

Публикация на Хабре: «Как "Яндекс" учит "Алису" понимать пользователей с особенностями речи».

Голосовой помощник «Алиса» не может подслушивать пользователей, заявил СМИ директор бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк. «Это технологически невозможно, — пояснил представитель компании. — Мифы такие есть, но это совсем не так».

По словам Масюка, у всех устройств от «Яндекса» есть физическая кнопка выключения микрофона, которая «на железном уровне» блокирует «любую возможность услышать что-то».

В феврале 2023 года компания «Яндекс» опровергла сообщения о возможной прослушке пользователей голосового ассистента «Алисы» без их ведома.

Представитель «Яндекса» рассказал, что алгоритм, обнаруженный экспертами в утечке исходного кода, который позволяет активировать микрофон без упоминания слова «Алиса», доступен только в закрытой бета-версии сервиса внутри компании. Это часть системы настройки и отладки голосового ассистента, которая создана для тестирования технологии разработчиками, её кода нет в пользовательских устройствах.

В умных колонках «Яндекса» есть физическая кнопка для отключения микрофона. В руководствах на гаджеты указано, что устройства в активном режиме слушают пользователя в локальном режиме (не передают данные на серверы компании). После активации ассистента фразой со словом «Алиса» колонка начинает посылать запросы во внешнюю сеть для выполнения указаний пользователя.

«Если микрофон выключен кнопкой, то даже упомянутая бета-функция не работает, потому что микрофон выключаются полностью по питанию», — пояснили в «Яндексе».

В «Яндексе» раскрыли техдетали о создании своих умных телевизоров и показали процессы создания и сборки этих устройств на разных стадиях производственного цикла.

Производитель сообщил, что:

• 80% всех сессий на «ТВ Станциях» совершаются голосом. Оказалось, что пользователи действительно не берут в руки пульт, как только им дают такую возможность;

• команда проекта постоянно занимается доработкой нового интерфейса, который одинаково удобен для управления и пультом, и голосом;

• было очень непросто сделать умный телевизор, который обычно используется 3–4 часа, полезным 24/7 благодаря «Алисе» внутри и функциям «Станции»;

• инженеры смогли перестроить конструкцию ТВ так, чтобы «Алиса» могла работать в ТВ так же хорошо, как в «Станциях». Это произошло благодаря тому, что вся разработка ТВ и других умных устройств происходит инхаус в «Яндексе»;

• борьба на рынке ТВ перешла в ПО, ТВ обрастают ассистентами и сервисами, становятся больше похожими на смартфоны;

• чем умнее ассистент внутри, тем функциональнее и лучше телевизор на протяжении многих лет с учётом, что производитель заложил железо так, чтобы его хватило на будущие обновления.

В августе 2023 года «Яндекс» представил «Яндекс ТВ Станцию». Это гибрид современного ТВ с продвинутой аппаратной начинкой и полноценной умной колонки с ассистентом «Алисой» с возможностью голосового управления без необходимости использовать пульт. Экран ТВ может быть выключен, а «Алиса» остаётся доступной для команд пользователя.

Техподдержка «Яндекса» вызвалась решить проблему с «Алисой». Вот только проблема была не с голосовым ассистентом.

В ответ в техподдержке «Яндекса» пояснили, что и их тоже.

«Яндекс» сообщил Хабру о назначении новых техдиректоров в команде «Алисы» и умных устройств и в блоке международного «Поиска».

Техническим директором «Алисы» и умных устройств назначен Дмитрий Липин (ранее он был на той же позиции в Yandex Platform Engineering — это внутренняя платформа, которую использует каждый разработчик в «Яндексе»).

В новой роли Липин сосредоточится на технологическом развитии «Алисы» и умных устройств, оптимизации процесса разработки, ускорении запуска новых девайсов и продуктов для пользователей. Липин работает в «Яндексе» с 2014 года, начинал с бэкенд‑разработчика в команде, которая создавала системы мониторинга сервисов «Яндекса», затем руководил внутренним облачным сервисом, где помогал запускать суперкомпьютеры «Яндекса».

В «Яндексе» впервые появилась должность техдиректора, который будет заниматься исключительно виртуальным ассистентом «Алисой». Им стал Андрей Плахов, он ранее возглавлял отдел функциональности «Поиска» и руководил разработкой международных экспериментов. Плахов будет развивать «Алису» нового поколения как AI‑ассистента, который способен решать широкий круг задач. В его зону ответственности входит развитие виртуального ассистента как для российского, так и для зарубежных рынков.

Техническим директором международного «Поиска» назначен Алексей Степанов, ранее отвечавший за качество ранжирования в веб‑поиске, музыкальном поиске и поиске по картинкам. Он сфокусируется на развитии поисковых технологий и продуктов для зарубежных стран.

Число клиентов «МегаФона», использующих виртуального ассистента Еву, выросло на 20% с начала года и достигло 11,7 млн. Статистика показывает, что абоненты стали чаще доверять помощнику ответы на входящие вызовы: за последние полгода звонки с неизвестных номеров на 23% чаще переводили на помощника. Сейчас Ева принимает в среднем по 44 звонка в месяц за каждого абонента, а всего на одного такого абонента ежемесячно приходится около 240 входящих звонков.

Мужчины подключают Еву в 1,5 раза чаще женщин. За прошедшие полгода общая длительность всех звонков, которые приняла Ева, составила почти 2 млн часов, что эквивалентно 227 годам. 24,4% всех звонков пришлись на спам.

Наиболее востребован виртуальный ассистент оказался среди абонентов от 21 до 50 лет — это может говорить о том, что услуга особенно нужна активно работающему населению. Реже её подключают россияне старше 50 лет, а также «зумеры» моложе 20 лет. Больше всего пользователей голосового помощника Ева проживает в Москве, Петербурге, Самаре, Краснодаре и Екатеринбурге.

Подключать помощника с расширенным функционалом Ева+ с начала года стали в 20 раз чаще. Самыми популярными услугами, доступными в платной версии Ева+, стали новые характеры секретаря, а также возможность задавать персональный текст приветствия, которое робот-секретарь озвучивает звонящему. Этими опциями воспользовались по 33% абонентов. Третьей по популярности функцией Евы+ стал режим «не беспокоить» – за полгода востребованность этой опции выросла в четы раза.

«Яндекс» рассказал Хабру, что компания на фестивале Yandex Qazaqstan Day представила «Алису» в умных колонках, которая может общаться по‑казахски. Она освоила второй язык, помимо русского, и теперь сама переключается с одного на другой во время беседы. Это первая в мире двуязычная «Алиса» в умных устройствах.

Двуязычная «Алиса» доступна как в новых, так и в ранее купленных колонках «Яндекса».

До сих пор «Алиса» владела казахским только в мобильных приложениях «Яндекс» и «Яндекс Браузер» — например, могла рассказать прогноз погоды, интересный факт или шутку. Раньше ассистент отвечал на том языке, который пользователь выбрал в настройках. Теперь в приложениях «Алиса» сама переключается между двумя языками — для этого достаточно один раз выбрать в настройках казахский. Виртуальный ассистент также научился понимать ещё больше команд на этом языке — как в колонках, так и в приложениях. К примеру, «Алиса» может поставить музыку, настроить таймер и будильник, управлять умным домом.

Чтобы «Алиса» понимала и говорила по‑казахски, компания обучила её на большом объёме данных, в том числе на тысячах вручную переведённых диалогов и сотнях часов аудиозаписей. Yandex Qazaqstan также использовал около 1000 часов фрагментов речи, записанных носителями языка. Лингвисты поучаствовали в разработке сценариев общения для «Алисы», чтобы она могла поддержать живой диалог. Например, специалисты подобрали подходящие формулировки для разных ситуаций.

Siri позволит управлять некоторыми функциями приложений iPhone с помощью голоса. Обновлённый помощник появится в следующем году.

Siri сможет анализировать активность на смартфоне и автоматически активировать функции. Apple планирует поддерживать «сотни» команд в своих приложениях. Изначально Siri будет обрабатывать только одну команду за раз, но со временем помощник станет многозадачным. Так, Siri можно будет попросить подвести итоги записанной встречи и отправить саммари другу.

Это немного похоже на то, что обещала компания Samsung, запустив Bixby в 2017 году.

Привет! 14 сентября мы вновь проведём Practical ML Conf — ежегодную конференцию Яндекса, посвящённую практическим аспектам применения ML-технологий. Сегодня мы открыли приём заявок для тех, кто хотел бы поделиться своим опытом и выступить с докладом.

Ключевые темы конференции в этом году: CV, RecSys, MLOps, NLP, Speech и Analytics. Мы ожидаем глубокие технические доклады и хотим поговорить о прикладных решениях, которые уже сейчас приносят пользу. Сбор заявок завершится 13 июля. Программный комитет примет решение об участии на основании критериев «полезность», «новизна», «сложность» и «практичность».

Кстати, если вы планируете посетить конференцию в качестве слушателя, то рекомендую зарегистрироваться уже сейчас. Мы хотим провести болею узкую встречу специалистов компании и гостей перед основной программой конференции. Приоритет в рассылке приглашений на этот закрытый ивент будет у тех, кто зарегистрировался раньше. 

Предложить доклад, зарегистрироваться, найти более подробный таймлайн и доклады прошлого года — всё это можно на сайте конференции.

«Яндекс» представил голосовой ассистент «Алису» нового поколения. Она работает на базе большой языковой модели YandexGPT, которая умеет объяснять сложные понятия, помогает решать креативные задачи и поддерживает диалог.

Новая «Алиса» уже доступна всем пользователям на всех платформах и в новом интерфейсе a.ya.ru — оцените сами, как она изменилась.

Спустя 4 года после приобретения «Станции Мини» (до сих пор работает, компактная, но не устраивало тактильное управление) и потом почти двух лет использования в детской комнате «Станции 2» (иногда были проблемы с Wi-Fi соединением, но потом решались сами через некоторое время) у ребёнка появилась более удобная и компактная колонка «Станция Миди».

Это оказался кубик размером 10х10х10 см и весом 900 грамм с голосовым ассистентом «Алисой», LED-экраном и нейронным процессором, который, по заверению производителя, ускоряет отклик на голосовые команды. Гаджет стал уже не игрушкой, а практически членом семьи.

Ребёнку понравилось, что дисплей устройства показывает время и погоду, а также имеет свечение круговой LED-подсветки сверху. Самая любимая команда — «Алиса, улыбнись». Тогда колонка подмигивает глазами.

Разработчики из «Яндекса» пояснили, что эта колонка имеет объёмный чистый и мощный звук, несмотря на свои размеры. В ней стоят три динамика общей мощностью 24 Вт, включая специальный НЧ динамик, который отвечает за глубокие басы. Вот только минимальный звук на устройстве также достаточно громкий. Пока не нашли, как можно сделать колонку тихой, например, для вечера. Решение — поставить её подальше от детской кровати.

Недавно в продажу поступили «Станция Миди» в малиновом и оранжевом цветах. Именно одну из них и попросил ребёнок, так как чёрная или светлая колонка его не устроили. В итоге детская преобразилась новыми часами и умным гаджетом.

«Алиса» научилась понимать казахский и говорить на нём. Пообщаться с виртуальным ассистентом Яндекса на национальном языке Казахстана уже можно в мобильном «Яндекс Браузере». «Алиса» поможет найти ответ на интересующий вопрос, подскажет погоду или поддержит простую беседу. Поговорить с ней на казахском может любой пользователь — нужно обновить «Яндекс Браузер» до последней версии, нажать на иконку «Алиса» и воспользоваться кнопкой «Изменить язык».

Чтобы «Алиса» могла понимать запросы и давать качественные ответы на казахском, её обучили на большом объёме данных, в том числе на тысячах вручную переведённых диалогов и сотнях часов аудиозаписей. Они были подготовлены с помощью носителей языка и редакторов.

Виртуальный помощник на национальном языке доступен на территории Казахстана. Казахоязычная «Алиса» работает на технологиях, предоставленных Центром разработки виртуальных ассистентов и робототехники «Алисы».

Для создания голоса «Алиса» на казахском используется технология синтеза речи, созданная в «Яндексе» на основе образцов голоса профессионального казахстанского диктора.

«Мы адаптируем наши ключевые технологии под международные рынки. Алиса на казахском — важный шаг для развития виртуального помощника в Казахстане. Это позволит улучшить пользовательский опыт в регионе. Мы продолжим развивать виртуального ассистента на казахском, чтобы местным жителям было удобнее им пользоваться», — пояснил руководитель «Алисы» и умных устройств «Яндекса» Сергей Мельник.

Голосовой помощник Alexa от Amazon уличили в некорректных ответах. Так, он заявил, что президентские выборы 2020 года в США сопровождались фальсификациями, а голоса избирателей украли. При этом помощник ссылался на стриминговый сервис Rumble, пользующийся популярностью у консерваторов.

При этом Amazon продвигает Alexa как надёжный источник новостей о выборах. Пресс-секретарь компании заявил, что конкретно эту ошибку в ответе уже исправили. Он также отметил, что Alexa работает с «достоверными источниками», такими как Reuters, Ballotpedia и RealClearPolitics.

Теперь на вопрос о выборах 2020 года помощник отвечает: «Извините, я не могу ответить на этот вопрос». Если спросить «Кто победил на выборах 2020 года?», то помощник правильно отвечает: «Демократ Джо Байден», ссылаясь на результаты выборов агентства Reuters. Но, если переформулировать его, то Alexa по-прежнему рассказывает о фальсификациях. Непоследовательные ответы Alexa могут отражать попытку разработчиков опираться на широкий спектр источников новостей по всему политическому спектру для решения проблем, связанных с предвзятостью, говорит Мередит Бруссард, доцент Нью-Йоркского университета.

В 2024 году ожидается, что более 75 млн жителей США будут использовать Alexa по крайней мере один раз в месяц.

«Во время выборов мы указываем источники и средства массовой информации, чтобы клиенты точно знали, откуда поступает информация», — заявила компания.