Тестовый стенд, видеокамера сверху фиксирует активацию колонок, динамики слева воспроизводят аудиодорожку, тестируемые колонки сгруппированы справа.

Ученые и инженеры из Имперского колледжа Лондона, а также из Университета Восточного Лондона провели и опубликовали результаты исследования, в ходе которого несколько одних и тех же умных колонок (Google Home Mini, Apple Homepod, Harman Kardon Invoke, Amazon Echo Dot) заставили прослушать в течение полугода несколько раз (для подтверждения чистоты эксперимента и анализа всех прозвучавших слов и фраз) одну и ту же выборку в объеме ста двадцати пяти часов различных сериалов и другого развлекательного контента сервиса Netflix.

Многие умные колонки случайно, то есть когда не было произнесено нужного кодового слова для их включения, активировались по несколько раз в процессе проведения эксперимента и начинали записывать далее якобы слова и разговоры пользователя.

В ходе эксперимента исследователи использовали видеокамеру для визуального подсчета фактов активации устройств по их индикаторам, анализировали сетевой трафик и объем данных, которые отсылали умные колонки на облачные сервисы после активации, а также логи каждого из устройств. Основная цель данного исследования была понять, как часто умные колонки случайно включаются. Поэтому ученые удаляли из результатов исследования все те случаи, когда в аудиопотоке звучало настоящее слово или фраза для активации устройства. Также исследователи после каждого пятисуточного прогона анализировали по субтитрам слова или фразы, которые вызывали случайную активацию умных колонок.

Умные колонки, которые принимали участи в эксперименте:

  • Google Home Mini первого поколения (кодовые слова и фразы для активации: OK/Hey/Hi Google);
  • Apple HomePod первого поколения (кодовая фраза для активации: Hey, Siri);
  • Harman Kardon Invoke под управлением голосового помощника от Microsoft (кодовое слово для активации: Cortana);
  • Amazon Echo Dot второго поколения (кодовые слова для активации: Alexa, Amazon, Echo, Computer);
  • Amazon Echo Dot третьего поколения (кодовые слова для активации: Alexa, Amazon, Echo, Computer).

Исследования показали, что:

  • в среднем в течение эксперимента каждая из умных колонок случайно активировалась не менее ста раз за пять суток и начинала записывать происходящее вокруг, ожидая дальнейших команд. Причем колонки Apple HomePod и Harman Kardon Invoke делали это значительно чаще остальных;
  • чаще всего активация умных колонок происходила во время диалогов в сериалах или развлекательных шоу. Причем как минимум при каждой прослушанной передаче было зафиксировано не менее одного случайного включения каждого устройства;
  • большинство случайных активаций для каждого устройства не происходят последовательно, то есть если попытаться их повторить на одном и том же внешнем аудиопотоке, то колонка может и не включиться, как это делала ранее;
  • после случайного включения умные колонки начинают записывать и передавать в облако данные, причем это могут быть достаточно долгие сеансы, например, от двадцати до сорока трех секунд для Amazon Echo Dot второго поколения и Harman Kardon Invoke. Остальные устройства выключались после шести секунд после случайной активации и переставали передавать данные в облако. Также во время эксперимента были обнаружены несколько шаблонных фраз для разных устройств, вызывающих их случайную активацию продолжительностью пять или более секунд.

Слова и фразы, которые случайно активировали умные колонки:

  • колонка Amazon Echo Dot включалась после произнесенного в диалогах слов и фраз: «exclamation», «kevin’s car», «congresswoman», которые по созвучию далеки от слов «Alexa, Amazon, Echo, Computer»;
  • Apple HomePod часто принимала слово «Seriously» за «Siri» и включалась. Другие слова и фразы, созвучные с «Siri», когда колонка включалась на запись: «He clearly», «They very», «Hey sorry», «Okay, Yeah», «And seriously», «Hi Mrs», «Faith’s funeral», «Historians”, „I see“, „I’m sorry“, „They say“;
  • умная колонка Google Home Mini включалась после фраз „A-P girl“, „Okay, and what“, „I can work“, „What kind of“, „Okay, but not“, „I can spare“, „I don’t like the cold“;
  • устройство Harman Kardon Invoke под управлением голосового помощника Cortana от Microsoft активировалось после слов и фраз: „Colorado“, „consider“, „coming up“.

Таким образом, для минимизации нештатной активации умных колонок во время просмотра различного развлекательного контента, пользователям рекомендуется отключать умные колонки или следить за их работой.

В настоящее время исследователи из Имперского колледжа Лондона и Университета Восточного Лондона продолжают свои эксперименты с умными колонками.

Ранее в конце октября 2019 года специалисты из немецкой компании Security Research Labs провели независимое исследование, в котором наглядно показали, что умные колонки Alexa и Google Home могли быть легко взломаны с помощью сторонних приложений, например, для прослушивания гороскопов или игры с генератором случайных чисел. Активация этих приложений могла вызвать скрытую в них систему прослушки пользователя, хотя был абсолютно уверен, что устройство после окончания общения с программой не записывает его слова. Причем производители умных колонок не могли устранить этот тип уязвимости несколько месяцев.

В ноябре 2019 года исследователи из университета штата Мичиган (США) смогли экспериментально реализовать способ получения удаленного доступа через портативную лазерную систему к некоторым умным колонкам HomePod и Amazon Echo, устройствам серии Google Home, использующих голосовые помощники Siri, Google Assistant и Amazon Alex. На место размещения микрофона в умных устройствах направлялись лазерные лучи с закодированными сигналами, максимальное достигнутое в опыте рабочее расстояние получилось 110 метров, причем устройствами можно было таким образом управлять даже через оконный стеклопакет. Большинство колонок и гаджетов принимали такое воздействие за голосовые команды, позволяя выполнить базовые действия в системе умного дома, которым не нужна дополнительная идентификация пользователя — открыть гараж или замок в двери дома.