Исследования показали, что умные колонки активируются и записывают пользователей при просмотре ими разного контента

    Тестовый стенд, видеокамера сверху фиксирует активацию колонок, динамики слева воспроизводят аудиодорожку, тестируемые колонки сгруппированы справа.

    Ученые и инженеры из Имперского колледжа Лондона, а также из Университета Восточного Лондона провели и опубликовали результаты исследования, в ходе которого несколько одних и тех же умных колонок (Google Home Mini, Apple Homepod, Harman Kardon Invoke, Amazon Echo Dot) заставили прослушать в течение полугода несколько раз (для подтверждения чистоты эксперимента и анализа всех прозвучавших слов и фраз) одну и ту же выборку в объеме ста двадцати пяти часов различных сериалов и другого развлекательного контента сервиса Netflix.

    Многие умные колонки случайно, то есть когда не было произнесено нужного кодового слова для их включения, активировались по несколько раз в процессе проведения эксперимента и начинали записывать далее якобы слова и разговоры пользователя.

    В ходе эксперимента исследователи использовали видеокамеру для визуального подсчета фактов активации устройств по их индикаторам, анализировали сетевой трафик и объем данных, которые отсылали умные колонки на облачные сервисы после активации, а также логи каждого из устройств. Основная цель данного исследования была понять, как часто умные колонки случайно включаются. Поэтому ученые удаляли из результатов исследования все те случаи, когда в аудиопотоке звучало настоящее слово или фраза для активации устройства. Также исследователи после каждого пятисуточного прогона анализировали по субтитрам слова или фразы, которые вызывали случайную активацию умных колонок.

    Умные колонки, которые принимали участи в эксперименте:

    • Google Home Mini первого поколения (кодовые слова и фразы для активации: OK/Hey/Hi Google);
    • Apple HomePod первого поколения (кодовая фраза для активации: Hey, Siri);
    • Harman Kardon Invoke под управлением голосового помощника от Microsoft (кодовое слово для активации: Cortana);
    • Amazon Echo Dot второго поколения (кодовые слова для активации: Alexa, Amazon, Echo, Computer);
    • Amazon Echo Dot третьего поколения (кодовые слова для активации: Alexa, Amazon, Echo, Computer).

    Исследования показали, что:

    • в среднем в течение эксперимента каждая из умных колонок случайно активировалась не менее ста раз за пять суток и начинала записывать происходящее вокруг, ожидая дальнейших команд. Причем колонки Apple HomePod и Harman Kardon Invoke делали это значительно чаще остальных;
    • чаще всего активация умных колонок происходила во время диалогов в сериалах или развлекательных шоу. Причем как минимум при каждой прослушанной передаче было зафиксировано не менее одного случайного включения каждого устройства;
    • большинство случайных активаций для каждого устройства не происходят последовательно, то есть если попытаться их повторить на одном и том же внешнем аудиопотоке, то колонка может и не включиться, как это делала ранее;
    • после случайного включения умные колонки начинают записывать и передавать в облако данные, причем это могут быть достаточно долгие сеансы, например, от двадцати до сорока трех секунд для Amazon Echo Dot второго поколения и Harman Kardon Invoke. Остальные устройства выключались после шести секунд после случайной активации и переставали передавать данные в облако. Также во время эксперимента были обнаружены несколько шаблонных фраз для разных устройств, вызывающих их случайную активацию продолжительностью пять или более секунд.

    Слова и фразы, которые случайно активировали умные колонки:

    • колонка Amazon Echo Dot включалась после произнесенного в диалогах слов и фраз: «exclamation», «kevin’s car», «congresswoman», которые по созвучию далеки от слов «Alexa, Amazon, Echo, Computer»;
    • Apple HomePod часто принимала слово «Seriously» за «Siri» и включалась. Другие слова и фразы, созвучные с «Siri», когда колонка включалась на запись: «He clearly», «They very», «Hey sorry», «Okay, Yeah», «And seriously», «Hi Mrs», «Faith’s funeral», «Historians”, „I see“, „I’m sorry“, „They say“;
    • умная колонка Google Home Mini включалась после фраз „A-P girl“, „Okay, and what“, „I can work“, „What kind of“, „Okay, but not“, „I can spare“, „I don’t like the cold“;
    • устройство Harman Kardon Invoke под управлением голосового помощника Cortana от Microsoft активировалось после слов и фраз: „Colorado“, „consider“, „coming up“.

    Таким образом, для минимизации нештатной активации умных колонок во время просмотра различного развлекательного контента, пользователям рекомендуется отключать умные колонки или следить за их работой.

    В настоящее время исследователи из Имперского колледжа Лондона и Университета Восточного Лондона продолжают свои эксперименты с умными колонками.

    Ранее в конце октября 2019 года специалисты из немецкой компании Security Research Labs провели независимое исследование, в котором наглядно показали, что умные колонки Alexa и Google Home могли быть легко взломаны с помощью сторонних приложений, например, для прослушивания гороскопов или игры с генератором случайных чисел. Активация этих приложений могла вызвать скрытую в них систему прослушки пользователя, хотя был абсолютно уверен, что устройство после окончания общения с программой не записывает его слова. Причем производители умных колонок не могли устранить этот тип уязвимости несколько месяцев.

    В ноябре 2019 года исследователи из университета штата Мичиган (США) смогли экспериментально реализовать способ получения удаленного доступа через портативную лазерную систему к некоторым умным колонкам HomePod и Amazon Echo, устройствам серии Google Home, использующих голосовые помощники Siri, Google Assistant и Amazon Alex. На место размещения микрофона в умных устройствах направлялись лазерные лучи с закодированными сигналами, максимальное достигнутое в опыте рабочее расстояние получилось 110 метров, причем устройствами можно было таким образом управлять даже через оконный стеклопакет. Большинство колонок и гаджетов принимали такое воздействие за голосовые команды, позволяя выполнить базовые действия в системе умного дома, которым не нужна дополнительная идентификация пользователя — открыть гараж или замок в двери дома.

    Комментарии 17

      +1

      Спасибо за статью! И хотя я в целом и не являюсь фанатиком сверхприватности, крайне некомфортно иметь дома прослушивающее устройство.

        +2
        В связи с чем вопрос — почему эти колонки вообще названы «умными» )
          –1
          Умный маркетинг?
            +3
            Правильнее было бы назвать «хитрые»
              0
              хитро**пые
            +5
            пользователям рекомендуется отключать умные колонки

            Этого достаточно, КМК.
              +6
              Как неожиданно!
              Люди, купившие себе подслушивающее устройство, внезапно обнаружили что оно их подслушивает!
                0

                Самый прикол в том, что исследование показывает даже не то, что колонка подслушивает, а то, что у умных колонок, которые активируются кодовой фразой, бывают ложные срабатывания

                  0

                  У разработчиков этих колонок столько ресурсов, что они могли бы весь нетфликс пересмотреть и точно убрать все ложные срабатывания или более качественным анализом, или сменой ключевой фразы.
                  Почему этого не было сделано — вопрос. Но это применимо только к воспроизводимым ложным срабатываниям (Colorado — Cortana, Seriously — Siri или любое Hey для гугла)
                  Отдельный вопрос это длительные передачи (может для вас конкретно 20 секунд речи это немного, но это огромный пак не-обезличенных данных суммарно) в случае ложной сработки и невоспроизводимые рандомные срабатывания (это, собственно, показывает абсолютную несостоятельность распознавания, посколько активирование после ключевое фразы — это базовая функция устройства).

                0
                Ну все логично, она и должна слушать окружающее, чтобы понимать, что она должна включиться на голос. Другой вопрос, что все верят, что просыпаться она должна по «Алиса, мелофон у меня...», но на деле, думаю, компании, которые зарабатывают на рекламе, просто не могут не слушать окружающий контент.
                Кстати, мы все балдеем от каких-нибудь Звездных саг, где главный герой обращается «Корабль, включи метеоритные щиты», но начинаем ежиться, когда предназначенное для этого устройство вдруг нас слушает. Сосед в метро тоже слушает, но многие даже не задумываются об этом, рассказывая по телефону приятелю, как вчера он весело дунул и погудел. А по сути ситуации ничем не отличаются. Колонка хоть слушает в автоматическом режиме и анализирует голос, чтобы быть полезной (вам или производителю, который составляет ваш профиль), а вот сосед по метро что за человек — большой вопрос.
                  +1
                  Сосед в метро тоже слушает, но многие даже не задумываются об этом, рассказывая по телефону приятелю, как вчера он весело дунул и погудел. А по сути ситуации ничем не отличаются.
                  Не соглашусь, отличаются.
                  Соседям в метро глубоко фиолетово кто где и как гудел.
                  (Исключения думаю есть: разве что чисто чтобы поржать, ну или сотрудники соответствующих служб/органов могут вполне заинтересованно прислушиваться)
                  Умная колонка же вполне целенаправленно анализирует вашу речь, чтобы потом прорекламировать вам что-то что вы можете купить (а корпорация соотв. получить профит).
                  Т.о. условному соседу пофиг, а корпорациям очень даже нет.
                    0

                    Ну тут можно спорить, просто вероятность, что рассказ в метро будет интересен ниже. Мошенники они такие. И их достаточно, чтобы присесть на уши

                  0

                  Да ни можыт такова быт

                    0

                    Ну они же не специально… (без сарказма), так что вряд ли это слежкой можно назвать. К тому же, кому интересно слушать, как я слушаю "разный контент"? АНБ, ФСБ, РПЦ, ЦРУ и через мобильный телефон все услышат, если захотят.

                      0
                      Ха-ха, Алиса вот в тесте не участвовала, но я-то знаю, что она так внимательно во что-то вникает, что если невовремя задать вопрос, то начинает хамить на тему, что она мол не обязана всё слышать и понимать с первого раза ))))

                      Но если серьёзно.
                      Все так боятся этих умных колонок… Как насчёт микрофонов в умных телефонах, умных телевизорах, глупых ноутбуках?
                        0
                        Бабушки у подъезда — вот кто злейший враг)))
                        0
                        У меня 3 Алексы.
                        — прокрутил фразы для из списка алексы через гугл, несколько разных конфигураций уровня громкости, несколько раз проговорил самостоятельно, находясь на разном удалении от колонки — 0 реакции.
                        — замечал, иногда реагирует при просмотре контента. Иногда. У меня она стоит на столе и ее отчетливо и громко слышно, когда она начинает слушать, еще и светиться. Реагирует так же на видео с ютуба.
                        — не припоминаю ни единого случая, что бы она включилась случайно при разговоре с кем-то живым.
                        — почти всегда сработает, если в фразе есть составная часть *alex*.

                        На мой взгляд, это косяки энергоэффективного алгоритма, который ложно распознает wake-up фразы в звуковом потоке.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое