Исследователи восстановили звук из колебаний предметов на видеозаписи



    Звук является колебаниями определённой частоты, которые распространяются в окружающем источник пространстве. Эти волны достигают находящиеся рядом объекты и заставляют их испытывать вибрации. Группа исследователей Массачусетского технологического института сумела на основании этих вибраций, видимых на видеозаписи, частично восстановить исходный звук с некоторыми искажениями.

    В работе Эйб Дэвис, Майкл Рубинштейн, Нил Вадхва, Гаутам Майсор, Фредо Дуранд и Уильям Фриман использовали камеру, записывающую видео с частотой несколько тысяч кадров в секунду, и такие распространённые и подверженные вибрациям предметы, как фольга пакета чипсов, листья комнатного растения, грань коробки с салфетками или стакан с водой. Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.

    Качество восстановленного звука позволяет разделять отдельные слова и имеет относительно высокие показатели отношения сигнал-шум. Восстановленные аудиозаписи даже позволяют смутно различать речь человека или использовать сервисы распознавания музыки.

    В представленном выше видеоролике на отметке 00:45 или на странице проекта показаны исходный звук (исследователи использовали хорошо известную любому, интересующемся историей звукозаписи, песенку «У Мэри был барашек») и восстановленный звук, при этом колебания на высокочастотном видео не видны невооружённому глазу — вибрации достигают менее сотой пикселя.

    Затем в видеоролике на отметке 1:50 демонстрируется оригинальный звук, записанный микрофоном сотового телефона, и восстановленный звук человеческой речи. При этом камера находилась на некотором удалении от вибрирующего от звуковых волн пакета чипсов, а между ней и объектом располагалось стекло, что увеличивало сложность задачи. Исследователи опять использовали первую из записанных на фонограф Томаса Эдисона песен.

    На отметке 2:35 показано, что сервисы распознавания музыки способны «узнавать» восстановленные аудиозаписи, в частности была распознана песня Under Pressure группы Queen.

    Представленные выше результаты были получены с камер с частотой съёмки в тысячи кадров в секунду. Но также было показано, что артефакты съёмки обычных бытовых видеокамер (в частности, роллинг шаттер) иногда можно использовать для получения звука с частотой куда выше, чем частота кадров оригинальной видеозаписи.

    Результаты изменённой техники можно увидеть на отметке 3:35, исследователям удалось восстановить частоту более чем в пять раз выше частоты кадров видеозаписи. Использовался всё тот же MIDI-файл с мелодией детской песенки.

    Больше информации и аудиозаписей доступно на странице проекта. Группа исследователей обещает опубликовать код проекта в скором будущем.
    Поделиться публикацией

    Комментарии 42

      –4
      Очень полезная функция, ведь сейчас уже «каждый второй» пишет видео с частотой в несколько тысяч кадров в секунду )))
        +3
        >> но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду
        Конечно тоже не совсем обычная запись… Но все же)

        И потом, речь идет не только о готовых записях, прямое наблюдение тоже годится — вполне себе канал утечки информации… Посмотрите ролик.
          –3
          Да, но даже если говорить только о «голосе» это частоты от 85 до 255 Гц, т.е. уже «много» больше 60.
          А восстановить звук до 60 Гц представляется мало-интересным, согласитесь.
            +2
            Соглашусь, но в тексте есть следующая неочевидность:

            Цитата:
            Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.
            Качество восстановленного звука позволяет разделять отдельные слова и имеет относительно высокие показатели отношения сигнал-шум.

            То есть, если последнее предложение относится и к 60 кадров/сек, видимо они как-то расширяют частотный диапазон.
              –3
              Я могу допустить что речь идёт всего-лишь о кратных 60 Гц частотах, но это будет и правда — ОЧЕНЬ отдельные слова.
              Иначе — в моей голове «математика» перестаёт работать… )))
                +3
                Написали же про роллинг шаттер.
                Считывание строк происходит на гораздо большей частоте, а вибрирующую поверхность наверняка можно расположить под нужным углом.
              +4
              Пожалуйста, прочитайте уже наконец пост — им удалось восстановить колебания с частотой более чем в пять раз выше, чем фреймрейт камеры.
                –7
                Возможно — кратные (как писал выше), но как вы представляете себе восстановить всё — выше разрешающей способности инструмента?
                  +6
                  Пожалуйста, прочитайте пост или хотя бы посмотрите видеоролик — за счёт использования артефактов типа роллинг шаттер. Не надо писать комментарии с вопросами, ответы на которые есть в топике.
                    +2
                    Rolling shutter — съемка происходит не моментально, а построчно. Таким образом, в идеале, за 1 секунду мы можем отснять звук с частотой до 60*height Гц.
                +2
                А если речь не о записи, а о прямом наблюдении, но по принципу «колебаний предметов» работают лазерные микрофоны, что не требует технической необходимости «снимать» видео с описанными скоростями.
                  +2
                  Да, но такой съем возможен лишь с предмета «на первой линии» (стекло) и с определенных пространственных точек. Защититься от него довольно просто — заставляем стекло рандомно колебаться. Этим же способом можно снимать звук хоть через пятерной стеклопакет. Другое дело что режимным помещениям положены жалюзи и т.п.)
                    0
                    Да, действительно, в этих условиях есть преимущество. Сразу в голову не пришло.
                    • НЛО прилетело и опубликовало эту надпись здесь
                        +1
                        Вот только жалюзи тоже могут колебаться. Oh, shi…
                          +2
                          Смотря какие
                          • НЛО прилетело и опубликовало эту надпись здесь
                              +1
                              на Лубянке используют рефленое стекло
                    +5
                    Военные техники уже давно научились снимать звук с вибрирующих объектов (стекол) (прослушка помещений). Постепенно эти технологии конечно же переходят и в бытовое использование. Но я вот совершенно не представляю зачем мне такой девайс нужен.
                      +1
                      Давайте отпустим фантазию: подходите вы к окну, наводите смартфон на соседнюю многоэтажку, и возле каждого окна на экране появляется кнопочка «послушать, о чём сейчас говорят в этой квартире».
                        +8
                        Я как раз уехал из этого дома, где стены выстроены из фанеры, а вы мне предлагаете снова смастерить эмуляцию этого безумия :) нет уж, спасибо )
                      +3
                      Крутая идея приложения для google glass. Конечно, когда у них камера станет подходящего качества.
                        +1
                        Очень круто.
                          +11
                          Сейчас депутаты увидят, что наука способна на такое и запретят науку. А то не дело получается. Этак скоро шпионское ПО будет на каждом шагу!
                            +1
                            Поговорим о защите от прослушки таким методом.

                            Варианты?
                              +3
                              Самонаводящаяся лазерная турель, сжигающая матрицу в камере :)
                              А вообще, можно выключить свет.
                                +1
                                почти все камеры чувствительны к ИК :)
                                  +1
                                  Нужен же источник ИК.
                                    +1
                                    А это не проблема. Человек-то все равно его не видит.
                                      +1
                                      Подсветку сделать? Прожектор понадобится очень мощный, если издалека светить.
                                +2
                                Модуляция освещения шумом на близкой частоте.
                                  +2
                                  Гуглить систему «Соната». Для любителей совместить полезное с приятным можем предложить дизель-генератор.
                                    +1
                                    Вентилятор.
                                    +3
                                    Интересно будет послушать, что говорят на съемочной площадке до переозвучивания фильма. По идее команды режиссера, разговоры за кадром и пр, должны хорошо считаться…
                                      +1
                                      Мне кажется, эффект скользящего затвора в камерах типа RED, которыми снимают кино, выражен в гораздо меньшей степени, чем в камере мобильного телефона, например.
                                        +1
                                        Зато качество картинки куда выше…

                                        По идее роллинг шаттер должен быть и на кинопленках, особенно старых. Кто знает, может когда-нибудь мы все же услышим голоса актеров и режиссеров немного кино?
                                      +1
                                      Я знал, что в чипсах больше нехороших вещей, чем кажется на первый взгляд.
                                        +1
                                        В спец службах давно применяют нечто подобное.
                                        Лазер+Микрофон и можно снимать звук со стекла здания в 300 метрах.
                                        0
                                        Исследователи восстановили звук из колебаний предметов на видеозаписи

                                        Это очень просто программируется — за день можно программку слепить

                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.