Как мы тестировали технологию распознавания лиц и что из этого вышло



    Технологии биометрии стремительно проникают в нашу жизнь. Распознавание лиц появляется в гаджетах. Банки по всему миру приходят к использованию этой технологии в банкоматах. Камеры сети видеонаблюдения, подключенные к системе распознавания лиц, призваны помочь правоохранительным органам в поимке преступников. С помощью лица можно логиниться в сервисах и подтверждать платежи. И это, как и всегда в случае с высокими технологиями, разумеется, только начало. Лицо становится нашим пропуском, визиткой, платежным средством. Его нельзя забыть или потерять (разве что в фигуральном смысле). Но хорошо ли защищена эта технология?

    Мы решили взять несколько популярных девайсов и попробовать обойти проверки, основанные на технологии face recognition, начав с простого, с face unlock (разблокировки по лицу).

    Примечание: Гаджеты для исследования были предоставлены сотрудниками компании. Описанный в топике эксперимент проводился весной 2019 года, поэтому в нем приняли участие смартфоны не самых последних моделей.

    В ролях:


    • OnePlus 5T
    • Samsung Galaxy S8
    • Windows Hello + Intel RealSense
    • iPhone X
    • Александр Полунин, идейный вдохновитель и опытная модель (обход технологии по фото)
    • Павел Новиков, специалист по IoT-девайсам и образец для 3D-модели
    • Дамир Зайнуллин, исследователь и модель для самодельной маски
    • А также Анна Давыдова, Наталья Фролова, Антон Карпин и Чак Норрис

    Итак, в нашем распоряжении было четыре девайса, в одном из них — Samsung Galaxy S8 — помимо технологии распознавания лица использовалась также технология распознавания по сетчатке глаза (Iris Scanner).

    Было выделено две программно-аппаратные технологии, которые применяются в этих девайсах. Первая — это старая технология распознавания по фото, то есть по плоскому изображению. Программа пытается сопоставить изображение с тем, что видит камера, и предоставляет или не предоставляет доступ к защищаемой информации. Обход этой технологии тестировался на смартфонах OnePlus и Samsung.

    Вторая технология, более совершенная, использует лазерную проекцию точек на поверхность, в результате получается своеобразная сетка. Инфракрасная камера, встроенная в девайс, считывает отражение данной сетки и по длительности возврата сигнала от каждой точки понимает глубину и формы объекта, который стоит перед камерой. Таким образом получается трехмерное изображение. Данная технология используется в Windows Hello и iPhone X (а также в популярной камере Kinect).

    Для обхода были использованы четыре способа:

    1. цветное фото, распечатанное на принтере;
    2. фото в инфракрасном спектре, распечатанное на принтере в черно-белом цвете;
    3. самодельная маска;
    4. нераскрашенная 3D-модель лица, уменьшенная копия.



    Павел Новиков с уменьшенной копией 3D-модели своего лица

    Сразу скажем, что для обхода технологии распознавания мы использовали наименее затратные и наиболее быстрые способы. Например, раскрашенная 3D-модель в натуральную величину — это сложно и дорого. Технология Iris Scanner в Samsung позволяет делать достаточно четкие фотографии сетчатки глаза в инфракрасном спектре. Нам не удалось обойти эту технологию, но мы натолкнулись на очень занимательную статью с примерами обхода. Судя по этой статье, необходимо сделать очень качественный снимок глаза на хорошую камеру, распечатать этот снимок и придать ему объем, приклеив контактные линзы, или, в другом варианте, придать блеск с помощью клея. Конечно, в реальной жизни сложно себе представить человека, который позволит незнакомцу сделать снимок собственных глаз с близкого расстояния. Если же снимать издалека, понадобится очень мощный телеобъектив (да и сама жертва вряд ли будет достаточно неподвижной).

    Другими словами, практическая значимость такого метода в любом случае крайне мала, поскольку он требует существенных материальных вложений и стечения ряда обстоятельств. При моделировании атаки мы должны, среди прочего, понимать сложность ее реализации.

    Для первого способа обхода мы распечатали цветное фото лица на листе формата А4.



    Александр Полунин на цветном и черно-белом фото к распознаванию готов

    Эксперименты показали, что первый, устаревший метод определения успешно и стабильно обходится на двух смартфонах, которые были в нашем распоряжении, — OnePlus 5T и Samsung S8.

    При хорошем освещении метод обхода с помощью цветного фото не дал результата, смартфоны не разблокировались. При слабом освещении оба телефона «опознали» фотографию. Как говорилось выше, в обоих девайсах используется самая простая технология — распознавание по цветной фотографии, при котором плоское цветное изображение того, что видит камера, сопоставляется с тем, что у нее записано как образец.

    Не сработал второй метод — фото, сделанное в инфракрасном спектре и распечатанное на принтере; оно черно-белое и сенсор его не улавливает, ему нужно цветное фотоизображение.

    Проще говоря, обойти эту технологию можно скачав фото в соцсетях и заплатив пару сотен рублей за распечатку цветного фото в любом фотосалоне.

    Технология распознавания по сетчатке глаза Iris Scanner тестировалась на Samsung S8. Как было сказано выше, эту технологию не удалось обмануть цветным фото глаз. Так как камера и сенсор должны «смотреть» хозяину прямо в глаза, смартфон нужно поднести близко; глаза появляются на экране, нужно навести взгляд на это изображение, включается инфракрасная подсветка. Фронтальная камера фотографирует глаза и рисунок сетчатки. Мы предположили, что качественное распечатанное фото глаз должно разблокировать девайс. Мы добились, чтобы камера «поняла», что мы показываем ей глаза, но детализации картинки не хватило, чтобы обучить систему. Как мы упоминали выше, из статьи других исследователей с сэмплами фото, которыми нужно обманывать данную технологию, стало понятно, что способ обхода технологии существует, однако он получался относительно трудоемким и недешевым.

    Что касается второй, более современной технологии, используемой в Windows Hello и iPhone X, то здесь мы наткнулись на ряд любопытных нюансов.

    Использование цветного фото (1-й способ) не сработало ни на одном из девайсов, поскольку на фото — плоское изображение, а в Windows Hello, как и в iPhone X, используется трехмерная модель; технология позволяет «видеть» трехмерный объект, который расположен перед камерой, его глубину.

    Надо заметить, что у технологии Windows Hello разное применение. Она используется для сканирования, для виртуального моделирования в компьютерных играх: показываешь ей руку — она строит виртуальный скелет, и ты можешь этой виртуальной рукой, используя собственную, осуществлять различные манипуляции в игре. Распознавание в Windows Hello идет по двум критериям — по отпечатку пальца и по лицу; последний позволяет логиниться в Windows просто сев за компьютер. Камера распознает хозяина даже в темной комнате. Именно поэтому этой технологии не нужен цвет в его привычном понимании. В камере два сенсора изображения: один цветной, а второй инфракрасный, который считывает матрицу, проецируемую на объект, и видит его в инфракрасном свете.



    Объемное изображение с камеры Intel RealSense. Подобным образом нас «видит» система распознавания лиц. Здесь на пользователе солнцезащитные очки. Камера не получает информации о глазах, но доступная информация о лице позволяет пользователю авторизоваться

    Мы сняли с помощью камеры Intel RealSense инфракрасную фотографию, распечатали ее на черно-белом принтере и попробовали авторизоваться (2-й способ). До весны 2018 года этот довольно простой способ срабатывал. Оказалось, что в ПО девайса была ошибка: при авторизации не учитывались глубина и объем. В апреле 2018 года разработчики ошибку исправили.

    Самодельная маска (3-й способ) не позволила обмануть ни одну технологию — ни старую, двухмерную, ни трехмерную.

    В случае с 3D-моделью лица (4-й способ) Windows Hello вела себя необычно. Когда мы направляли камеру для обучения на данную модель, система обводила лицо, которое она «увидела». При обучении иногда это происходило, иногда нет, но при этом система все равно обучалась.

    Технология в камере Intel RealSense позволяет пользователю дообучить систему. Скажем, выросла у тебя борода или ты получил фингал под глазом, и система перестала тебя узнавать. В этом случае у тебя есть возможность дообучить ее. Как оказалось, в действительности она не добавляет к созданному образу какие-то изменения, не улучшает его, а просто создает дополнительный образ. Таким способом мы смогли добавить в систему пять совершенно разных лиц для одной учетной записи Windows, и все пять человек имели возможность залогиниться под этой учетной записью.

    В случае с iPhone X инфракрасное фото показало схожесть технологии Face ID с технологией Intel RealSense. Система распознала, что это лицо, и позволила обучить себя. Но при этом распечатав изображение реального пользователя, который занесен в iPhone, залогиниться не удалось: объем по-прежнему играет роль. Принцип прост: по чему обучили — по тому и авторизовались. Обучили по картинке — залогинились по картинке. Обучили по лицу — по фото система не авторизовала.

    Мы также выяснили, что в iPhone для работы Face ID камере необходимо «видеть» хотя бы треть лица. (В принципе, можно считать это потенциально слабым местом: для подделки нет необходимости воспроизводить лицо полностью.) Вас распознают, если вы надели шапку или отрастили бороду. В шапке и с бородой авторизоваться также получится, а вот в натянутой до бровей шапке и с намотанным до самого носа шарфом — уже нет. В качестве эксперимента мы последовательно закрывали части лица листами бумаги; закрывали лоб и подбородок по отдельности и вместе, половину лица и лоб с подбородком. Пробовали проделать то же самое не с листами бумаги, а с шапкой, темными очками, платком, шарфом. В ходе эксперимента стало понятно, что для разблокировки iPhone системе обязательно нужно «видеть» нос. При обучении система запоминает лицо, а далее, по всей видимости, ей достаточно фрагмента (приблизительно трети) лица, который она сопоставляет с полученным при обучении.



    Система распознает владельца, если у него закрыта нижняя часть лица



    Для разблокировки системе требуется только треть лица Чака. Главное, чтобы нос не был закрыт



    Система позволяет Ане разблокировать iPhone даже в том случае, когда на ней шарф и темные очки



    Вариант с открытым лбом и платком, закрывающим нижнюю часть лица, в том числе рот, также позволит войти в систему



    Система распознает Чака в шапке



    Скрытая за картонным роботом половина лица Ани также позволяет разблокировать устройство



    Смартфон Антона не распознает своего владельца, если в сильные морозы он замотается шарфом до самого носа

    Кстати, существует мнение, что подобные системы пропускают детей в телефоны их родителей. Мы опробовали этот метод с iPhone X, но обмануть его таким образом нам не удалось.

    В процессе роботы мы наткнулись на довольно забавный нюанс. При обучении технологии Face ID iPhone X требует, чтобы вы покрутили головой, якобы чтобы зафиксировать объемный снимок. На самом деле крутить собственной головой вовсе не обязательно. Во всяком случае медленно и аккуратно поворачивать голову из стороны в сторону и вверх-вниз нет необходимости. После того как девайс нашел лицо, можно повертеть перед камерой любым предметом. Мы, например, воспользовались клеем-карандашом: эффект выглядел абсолютно так же, и круговой индикатор равномерно заполнялся, как если бы вы поворачивали голову, давая возможность девайсу запомнить все точки лица. Выходит, это просто маркетинговый ход?





    По окончании обучения iPhone X требует покрутить головой, однако мы покрутили перед камерой обычным клеем-карандашом — и обучение состоялось



    В заключение


    Все существующие способы распознавания лица далеки от совершенства. Пока у них неплохо получается опознавать своего хозяина так, чтобы не доставлять ему неудобств, но полной гарантии, что защиту нельзя обойти простыми и дешевыми методами, они не дают. Тот же отпечаток пальца подделать гораздо сложнее: сначала его нужно получить (а это уже непросто), затем сделать его физическую копию. Даже обход PIN-кода на современных телефонах является достаточно сложной технической задачей. Что касается всех технологий распознания лица — они менее защищены и их значительно проще обойти, даже несмотря на некоторые сложности, описанные в статье. Впрочем, повсеместное распространение таких технологий со временем поспособствует, вероятно, повышению их защищенности, поскольку сенсоры и алгоритмы будут улучшаться.

    А пока рекомендуем с осторожностью пользоваться данными технологиями, например когда они соприкасаются с деньгами напрямую, таких как бесконтактная оплата или банкоматы с распознаванием лица.

    Авторы: Александр Полунин, Павел Новиков, Наталья Фролова
    Positive Technologies
    209,40
    Компания
    Поделиться публикацией

    Комментарии 18

      0
      Единственный раз, когда пользовался такой технологией — поход по озеру (т.е. когда телефон был в герметичной упаковке).
      Конечно, еще проще было бы вообще выключить блокировку экрана, но я решил, что это будет разумным компромиссом: пароль вводить уже неудобно, сканер отпечатков не сработает, зато случайный свайп без моего лица не будет тратить батарейку.
        –6
        Как познавательный материал интересно, спасибо.

        Огорчает одно, что никто из авторов и программеров подобных распозновалок не осознают отвественности перед будубщими поколениями. Где все эти «разработки» будут использованы против их же детей государством. Как и этузиасты создатели ядерной бомбы.
          –5
          А ведь еще и рады, как у них хорошо получается. Капец полный. Люди совершенно неадкватны миру в котором живут. Удалить весь код и занятся другим — лучшее решение, однако почти никому это в голову не придет.

          Тем самым мы просто приближаем полицейское государство, с камерами видищями каждый метр. Не думайте, что вас это не коснется, типа вы законопослушны. Коснется всех и еще как. Это «ядерная бомба» нашего времени. И тех, кто ее разработает, будут проклинать потомки.

          Извините за эмоции, но это все правда.
            +2
            А что не так?
            Кому-то нравится лицом разблокировать телефон и заливать все соц.сети своими фото и видео в 8к с геотегом, кто-то обходится без этого.
            Пока я не встречал «чёрных воронов», которые ездят по улицам и оцифровывают каждого.
              –3
              Коллега, если вы не видите порисходящего — это не означает что все спокойно. У МСК уже 180000 камер и везде они хотят распознавалку.

              Учтите простой факт — в т.н. «правительстве» имеют адеватное должности образование менее 10% чиновников. И закон о том чтобы требовать от них «100%» соответствия должности в принципе не возможен. Как не возможно и потребовать от «слуг народа» проходить аттестации на знание предметной области.

              Вы что, предполагаете, что выключив распознавалку в мабилке — вы избавите все человечество от проблемы? Это просто смешно. Распознавалка будет использована государствами (перевод: правящий класс) для самых грязных задач управления рабами.

              Если вам это до сих пор не ясно, извините, видимо у вас недостаточно знаний. (Пример с создателями ядерной бомбы вам что, вообще ничго не сказал?)
                +1
                3d и прочие профили нужно тренировать, обучать, а главное — соотносить с текущими данными, иначе грош им цена.
                Допусти, кто-то выделил место и деньги, поставил десяток кластеров для обработки и хранения профиля, тайно обучил специалистов, которые понимают что делают и теперь ИМ известно, что объект #807a94b4-d950-45be-ab7e-2f25349959b8 в 17.20 с вероятностью 82% был замечен камерой №178993, а в 17.25 с вероятностью 68% — камерой №078393.
                Ичо?
                  –2
                  Ну, некое здравое зерно в его рассуждениях есть. Почитайте, например, о том, какую систему внедрили китайцы в Синьцзян-Уйгурском автономном районе. Боюсь, что вероятность, с которой правительства других стран будут пытаться явно или тайно сделать то же самое, достаточно высока.
                  Под благим соусом «борьбы с терроризмом», конечно же.
                    0
                    Китайцы внедрили пилот по регионам.
                    И вы действительно уверены, что в нашей полиции / тайных властных сруктурах служит достаточно профессионалов по большим данным, чтоб поддерживать аналог китайского наблюдения?
                    И даже если все локальные разработчики систем распознавания сотрут все данные, сожгут железо и уйдут в тайгу жить — системы импортируют.
                    Трудно остановить паровоз, едущий с горы, особенно, когда этих паровозов идёт много.
                  +4
                  Если следовать вашей идеологии, то получается что абсолютно любой прогресс надо запретить.

                  Потому что практически любую технологию можно при желании использовать во зло. И я бы даже сказал что чем больше теоретической пользы может принести технология тем больше и вреда она может принести при «неправильном» использовании…
                  –1
                  Вы не встречали «черных ворпонков»? да во просто слепы. Ваш 3д профиль уже есть у гос-ва. Как и большинства из нас.
                    0
                    Можете подтвердить свои слова ?)
                      –1
                      По доступной мне от людей, которым можно доверять на 99%, инсайдерской информации (которую прямыми ссылками на документы подтвердить, конечно же, не смогу) Сбербанк и Ростелеком под предлогом сбора биометрии для идентификации своих клиентов сливают все данные в правительственные конторы.
                      Вот как-то так.
                        0

                        Очень интересная информация) Могу Вам сказать со 100% уверенностью, что это не так. Проекты сбера и РТК направлены не на это и никуда никто ничего не сливает.

                          0

                          Можете это как-то подтвердить?

                  0
                  А почему вы указали, что у сканера сетчатки известны случаи обхода, хоть они и сложны и находятся за рамками изначально оговоренных вами методов, но не указали тоже самое просто FaceID, методы обхода которого так же известны, но тоже сложны в реализации?
                    +2

                    У Самсунга сканер радужки, а не сетчатки. Сетчатку с такого расстояния крайне сложно отсканировать.

                      0
                      Инфракрасная камера, встроенная в девайс, считывает отражение данной сетки и по длительности возврата сигнала от каждой точки понимает глубину

                      Извините. Но, резанула глаз "по длительности сигнала". Существуют конечно импульсные дальномеры измеряющие расстояние исходя из скорости света и задержке возврата сигнала.
                      Но не в телефоне.


                      Статья в целом интересная. Спасибо за практические проверки.

                        0
                        При попытке просканировать лицо задушенной им девушки 29-летний молодой человек по фамилии Чжан увидел ошибку «Не обнаружено признаков жизни». Позже стало известно, что злоумышленник хотел войти в приложение Money Station, требующее от владельца моргнуть, чтобы подать признаки жизни. Обычно такая мера используется для зашиты от аутентификации с помощью фотографии владельца.

                        отсюда
                        Защита от статических картинок

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое