company_banner

Клоакинг фотографий для защиты от систем распознавания лиц



    Современные системы распознавания лиц представляют угрозу личной приватности. Уже сейчас такие системы ежедневно сканируют миллионы лиц в Китае, Великобритании и России без их согласия. Поставлена задача, чтобы в следующем году 100% пассажиров в топ-20 аэропортов США незаметно подвергали этой процедуре.

    Исследователи из Чикагского университета придумали любопытный алгоритм клоакинга, который позволяет защититься от распознавания лиц.

    Дело в том, что системы распознавания лиц берут фотографии для обучения своей системы из ваших открытых данных — в основном, из профилей в социальных сетях и других открытых источников.

    Например, крупнейшая система распознавания лиц Clearview.ai для обучения использовала более трёх миллиардов фотографий из интернета и социальных сетей. Clearview.ai демонстрирует, насколько легко построить такую систему распознавания на снимках из Facebook и «Вконтакте».

    Так вот, новый алгоритм Fawkes эффективно подрывает базу обучения «вражеской» нейросети. Перед публикацией каждой фотографии в ней делаются незаметные попиксельные изменения, после чего она становится не то что непригодной для использования при обучении, а буквально портит систему распознавания лиц.


    Схема работы Fawkes

    Программа Fawkes работает локально на вашем компьютере и выполняет клоакинг фотографий. После обработки вы можете использовать фотографии как угодно — публиковать в социальных сетях, передавать друзьям или распечатывать на бумаге. В любом случае, для распознавания лиц они уже бесполезны, как показала проверка в ходе научного исследования чикагской группы.


    Интуитивно понятное пояснение в 2D-пространстве из четырёх признаков A, B, U, T, почему модель, обученная на искажённых фотографиях, не распознаёт лица на оригиналах. Слева — границы принятия решений при обучении на оригиналах, справа — границы принятия решений при обучении после клоакинга

    Тестирование показало, что эффект клоакинга трудно распознать при обучении нейросети и он не вызывает ошибок при обучении. Другими словами, операторы системы распознавания лиц не заподозрят ничего неладного. Но просто если кто-то попытается выполнить распознавание на вашем оригинальном изображении (например, с камер наблюдения), поиск по базе не найдёт совпадений.

    Fawkes протестирован и показал эффективность 100% против самых известных моделей распознавания Microsoft Azure Face API, Amazon Rekognition и Face++.

    Алгоритмы сжатия изображений тоже не портят защиту клоакинга. Исследователи проверяли материал на прогрессивном JPEG, который используется в Facebook и Twitter для пережатия картинок, на уровнях качества от 5 до 95. В общем, сжатие немного ослабляет защиту клоакинга, но при этом ещё более значительно снижается качество распознавания лиц. То есть нашей задачи помех в классификации это не мешает.

    Как ни странно, заблюривание фотографий и применение разных графических фильтров тоже не снимает защиту, поскольку по своей сути клоакинг происходит не на уровне пикселей, а на уровне пространства признаков, то есть пиксельные измененимя на самом деле имеют глубокую природу и не стираются в растровом редакторе.

    Техническая статья с описанием алгоритма (pdf) будет представлена на ближайшем симпозиуме USENIX по безопасности 12?14 августа 2020 года.

    Кстати, название программы позаимствовано от маски Гая Фокса из фильма «V — значит вендетта».

    Скачать программу:


    Инструкции по установке

    Исходный код Fawkes на GitHub
    ITSumma
    Собираем безумных людей и вместе спасаем интернет

    Комментарии 8

      +6
      Вряд ли это надолго поможет. Достаточно переобучить модели распознавания на датасете лиц с клоакингом и без. Модель научится выделять другие признаки, не искаженные. Пока человек может различать лица — теоретически, это сможет и машина.
        –1

        Клоакинг, конечно, здорово, но может клокинг (или вообще русский аналог найти)? Cloak читается как klōk, а с текущим вариантом совершенно другие ассоциации...

          0
          Клоакинг… Знаете, а мне даже нравится.
          На слух русскоговорящего меня, чисто семантически, сразу понятен принцип работы метода. Мы, как бы специально, «портим» фотографии. Насыщаем их, так сказать, излишним мусором и отходами…
            0
            Мы, как бы специально, «портим» фотографии.

            Угу, засовавая их в клоаку.


            Есть же нормальное слово — "маскировка". Можно — "малозаметное искажение", в конце концов...

              +2
              Мне больше про физиологию птиц это термин напоминает…
                +1
                У меня машина регулярно подвергается клоакингу, если я её под деревом неосторожно забываю…
            0
            Клоакинг Феникс… простите, не удержался
              0

              Только я одного не понимаю, ну допустим кто то "испортит" изображение, что мешает добавить преобразование в виде "пастеризации" перед добавление к обучающий выборке.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое