Pull to refresh
188.55
Rating
ITSumma
Собираем безумных людей и вместе спасаем интернет

Клоакинг фотографий для защиты от систем распознавания лиц

ITSumma corporate blog Information Security *Open source *Image processing *Cyberpunk


Современные системы распознавания лиц представляют угрозу личной приватности. Уже сейчас такие системы ежедневно сканируют миллионы лиц в Китае, Великобритании и России без их согласия. Поставлена задача, чтобы в следующем году 100% пассажиров в топ-20 аэропортов США незаметно подвергали этой процедуре.

Исследователи из Чикагского университета придумали любопытный алгоритм клоакинга, который позволяет защититься от распознавания лиц.

Дело в том, что системы распознавания лиц берут фотографии для обучения своей системы из ваших открытых данных — в основном, из профилей в социальных сетях и других открытых источников.

Например, крупнейшая система распознавания лиц Clearview.ai для обучения использовала более трёх миллиардов фотографий из интернета и социальных сетей. Clearview.ai демонстрирует, насколько легко построить такую систему распознавания на снимках из Facebook и «Вконтакте».

Так вот, новый алгоритм Fawkes эффективно подрывает базу обучения «вражеской» нейросети. Перед публикацией каждой фотографии в ней делаются незаметные попиксельные изменения, после чего она становится не то что непригодной для использования при обучении, а буквально портит систему распознавания лиц.


Схема работы Fawkes

Программа Fawkes работает локально на вашем компьютере и выполняет клоакинг фотографий. После обработки вы можете использовать фотографии как угодно — публиковать в социальных сетях, передавать друзьям или распечатывать на бумаге. В любом случае, для распознавания лиц они уже бесполезны, как показала проверка в ходе научного исследования чикагской группы.


Интуитивно понятное пояснение в 2D-пространстве из четырёх признаков A, B, U, T, почему модель, обученная на искажённых фотографиях, не распознаёт лица на оригиналах. Слева — границы принятия решений при обучении на оригиналах, справа — границы принятия решений при обучении после клоакинга

Тестирование показало, что эффект клоакинга трудно распознать при обучении нейросети и он не вызывает ошибок при обучении. Другими словами, операторы системы распознавания лиц не заподозрят ничего неладного. Но просто если кто-то попытается выполнить распознавание на вашем оригинальном изображении (например, с камер наблюдения), поиск по базе не найдёт совпадений.

Fawkes протестирован и показал эффективность 100% против самых известных моделей распознавания Microsoft Azure Face API, Amazon Rekognition и Face++.

Алгоритмы сжатия изображений тоже не портят защиту клоакинга. Исследователи проверяли материал на прогрессивном JPEG, который используется в Facebook и Twitter для пережатия картинок, на уровнях качества от 5 до 95. В общем, сжатие немного ослабляет защиту клоакинга, но при этом ещё более значительно снижается качество распознавания лиц. То есть нашей задачи помех в классификации это не мешает.

Как ни странно, заблюривание фотографий и применение разных графических фильтров тоже не снимает защиту, поскольку по своей сути клоакинг происходит не на уровне пикселей, а на уровне пространства признаков, то есть пиксельные измененимя на самом деле имеют глубокую природу и не стираются в растровом редакторе.

Техническая статья с описанием алгоритма (pdf) будет представлена на ближайшем симпозиуме USENIX по безопасности 12?14 августа 2020 года.

Кстати, название программы позаимствовано от маски Гая Фокса из фильма «V — значит вендетта».

Скачать программу:


Инструкции по установке

Исходный код Fawkes на GitHub
Tags:
Hubs:
Total votes 34: ↑33 and ↓1 +32
Views 12K
Comments Comments 8

Information

Founded
Location
Россия
Website
www.itsumma.ru
Employees
101–200 employees
Registered
Representative
ITSumma