Современные системы распознавания лиц представляют угрозу личной приватности. Уже сейчас такие системы ежедневно сканируют миллионы лиц в Китае, Великобритании и России без их согласия. Поставлена задача, чтобы в следующем году 100% пассажиров в топ-20 аэропортов США незаметно подвергали этой процедуре.
Исследователи из Чикагского университета придумали любопытный алгоритм клоакинга, который позволяет защититься от распознавания лиц.
Дело в том, что системы распознавания лиц берут фотографии для обучения своей системы из ваших открытых данных — в основном, из профилей в социальных сетях и других открытых источников.
Например, крупнейшая система распознавания лиц Clearview.ai для обучения использовала более трёх миллиардов фотографий из интернета и социальных сетей. Clearview.ai демонстрирует, насколько легко построить такую систему распознавания на снимках из Facebook и «Вконтакте».
Так вот, новый алгоритм Fawkes эффективно подрывает базу обучения «вражеской» нейросети. Перед публикацией каждой фотографии в ней делаются незаметные попиксельные изменения, после чего она становится не то что непригодной для использования при обучении, а буквально портит систему распознавания лиц.
Схема работы Fawkes
Программа Fawkes работает локально на вашем компьютере и выполняет клоакинг фотографий. После обработки вы можете использовать фотографии как угодно — публиковать в социальных сетях, передавать друзьям или распечатывать на бумаге. В любом случае, для распознавания лиц они уже бесполезны, как показала проверка в ходе научного исследования чикагской группы.
Интуитивно понятное пояснение в 2D-пространстве из четырёх признаков A, B, U, T, почему модель, обученная на искажённых фотографиях, не распознаёт лица на оригиналах. Слева — границы принятия решений при обучении на оригиналах, справа — границы принятия решений при обучении после клоакинга
Тестирование показало, что эффект клоакинга трудно распознать при обучении нейросети и он не вызывает ошибок при обучении. Другими словами, операторы системы распознавания лиц не заподозрят ничего неладного. Но просто если кто-то попытается выполнить распознавание на вашем оригинальном изображении (например, с камер наблюдения), поиск по базе не найдёт совпадений.
Fawkes протестирован и показал эффективность 100% против самых известных моделей распознавания Microsoft Azure Face API, Amazon Rekognition и Face++.
Алгоритмы сжатия изображений тоже не портят защиту клоакинга. Исследователи проверяли материал на прогрессивном JPEG, который используется в Facebook и Twitter для пережатия картинок, на уровнях качества от 5 до 95. В общем, сжатие немного ослабляет защиту клоакинга, но при этом ещё более значительно снижается качество распознавания лиц. То есть нашей задачи помех в классификации это не мешает.
Как ни странно, заблюривание фотографий и применение разных графических фильтров тоже не снимает защиту, поскольку по своей сути клоакинг происходит не на уровне пикселей, а на уровне пространства признаков, то есть пиксельные измененимя на самом деле имеют глубокую природу и не стираются в растровом редакторе.
Техническая статья с описанием алгоритма (pdf) будет представлена на ближайшем симпозиуме USENIX по безопасности 12?14 августа 2020 года.
Кстати, название программы позаимствовано от маски Гая Фокса из фильма «V — значит вендетта».
Скачать программу:
Инструкции по установке
Исходный код Fawkes на GitHub
