Комментарии 26
Неделю назад писал письмо разработчику «Fawkes» и его команде «Fawkes team», с просьбой помочь подтвердить работу алгоритма. Но ответного письма пока не получил.
А почему не issue на гитхабе?
А вы пробовали скормить проверялкам клоакнутое фото и другие свои фото, а не собственно оригинал?
— То есть взять два фото оригинала r1.jpg/r2.jpg.
— Клоакнуть их.
— Получатся ещё два новых: r1_min_cloaked.png/r2_min_cloaked.png.
— И в «проверялках» сравнить: r1_min_cloaked.png и r2_min_cloaked.png?
— Клоакнуть их.
— Получатся ещё два новых: r1_min_cloaked.png/r2_min_cloaked.png.
— И в «проверялках» сравнить: r1_min_cloaked.png и r2_min_cloaked.png?
Проверил только, что два «клоакнутых» фото (получены из разных исходников/оригинальных фото, но один человек).
Результат: Confidence is 0.87441.
Проверял тут: azure.microsoft.com/en-us/services/cognitive-services/face/#demo
Результат: Confidence is 0.87441.
Проверял тут: azure.microsoft.com/en-us/services/cognitive-services/face/#demo
нет, сравнить оригинал r1.jpg и r2_min_cloaked.png
Обама на фото после обфускации чем-то неуловимо напоминает сильно загоревшего октёра Панина
Напомнило
То есть по состоянию на середину сентября «Fawkes» не работает. Возможно, конечно, «Fawkes» работала в августе 2020 года. Но в сентябре 2020 году — уже не работает.
А мне кажется, что из вашей проверки еще нельзя сделать такой вывод. Наверное весь смысл программы fawkes не в том чтобы из вашего фото делать «самку горилы», а чтобы другие люди не могли пропарсив интернет по одному вашему фото найти все остальные без больших усилий. У меня нет достаточных навыков программиста, но методику эксперимента я вам попробую накидать:
1)Возьмите достаточно большую базу фотографий и присоедините с десяток своих снимков.
2)Используя еще одно изображение своей персоны, определите каков должен быть порог срабатывания алгоритмов поиска лиц, чтобы среди отобранных ими оказалось по крайней мере 70% добавленных вами изображений себя. Запомните число n всех отобранных фотографий, понятное дело туда попадут снимки не только вас, но и похожих на вас людей
3)Измените с помощью fawkes все свои фото в датасете, кроме эталонного. Снова найдите такой порог срабатывания программ распознавания, при котором в отобранной ими группе фотографий будут присутствовать по крайней мере 70% всех добавленных вами фото завуалированного себя. Посчитайте число m всех фото в отобранной группе.
4) Найдите отношение m/n. Если оно порядка 100, значит оксфордская программа работает «зашибись», если порядка 10, то — на троечку, ну а если порядка 2-3, то пишите разгромный пост на английском.
Методика придумана на коленке за пять минут, возможны уточнения и дополнения, и как всегда: «перед применение проконсультируйтесь со специалистом»
Соглашусь. Я пробовал найти себя по фото, обработанным Fawkes, с помощью сервиса поиска по фото в вк и точность распознавания стала гораздо ниже
Спасибо за предложение. Конструктивно.
Уточню:
что понимается под порогом срабатывания алгоритмов поиска? Из фразы выше, как мне кажется, следует, что я могу управлять порогом алгоритмов поиска.
И второй вопрос, если позволите:
что имеется ввиду под «алгоритмами поиска»?
Уточню:
определите каков должен быть порог срабатывания алгоритмов поиска лиц
что понимается под порогом срабатывания алгоритмов поиска? Из фразы выше, как мне кажется, следует, что я могу управлять порогом алгоритмов поиска.
И второй вопрос, если позволите:
что имеется ввиду под «алгоритмами поиска»?
Насколько я мог заметить по скриншоту программы сличения лиц дают некоторую числовую оценку похожести от 0 до 1. Теперь о том, как с помощью такой программы сделать свой алгоритм поиска лиц с порогом срабатывания Δ. Возьмем эталонную фотографию и скаждым фото из датасете определим числовую величину ее схожести. Отберем все фото датасета, схожесть которых с эталонной оказалась не меньше Δ. В моем ответе предполагалось, что Δ может иметь значения в некой дискретной шкале, например с шагом в 1/100, поэтому там и появилась фраза: наибольший порог срабатывания, при котором среди подмешенных фотографий алгоритм поиска отбирает не менее 70%. С процентом тоже можно поиграться, разумеется.
В оригинальной статье:
• Experiments show 100% success against state-of-the-art facial recognition services from Microsoft (Azure Face API), Amazon (Rekognition), and Face++. We first “share” our own (cloaked) photos as training data to each service, then apply the resulting models to uncloaked test images of the same person.
• In challenging scenarios where clean, uncloaked images are “leaked” to the tracker and used for training, we show how a single Sybil identity can boost privacy protection. This results in 80+% success in avoiding identification even when half of the training images are uncloaked.
Здесь же проверяется схожесть попарных сравнений. Задачу в такой формулировке решать проще и ответ будет иметь больший confidence rate просто исходя из суженной постановки. Снижение confidence rate на 2-3% для одинаковых фотографий в попарных сравнениях — это скорее "работает", а не "не работает". Если бы задача была переформулирована как поиск ближайших соседей в пространстве, составленном из сотен тысяч эмбедингов лиц, то кмк такие искажения от Fawkes запросто могли бы снизить точность угадывания до озвученных в статье (0%).
В общем, проверяется не то, о чем говорят авторы Fawkes, снижение confidence rate интерпретируется как незначительное и делается вывод о том, что подход не работает. Не надо так.
Поиграйся с этим параметром
-m, --mode : the tradeoff between privacy and perturbation size. Select from min, low, mid, high. The higher the mode is, the more perturbation will add to the image and provide stronger protection.
А то выбрал min и удивляешься что нет результата
Что мешает нейросетям, распознающим лица, брать все загруженные фото, обрабатывать алгоритмом fawkes — и делать два сравнения?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Защита фото от систем распознавания лиц работает?