Как стать автором
Обновить

Google проверяет все файлы, загруженные на его сервисы, по базе хешей — и при необходимости отправляет данные в полицию

Время на прочтение3 мин
Количество просмотров234K
Недавняя новость вызвала довольно большой резонанс на Западе, но полностью прошла мимо нас.
В начале ноября благодаря Гуглу в Калифорнии арестовали подозреваемого в хранении детской порнографии — он залил пару известных фотографий в свой (закрытый?) альбом на Picasa.

Казалось бы, ничего необычного, все согласуется с Terms of Service пикасы и гугл драйва:

Сексуальное насилие над детьми. В Google запрещено публиковать изображения сексуального насилия над детьми. Если мы получим уведомление о том, что кто-то публикует или распространяет подобные изображения, мы удалим аккаунт этого пользователя и направим отчет о его действиях в правоохранительные органы.

Because of the gravity of the issue, we repeat that we don't allow materials that promote or depict unlawful or inappropriate sexual acts with children or animals. Google has a zero-tolerance policy against child sexual abuse imagery. If we become aware of child sexual abuse imagery on our properties, the content will be removed and we will report it and its owners and purveyors to the appropriate authorities. This means that you can't use our services to create, possess, or distribute child sexual abuse imagery, and you can't use our services to create a gallery of children's pictures with sexually explicit commentary, for example.

Но в статье подробно рассказывается, как на самом деле реализовано это «получим уведомление».
Google says if you have an account with them, it’s not just indiscriminately searching through your pictures, but their servers are looking for possible digital fingerprints the FBI may be interested in.

The company says its database is share with law enforcement and watchdog groups such as the Internet Watch Foundation and the National Center For Missing And Exploited Children.

When an image is found, an employee will inspect it to make sure it’s actual abuse and not just a picture of a child at bathtime.

Итого, каждая фотография, загружаемая на Пикасу (даже в закрытый альбом) проверяется на совпадение хешей с базой незаконного контента.
Учитывая, что TOS одинаков и на другие сервисы Гугла, как минимум Google Drive тоже занимается аналогичными проверками, а возможно и Gmail.

В Европе и США такое поведение вызвало дискуссии, насколько оно допустимо и насколько далеко готов зайти Гугл.
Проверка почты на ключевые слова и хеши файлов? Может быть, проверка локальных машин гугл хромом? Чего же не сделаешь ради защиты детей!

Добавлю, что в базе данных могут встретится и весьма неожиданные результаты, например
en.wikipedia.org/wiki/Internet_Watch_Foundation_and_Wikipedia
или хентай — в штатах он легален, но в Австралии, Канаде, Англии — нет.

Upd.
В качестве функции хеширования используется не стандартный алгоритм вроде md5 или sha-1, а аналог PhotoDNA от Микрософта, который может определить фотографию даже после ресайза или изменения цвета.
Программа PhotoDNA умеет анализировать изображение и оценивать его содержимое, определяя, размещены ли на снимке фотографии с детским порно. Программа отличается высокой скоростью обработки данных – для оценки фотографий приложению требуется менее пяти миллисекунд, точность оценки фотографий – порядка 98%. PhotoDNA умеет распознавать и оценивать картинку даже в том случае, если фотография подвергалась редактированию. При этом число ложных срабатываний тоже не велико – около одного на миллиард проанализированных фотографий.

При создании PhotoDNA использовалась технология «надежного хеширования» (robust hashing). Эта технология позволяет на основе ряда особенностей цифрового снимка сравнить его с картинками из базы данных порноснимков. Набор характеристик – хэш-тегов не меняется в процессе редактирования картинки, в отличие от других технологий хеширования снимков. Это позволяет определить порнографию даже на тех картинках, которые были отредактированы. База данных фото, с которыми сравнивается содержимое картинок, содержит более 30 млн. фотографий и видеороликов. Технологию robust hashing еще можно сравнить с использованием анализа отпечатков пальцев человека.
Теги:
Хабы:
Всего голосов 117: ↑110 и ↓7+103
Комментарии341

Публикации

Истории

Ближайшие события

27 августа – 7 октября
Премия digital-кейсов «Проксима»
МоскваОнлайн
28 сентября – 5 октября
О! Хакатон
Онлайн
3 – 18 октября
Kokoc Hackathon 2024
Онлайн
10 – 11 октября
HR IT & Team Lead конференция «Битва за IT-таланты»
МоскваОнлайн
25 октября
Конференция по росту продуктов EGC’24
МоскваОнлайн
7 – 8 ноября
Конференция byteoilgas_conf 2024
МоскваОнлайн
7 – 8 ноября
Конференция «Матемаркетинг»
МоскваОнлайн