Инструмент AI распознает изображения жестокого обращения с детьми с точностью в 99%

Автор оригинала: Ryan Daws
  • Перевод
Перевод статьи подготовлен в преддверии старта курса «Компьютерное зрение».







Разработчики нового инструмента на основе искусственного интеллекта утверждают, что он обнаруживает изображения жестокого обращения с детьми с почти 99 процентной точностью.

Инструмент под названием Safer разработан некоммерческой организацией Thorn, чтобы помочь предприятиям, не имеющим собственных систем фильтрации, обнаруживать и удалять такие изображения.

По данным организации Internet Watch Foundation в Великобритании, количество сообщений о жестоком обращении с детьми во время карантина COVID-19 увеличилось на 50 процентов. За 11 недель, начиная с 23 марта, на их горячую линию поступило 44 809 сообщений о найденных изображениях по сравнению с 29 698 в прошлом году. Многие из этих изображений принадлежат детям, которые проводили много времени в Интернете и были вынуждены публиковать свои изображения.

Энди Берроуз, глава отдела безопасности детей в Интернете в NSPCC, недавно сказал BBC: «Вред можно было бы уменьшить, если бы социальные сети разумнее вкладывали средства в технологии, инвестируя в более безопасные конструктивные особенности в условиях кризиса».

Safer — это один из инструментов, который помогает быстро пометить контент о жестоком обращении с детьми, чтобы уменьшить масштаб причиненного вреда.

Сервисы обнаружения Safer включают в себя:

  • Сопоставление хэшей изображений (Image Hash Matching): флагманский сервис, который генерирует криптографические и перцепционные хэши для изображений и сравнивает эти хэши с известными CSAM хэшами. На момент публикации база данных включает 5,9 млн хешей. Хеширование происходит в клиентской инфраструктуре для сохранения конфиденциальности пользователя.
  • Классификатор CSAM изображений (CSAM Image Classifier): модель классификации машинного обучения, разработанная Thorn и использованная в Safer, которая возвращает прогноз того, является ли файл CSAM. Классификатор обучен на наборах данных общим объемом в сотни тысячи изображений, включающих в том числе порнографию, CSAM и различные облегченные изображения, и может помочь в выявлении потенциально нового и неизвестного CSAM.
  • Сопоставление хэшей видео (Video Hash Matching): сервис, который генерирует криптографические и перцепционные хеши для сцен видео и сравнивает их с хешами, представляющими сцены предполагаемого CSAM. На момент публикации база данных включает более 650 тыс. хэшей подозрительных сцен CSAM.
  • SaferList для обнаружения: услуга для клиентов Safer, позволяющая использовать данные сообщества Safer путем сопоставления с наборами хешей, предоставленными другими клиентами Safer, для расширения усилий по обнаружению. Клиенты могут настраивать, какие хеш-наборы они хотели бы включить.

Однако проблема не ограничивается пометкой содержимого. Документально подтверждено, что модераторам платформ социальных сетей часто требуется терапия или даже помощь в предотвращении суицида после того, как они изо дня в день подвергаются воздействию самого тревожного контента, размещенного в Интернете.

Thorn утверждает, что Safer создан с заботой о благополучии модераторов. С этой целью контент автоматически размывается (компания заявляет, что в настоящее время это работает только для изображений).

В Safer есть API-интерфейсы, доступные для разработчиков, которые «созданы для расширения общих знаний о контенте с жестоким обращением с детьми путем добавления хэшей, сканирования с использованием хэшей из других отраслей и отправка отзывов о ложных срабатываниях».

На данный момент одним из самых известных клиентов Thorn является Flickr. Используя Safer, Flickr обнаружил на своей платформе изображение жестокого обращения с детьми, которое после расследования правоохранительных органов привело к изъятиям 21 ребенка в возрасте от 18 месяцев до 14 лет и арестам преступников.

Safer в настоящее время доступен для любой компании, работающей в США. В следующем году после адаптации к требованиям национальной отчетности каждой страны Thorn планирует расширить свою деятельность и на другие страны.

Вы можете узнать больше об этом инструменте и о том, как начать с ним работу здесь.
OTUS. Онлайн-образование
Цифровые навыки от ведущих экспертов

Комментарии 5

    +1
    Это что, значит, дашь ей 100 фоток котяток, и система скажет, что на одной из фоток котёнок жестоко относится к детям?
      0
      ну что, у кого какие ставки — в каком году эту штуку законодательно обяжут устанавливать во все умные дома\домашние ассистенты?
        0

        "были вынуждены публиковать свои изображения"
        Что?! Кто их вынудил и зачем?
        И как по их изображению можно определить жестокое обращение?

          +1
          а, это известная тема с шантажом\запугиванием. Вынудить могут от одноклассников до нехороших анонимусов.
          По изображению — не в курсе как, я думаю это просто пошло в статистику (можно только предположить цепочку — фильтр на фотохостинге\другой пользователь рапортует про странное фото, человек из техподдержки смотрит что изображение действительно не «смотрите как мы пускаем пузыри!», полиция+техподдержка находят что его опубликовал сам ребенок, и тогда копают — кто заставил это сделать, после чего "раскрыто еще одно жестокое обращение с детьми")
          0
          интересно, в оставшемся проценте находятся картинки не распознанные алгоритмом, или ложные срабатывания?

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое