Система распознавания лиц Amazon Rekognition приняла 28 конгрессменов США за преступников
Американский союз гражданских свобод (American Civil Liberties Union, ACLU) продолжает кампанию против использования систем распознавания лиц федеральными агентствами и полицией. ACLU настаивает, что качество этих систем слишком низкое для реального использования. В результате будет много ложных срабатываний, из-за чего пострадают невинные люди. Пытаясь убедить Конгресс США запретить использование этих систем, правозащитники предприняли дерзкую, но эффективную акцию: они прогнали через систему распознавания лиц Amazon Rekognition всех американских конгрессменов. Результат оказался немного предсказуем: система распознала 28 конгрессменов как преступников. Фотографии «героев» на скриншоте вверху.
Amazon агрессивно продвигает свою систему распознавания лиц. Недавно стало известно, что корпорация заключила контракты с полицейскими подразделениями округа Вашингтон, штатов Орегон и Флорида. Руководитель компании Джефф Безос позиционирует Rekognition как эффективный инструмент распознавания лиц в реальном времени, в том числе по видеопотоку, который поступает с носимых видеокамер на униформе полицейских.
Это напоминает систему, которую в этом году начали тестировать в некоторых городах Китая, в том числе в городе Чжэнчжоу (провинция Хэнань на востоке центральной части Китая). Там полицейским выдали специальные очки с видеокамерами, которые тоже подключены к программному обеспечению для распознавания лиц.
Гаджеты выдали в первую очередь сотрудникам транспортной полиции, которые работают на оживлённой железнодорожной станции Восточный Чжэнчжоу, потому что перед их глазами проходит больше всего людей. Очки специально разработаны для полиции и подключены к наладонному компьютеру. После сканирования лица прохожего компьютер подключается к центральной базе данных, где осуществляется поиск совпадений. Эксперимент доказал свою эффективность: к 6 февраля полиции удалось идентифицировать семь беглецов, которые обвиняются в скрытии с места ДТП и торговле людьми.
Но в Китае к защите прав человека относятся более снисходительно: там уже на улицах работает 170 млн камер видеонаблюдения, которые подключены к единой системе распознавания лиц. Ложноположительные срабатывания никого особо не смущают, если система помогает ловить реальных преступников.
А вот американские правозащитники считают, что ложноположительные срабатывания — свидетельство того, что система ещё не готова к использованию.
Результаты тестов ACLU показали, что Rekognition ошибочно приняла изображения 28 невинных конгрессменов за преступников. Интересно, что неправильные срабатывания искажены в сторону людей с чёрным цветом кожи. Среди «пострадавших» конгрессменов таких 39%, хотя в реальности темнокожие конгрессмены составляют лишь 20% нижней палаты парламента. Такие результаты подтверждают опасения представителей чернокожих групп, которые изложены в письме Congressional Black Caucus в адрес Amazon, что использование системы распознавания лиц может иметь «глубокие негативные непреднамеренные последствия» для чернокожего населения, незаконных мигрантов и участников акций протеста. В самом деле, есть признаки того, что система чаще ошибается при сравнении чернокожих лиц, особенно женщин.
Ну а вообще под раздачу попали все — и демократы, и республиканцы, и мужчины, и женщины, всех возрастов из разных регионов страны. Все они попали в число ошибок системы.
Представители ACLU считают, что каждое ложноположительное срабатывание подвергает угрозе свободу человека. Полицейский может предвзято относиться к такому человеку, подвергнув его допросу или обыску.
Сканирование произведено на общедоступном сервисе Amazon Rekognition, стоимость услуги составила $12,33. Для сравнения с фотографиями 535 конгрессменов и сенаторов выбрали 25 000 публично доступных фотографий людей в наручниках. Тест проводился с настройками по умолчанию. 28 ошибок означают примерно 5% ложноположительных срабатываний. Теоретически это может и неплохой результат, но если применить её на тысячах лиц, то это означает множество невинных людей, которых подвергнут обыскам из-за ошибки программы.
Конечно, все результаты программы будут проверяться людьми, но все мы знаем, что такие системы могут быстро выйти из-под контроля и перейти в автоматический режим, как это случилось с системой выдачи штрафов за превышение скорости.
ACLU призвал Конгресс «ввести мораторий» на использование данной технологии, пока она не начнёт выдавать приемлемую точность.