Comments 30
А разница разве есть?)
Почему сделан вывод что они ложные?
Потом что по определению не могут же у негров быть больше этот показатель?
Хотя реально настоящая связь может быть может например с проживанием в определенных местах или с доходом, или какими то особенностями воспитания в конкретной субкультуре.
Пока что большинство таких примеров выглядит что если система показывает правду — тем хуже для правды.
А в меньшинстве примеров (тот же рак из статьи или там распознавание лиц) — вроде как дело что обучающие базы подобраны так и проблема набрать более нормальные (ну или не думали что это надо учитывать тоже). Особенно если систему делали в стране где ну не завозили активно рабов других рас/свое население другой расы.
Еще есть примеры когда тупо не подумали что система — для другого контекста — например — особенности в плане пола (внешний вид не соответствует генетическому полу, или, что хуже — не соответствует частично), автоматическая система которая знает только 2 пола — будет тупить, при этом тут даже пополнение обучающей базы все только запутает, тут разве что вводить понятие "пол для цели X"(если нам надо опознать визуально — это М или Ж — это одно, если нам надо делать операцию какую то этому человеку — это совсем другое, и наверно надо учитывать генетический пол а не то что в документах/как выглядит)
бгг, помню как на одном буржуйском сайте борцуны за права негров порвались от задачи "полицейский наряд решает, кого из подозреваемых преследовать — негра или белого. Как они должны поступить при прочих равных, если известно что негры совершают преступления в среднем гораздо чаще белых?".
А как решит эту задачу анонимный автор (или авторка?) статьи?
Видимо, сошлётся на предвзятость и bias'ы в постановке задачи. Ну не может же быть такого, чтобы негры совершали преступления в среднем гораздо чаще белых!
Есть еще вариант: они совершают чаще и это таки факт (в смысле это не статистика кривая а (допустим) именно так и есть) известно но у нас задача честно интегрировать негров в общество (пусть даже ценой снижения эффективности полиции и общество с этим — согласно) то… монетку подбросить?
Та же примерно логика по которой есть понятие погашения судимости. С одной стороны — даже отсидевший преступник может создать проблемы в приличном обществе, с другой стороны — считается же что он может исправится и права у него — тоже есть, и не надо всем подряд знать что он был преступником и это не должно вызывать последствия. Пусть это не со всеми видами преступлений и не для всех организаций работает но все же.
Например, на каггле есть задачка про определение фрода с кредитными картами, там эти данные очень несбалансированны: всего 0.17% воровства по отношению к обычным транзакциям. И вместо заламывания ручек на тему дискриминации и воплей о том, что надо-бы привлечь общественность к решению этого вопроса там от разных людей полно статей, как жеж иметь дело с такими данными и сравнение вариантов решений, например вот: www.kaggle.com/dktalaicha/credit-card-fraud-detection-using-smote-adasyn параграф называется Class Imbalance
почему его алгоритмы не могут быть такими же необъективными и проявлять такую же несправедливость?
Сейчас на глазах у изумлённой публики автор этого наброса сумеет дать не зависящее от культурных и политических взглядов определение справедливости и сразу же войдёт в историю. :)))
машинное обучение — обучение на данных, разве нет? данные дискриминирующие, выходит.
получается тогда и данные дискриминирующие.
белых больше в выборке? напомню что пока в США белых таки больше в массе.
твиты более оскорбительны? ну да, кому-то можно сказать "ниггер", а кому-то только "n-word" (пока) можно, если обучать на выборке где считать это слово адски уничижительным и грубым, то получится что вокруг него будут определённые обороты, которые свойственны чернокожим, соответственно модель обучится. но вообще поиск такой штуки как "оскорбительный" само по себе смешное занятие
давайте не будем доводить до того что коммитеты добра будут нам утверждать ML модельки, ладно?
твиты, написанные афроамериканцами, в среднем отмечены алгоритмами ИИ как оскорбительные (хотя на самом деле таковыми не являются, показатель false positive) в 1,5 раза чаще, чем такие же твиты белых.
COMPAS, система искусственного интеллекта, используемая для прогнозирования вероятности совершения преступником другого преступления, оказалась явно настроенной против афроамериканцев. Получилось так, что у афроамериканцев было вдвое больше ложных предсказаний рецидивизма, чем у белых американцев.
Исследование Тимнит Гебру и Джой Буоламвини показало
Зачем вы подчернули и выделили жирным какие-то утверждения не приведя ссылок непосредственно на исследования? Вы в интернете пишете, ссылки вставлять здесь легко и приятно.
Впрочем, писали бы вы на бумаге, к таким утверждениям всё равно требовалось бы ставить сноски.
1. link.springer.com/chapter/10.1007%2F978-3-030-63119-2_24 (в медицине)
2. news.cornell.edu/stories/2019/08/study-finds-racial-bias-tweets-flagged-hate-speech (про Твиттер)
3. advances.sciencemag.org/content/4/1/eaao5580 (рецидивизм)
4. proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf (Буоламвини и facial recognintion)
Следовательно, этот алгоритм был не эффективен при обнаружении рака кожи у людей с более тёмными тонами кожи
Алгоритм эффективен, неэффективна конкретная обученная модель. Но кто сказал, что она вообще должна быть одинаково эффективной для белых и чернокожих? С чего вдруг?
Существуют товары, предназначенные только для чернокожих, ввиду их физиологических особенностей — например, косметика, шампуни. И никого это не удивляет. Обучайте специальные модели только для чернокожих, хоть рак распознавать, хоть твиты. Я думаю, никто не будет против.
И получим проблемы:
- твиты — нужно либо заранее указывать расу прямо при регистрации либо ее определять… еще одной моделью. и как быть если это белый приколист делает вид что негр? -:)
- рак — хорошо, что с мулатами делать? а если мы не знаем заранее что это мулаты? и тут ведь не поможет спросить кем себя он считает
Да, нужна еще одна модель, которая будет анализировать весь блог, профиль, и относить автора к какой-то категории, затем уже оценивать твит с учетом этой информации. По-другому никак, тут нет «серебряной пули».
Ну еще вариант — дождаться, пока нейросети поумнеют, станут глубже смотреть в смысл, и не реагировать на грубую обсценную лексику (которую, вероятно, негры используют чаще, что и поводит к false positive).
Но вообще я против такого, критерии оценки должны быть для всех одинаковыми, чтобы не допускать деградации языка.
С мулатами все просто. Измерить тон кожи, прогнать имеющиеся модели, определить наиболее точную, использовать ее. Возможно, натренировать новую.
У людей ведь тоже так же. Врач, всю жизнь работавший только с европейцами, явно не сможет с такой же точностью диагностировать чернокожих, как минимум поначалу. Это называется не «дискриминация» а «специализация».
На самом деле, проблема data bias действительно существует, просто ее надо иллюстрировать не на политических, а на технических примерах. Вот, например, очень неплохая статья на эту тему.
А привнесение политического аспекта немедленно убивает дискуссию и здравый смысл.
Тащемта не совсем понятен бомбит у читателей. Возможно, от незнания реалий светлого мира, где написанные на коленке классификаторы, обученные на исторических данных когда у негров ещё были отдельные туалеты — эти классификаторы используются при принятии судебных решений (оценка риска рецедива). Статья, конечно, не особо впечатляет, интересующимся могу посоветовать книгу 'Weapons of math destruction' by Cathy O'Neil. Там и примеров много, и написана человеком понимающим в данных с примерами и так далее. Есть в русском переводе ( 'Убийственнын большие данные') и находится на пиратских сайтах.
А что тут понимать то, если в статье проблемы не в нейронках, а в предвзятом взгляде автора?
Тезис: модель не распознает рак у черных => алгоритм не эффективен.
В реальности: скорее всего авторы учили его на данных, полученных от какой-то больницы. И на пациентах этой больницы алгоритм показывает необходимую эффективность => с ним всё в порядке. Хотите ту же эффективность на весь мир — подсуньте алгоритму на обучение данные со всего мира, но сам алгоритм менять не надо, проблема не в нём, а в людях.
Тезис: нейронка считает твиты черных ложно оскорбительными => нейронка кривая и расист.
В реальности: баг прошивки мозга некоторых людей, приводящий к ситуации, когда одно и то же высказывание является и оскорбительным и нет, в зависимости от цвета кожи говорящего. Учитывая, что смысл высказывания от этого не меняется — это дибилизм, имхо, и чинить тут надо людей, а не нейронку и данные.
Нейронке на вход подали инфу, что в условных 95% случаев нигер — оскорбление, она его везде таковым и пометит. Ибо это анализирующая текст нейронка, а не анализирующая цвет кожи. Ей вообще пофигу кто автор поста — она об этом ничего не знает и знать не должна. Так что чините людей, неприемлющих объективные данные в силу багов восприятия, а не рабочий алгоритм.
И дальше по тексту примеры в том же духе.
Да, хватает ситуаций с проблемными обучающими выборками и с косячными моделями. Вот только это точно не про описанное в посте.
В будущем мы обязательно затронем эту тему подробнее!
Очень часто вспоминаю фразу — «Говно на входе — говно на выходе».
А сбор данных, валидация, чистка это отдельный огромный мир.
Дискриминация в алгоритмах ML существует — и нет, это не либеральные сказки