Дискриминация в алгоритмах ML существует — и нет, это не либеральные сказки

Человеческий мозг, как мы все знаем, полон предрассудков. Возникает вопрос: если машинное обучение "живет" за счет того, что очень близко имитирует этот наш мозг, то почему его алгоритмы не могут быть такими же необъективными и проявлять такую же несправедливость? К сожалению, они частенько это и делают.

Давайте расскажем вам как именно.

Машинное обучение (ML) — это очевидно новая звездочка ИТ индустрии. И она уже никуда не денется. Одна из причин, почему ML сыграет (и уже играет) значительную роль в нашей жизни — это успешная интеграция его моделей в большое количество уже существующих систем: социальные сети, шоппинг, здравоохранение и т. д.

В настоящее время в отрасль инновационных технологий хотят идти миллионы школьников, студентов и начинающих специалистов, стремящихся сделать карьеру в этой области. При этом, чтобы успешно обучить следующее поколение профессионалов в этой области, необходимо понять несколько неочевидных сторон машинного обучения.

Давно прошли те времена, когда люди могли слепо доверять программам в получении объективных “рассчитанных” результатов. Алгоритмы машинного обучения не дают простых математических результатов, как это делает калькулятор, а влияют на прогнозы преступной деятельности, медицинские диагнозы и решения о приеме на работу. Поскольку мир всё больше и больше полагается на машинное обучение при принятии важных решений, важно, чтобы мы узнавали о необъективных сведениях, понимали последствия некорректных результатов модели и принимали превентивные меры.

Так какая предвзятость (bias) есть в алгоритмах машинного обучения?

  • Интеграция машинного обучения в здравоохранение вызвала большие споры, потому что некоторые алгоритмы не могли одинаково лечить всех пациентов. Например, алгоритм обнаружения рака кожи был обучен с использованием данных, включающие в себя в основном фото и информацию о светлых тонах кожи. Следовательно, этот алгоритм был не эффективен при обнаружении рака кожи у людей с более тёмными тонами кожи. Несмотря на то, что у ИИ есть много возможностей повысить доступность медицинских услуг для нуждающихся, важно должны убедиться, что качество медицинской помощи не ухудшается для определенных демографических групп.

  • Хороший пример необъективности распознавания естественного языка (NLP) можно увидеть в социальных сетях: твиты, написанные афроамериканцами, в среднем отмечены алгоритмами ИИ как оскорбительные (хотя на самом деле таковыми не являются, показатель false positive)  в 1,5 раза чаще, чем такие же твиты белых.

  • Было обнаружено, что даже более серьёзная предиктивная полицейская система неверно оценивает правонарушителей. COMPAS, система искусственного интеллекта, используемая для прогнозирования вероятности совершения преступником другого преступления, оказалась явно настроенной против афроамериканцев. Получилось так, что у афроамериканцев было вдвое больше ложных предсказаний рецидивизма, чем у белых американцев.

Почему эти признаки необъективности существуют?

Модели машинного обучения изучают закономерности в предназначенных для их обучения данных. Таким образом, если набор данных является стереотипным или не разнообразен, модели могут прийти к ложным выводам. Вот несколько примеров потенциальных ошибок обучения (некоторые из которых действительно произошли):

  • Использование обучающих данных, которые поступают исключительно из источника данных о состоянии здоровья военнослужащих. Поскольку большинство военнослужащих — мужчины, знания алгоритма о здоровье женщин будут ограничены, что в свою очередь приведет к низкой точности алгоритма.

  • Использование данных, которые навязывают стереотип привязанности одного из полов к ряду обязанностей или занятий. Некоторые модели глубинного обучения связывают мужчину с доктором, а женщину — с медсестрой из-за вектора представления слов, отображающего социальные стереотипы (word embedding).

  • Использование данных, которым не хватает разнообразия. Да, той самой любимой дайвёрсити. Многие модели распознавания лиц обучаются на данных, которые включают больше белых людей, чем черных. Исследование Тимнит Гебру и Джой Буоламвини показало, что 3 инструмента для распознавания лиц от крупных технологических компаний смогли почти идеально определить пол белых мужчин, а темнокожих женщин определили неверно в 35% случаев. Это может привести к очень серьезным ошибкам правоохранительных органов.

Откуда мы знаем о существовании этой предвзятости?

Признаки предвзятости всплывают, когда мы сравниваем точность с числом ошибок, которые модель имеет в разных группах. Исследование Тимнит Гебру является ярким примером этого: изучая эту статистику, мы можем увидеть, какие демографические группы дискриминируются моделями. Мы также можем проверить количество положительных и отрицательных результатов, проанализировав, имеется ли примерно одинаковое количество людей из разных групп, получивших один и тот же результат от модели.

Какие возможные способы решения этой проблемы существуют?

Препятствие, с которым в настоящее время сталкиваются многие компании, заключается в том, что им необходимо переобучить свои модели. Существует два главных способа для того, чтобы это сделать:

  • Ликвидация необъективности наборов данных, используемых моделями — это влечёт за собой удаление существующих наборов данных, содержащих стереотипные данные, и создание репрезентации и дайверсити в них, в попытках сделать их более точными.

  • Устранение необъективности моделей. Это влечёт за собой изменение фактических векторных представлений слов для удаления стереотипной привязки (мужчина = доктор, и женщина = медсестра) при сохранении нужной гендерной информации (мужчина = король, и женщина = королева).

Тема является довольно неоднозначной и вовлекает проблемы целого общества, однако путем дискуссий и компромиссов решение может быть найдено. Если у вас есть опыт с темой Этики в ИИ - будет интересно прочитать о нем в комментариях. 

Реклама
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее

Комментарии 30

    +11
    Допустим, негр пишет «Мазафака!», а сказать хочет «Добрый день!»
      +3

      Он пишет yo niggers и ему можно, но алгоритм этого не знает

        +1
        Но алгоритм не может знать кто это пишет, если это просто текст без доп. информации о написавшем. Так что алгоритм, собственно, прав.
          0
          Именно в этом предполагаю суть проблемы
          твиты, написанные афроамериканцами, в среднем отмечены алгоритмами ИИ как оскорбительные (хотя на самом деле таковыми не являются, показатель false positive) в 1,5 раза чаще, чем такие же твиты белых.
      +1
      Получилось так, что у афроамериканцев было вдвое больше ложных предсказаний рецидивизма, чем у белых американцев.

      Осталось понять это в процентах или в абсолютных числах.

        0

        А разница разве есть?)

          0

          Почему сделан вывод что они ложные?
          Потом что по определению не могут же у негров быть больше этот показатель?
          Хотя реально настоящая связь может быть может например с проживанием в определенных местах или с доходом, или какими то особенностями воспитания в конкретной субкультуре.


          Пока что большинство таких примеров выглядит что если система показывает правду — тем хуже для правды.
          А в меньшинстве примеров (тот же рак из статьи или там распознавание лиц) — вроде как дело что обучающие базы подобраны так и проблема набрать более нормальные (ну или не думали что это надо учитывать тоже). Особенно если систему делали в стране где ну не завозили активно рабов других рас/свое население другой расы.


          Еще есть примеры когда тупо не подумали что система — для другого контекста — например — особенности в плане пола (внешний вид не соответствует генетическому полу, или, что хуже — не соответствует частично), автоматическая система которая знает только 2 пола — будет тупить, при этом тут даже пополнение обучающей базы все только запутает, тут разве что вводить понятие "пол для цели X"(если нам надо опознать визуально — это М или Ж — это одно, если нам надо делать операцию какую то этому человеку — это совсем другое, и наверно надо учитывать генетический пол а не то что в документах/как выглядит)

          +6

          бгг, помню как на одном буржуйском сайте борцуны за права негров порвались от задачи "полицейский наряд решает, кого из подозреваемых преследовать — негра или белого. Как они должны поступить при прочих равных, если известно что негры совершают преступления в среднем гораздо чаще белых?".


          А как решит эту задачу анонимный автор (или авторка?) статьи?

            +3

            Видимо, сошлётся на предвзятость и bias'ы в постановке задачи. Ну не может же быть такого, чтобы негры совершали преступления в среднем гораздо чаще белых!

              0

              Есть еще вариант: они совершают чаще и это таки факт (в смысле это не статистика кривая а (допустим) именно так и есть) известно но у нас задача честно интегрировать негров в общество (пусть даже ценой снижения эффективности полиции и общество с этим — согласно) то… монетку подбросить?
              Та же примерно логика по которой есть понятие погашения судимости. С одной стороны — даже отсидевший преступник может создать проблемы в приличном обществе, с другой стороны — считается же что он может исправится и права у него — тоже есть, и не надо всем подряд знать что он был преступником и это не должно вызывать последствия. Пусть это не со всеми видами преступлений и не для всех организаций работает но все же.

            +15
            А ведь на хабре вместо накидывания кликбейтных дискриминаций можно было-бы написать техническую статью про то, что данные в обучающей выборке могут быть несбалансированными, к чему это может привести и о методах, как с этим люди борятся.
            Например, на каггле есть задачка про определение фрода с кредитными картами, там эти данные очень несбалансированны: всего 0.17% воровства по отношению к обычным транзакциям. И вместо заламывания ручек на тему дискриминации и воплей о том, что надо-бы привлечь общественность к решению этого вопроса там от разных людей полно статей, как жеж иметь дело с такими данными и сравнение вариантов решений, например вот: www.kaggle.com/dktalaicha/credit-card-fraud-detection-using-smote-adasyn параграф называется Class Imbalance
              0
              Благодарим за комментарий! Обязательно изучим эту задачу. Наша тематика, действительно, тесно связана с социальными проблемами, и мы планируем фокусироваться и на технических причинах Bias'а в ИИ. В наших будущих статьях мы поднимем тему несбалансированности данных именно в этом контексте :)
              +10
              почему его алгоритмы не могут быть такими же необъективными и проявлять такую же несправедливость?


              Сейчас на глазах у изумлённой публики автор этого наброса сумеет дать не зависящее от культурных и политических взглядов определение справедливости и сразу же войдёт в историю. :)))
                0
                Спасибо за комментарий! Существует много вариантов определения того, какая модель машинного обучения считается справедливой. Например, кто-то (https://arxiv.org/pdf/1710.03184.pdf) говорит, что модель справедлива, если она не рассматривает “чувствительные” атрибуты (раса, гендер и т.д); кто-то (https://arxiv.org/abs/1104.3913) — что в случае, если вероятность благоприятного исхода для людей со схожими параметрами (например, уровень образования и достатка) одинакова, или хотя бы близка. Или же в случае, если ложноположительные и ложноотрицательные показатели одинаковы для каждой группы. (https://arxiv.org/abs/1610.02413) Каждое из определений имеет право на существование, и в будущем мы обязательно разберем некоторые из них :) Те примеры, которые привели мы, не считаются справедливыми ни в одном из данных вариантов определения справедливости. Если вы знаете про формальные способы определения справедливости, которые бы «посчитали» наши примеры непредвзятыми — будем очень благодарны, если поделитесь)
                +1

                машинное обучение — обучение на данных, разве нет? данные дискриминирующие, выходит.
                получается тогда и данные дискриминирующие.
                белых больше в выборке? напомню что пока в США белых таки больше в массе.
                твиты более оскорбительны? ну да, кому-то можно сказать "ниггер", а кому-то только "n-word" (пока) можно, если обучать на выборке где считать это слово адски уничижительным и грубым, то получится что вокруг него будут определённые обороты, которые свойственны чернокожим, соответственно модель обучится. но вообще поиск такой штуки как "оскорбительный" само по себе смешное занятие


                давайте не будем доводить до того что коммитеты добра будут нам утверждать ML модельки, ладно?

                  0
                  Спасибо за комментарий! ML модельки все-таки влияют на реальных людей, и их популярность (широта использования) все-таки стремительно растет. Возможно, именно поэтому «Комитеты добра», на самом деле, уже утверждают модели в некоторых компаниях, и рисерч в данной сфере идет довольно успешно :)
                  +12
                  твиты, написанные афроамериканцами, в среднем отмечены алгоритмами ИИ как оскорбительные (хотя на самом деле таковыми не являются, показатель false positive) в 1,5 раза чаще, чем такие же твиты белых.


                  image

                  COMPAS, система искусственного интеллекта, используемая для прогнозирования вероятности совершения преступником другого преступления, оказалась явно настроенной против афроамериканцев. Получилось так, что у афроамериканцев было вдвое больше ложных предсказаний рецидивизма, чем у белых американцев.


                  image

                  Исследование Тимнит Гебру и Джой Буоламвини показало


                  image

                  Зачем вы подчернули и выделили жирным какие-то утверждения не приведя ссылок непосредственно на исследования? Вы в интернете пишете, ссылки вставлять здесь легко и приятно.

                  Впрочем, писали бы вы на бумаге, к таким утверждениям всё равно требовалось бы ставить сноски.
                  +2
                  Следовательно, этот алгоритм был не эффективен при обнаружении рака кожи у людей с более тёмными тонами кожи

                  Алгоритм эффективен, неэффективна конкретная обученная модель. Но кто сказал, что она вообще должна быть одинаково эффективной для белых и чернокожих? С чего вдруг?
                  Существуют товары, предназначенные только для чернокожих, ввиду их физиологических особенностей — например, косметика, шампуни. И никого это не удивляет. Обучайте специальные модели только для чернокожих, хоть рак распознавать, хоть твиты. Я думаю, никто не будет против.
                    +1
                    Отличное замечание! В книге, откуда мы брали данную информацию, была предложена модель, которая (благодаря некоторым коррекциям + работе с данными) стала эффективной и для темнокожих, и для белокожих :) (https://link.springer.com/chapter/10.1007%2F978-3-030-63119-2_24)
                      0

                      И получим проблемы:


                      • твиты — нужно либо заранее указывать расу прямо при регистрации либо ее определять… еще одной моделью. и как быть если это белый приколист делает вид что негр? -:)
                      • рак — хорошо, что с мулатами делать? а если мы не знаем заранее что это мулаты? и тут ведь не поможет спросить кем себя он считает
                        0
                        Основная проблема с твитами в том, что твит может быть и оскорбительным, и нет, в зависимости от контекста. Что-то из серии «Ай да Пушкин, ай да сукин сын!». Даже в пределах одной расы критерии оскорбительности могут различаться, в зависимости от социальной группы, класса, уровня образования, и т.д.
                        Да, нужна еще одна модель, которая будет анализировать весь блог, профиль, и относить автора к какой-то категории, затем уже оценивать твит с учетом этой информации. По-другому никак, тут нет «серебряной пули».
                        Ну еще вариант — дождаться, пока нейросети поумнеют, станут глубже смотреть в смысл, и не реагировать на грубую обсценную лексику (которую, вероятно, негры используют чаще, что и поводит к false positive).
                        Но вообще я против такого, критерии оценки должны быть для всех одинаковыми, чтобы не допускать деградации языка.
                        С мулатами все просто. Измерить тон кожи, прогнать имеющиеся модели, определить наиболее точную, использовать ее. Возможно, натренировать новую.
                        У людей ведь тоже так же. Врач, всю жизнь работавший только с европейцами, явно не сможет с такой же точностью диагностировать чернокожих, как минимум поначалу. Это называется не «дискриминация» а «специализация».
                      +3

                      На самом деле, проблема data bias действительно существует, просто ее надо иллюстрировать не на политических, а на технических примерах. Вот, например, очень неплохая статья на эту тему.


                      А привнесение политического аспекта немедленно убивает дискуссию и здравый смысл.

                        0
                        Спасибо большое за рекомендацию! Мы уже ознакомились с данной статьёй и обязательно приведем технические примеры в будущем)
                        +2
                        Самое интересное, что вот такие вот статьи, которые с натяжкой еще можно отнести к относительно технически-грамотным в обычных СМИ трансформируются в «Нейронные сети отражают заблуждения их разработчиков», и далее делается вывод, что если программист «не толерантен к цветным», то он дескать и нейросеть научит! От несбалансированности данных незаметно переходим на разработчиков-расистов…
                          0

                          Тащемта не совсем понятен бомбит у читателей. Возможно, от незнания реалий светлого мира, где написанные на коленке классификаторы, обученные на исторических данных когда у негров ещё были отдельные туалеты — эти классификаторы используются при принятии судебных решений (оценка риска рецедива). Статья, конечно, не особо впечатляет, интересующимся могу посоветовать книгу 'Weapons of math destruction' by Cathy O'Neil. Там и примеров много, и написана человеком понимающим в данных с примерами и так далее. Есть в русском переводе ( 'Убийственнын большие данные') и находится на пиратских сайтах.

                            +4

                            А что тут понимать то, если в статье проблемы не в нейронках, а в предвзятом взгляде автора?
                            Тезис: модель не распознает рак у черных => алгоритм не эффективен.
                            В реальности: скорее всего авторы учили его на данных, полученных от какой-то больницы. И на пациентах этой больницы алгоритм показывает необходимую эффективность => с ним всё в порядке. Хотите ту же эффективность на весь мир — подсуньте алгоритму на обучение данные со всего мира, но сам алгоритм менять не надо, проблема не в нём, а в людях.


                            Тезис: нейронка считает твиты черных ложно оскорбительными => нейронка кривая и расист.
                            В реальности: баг прошивки мозга некоторых людей, приводящий к ситуации, когда одно и то же высказывание является и оскорбительным и нет, в зависимости от цвета кожи говорящего. Учитывая, что смысл высказывания от этого не меняется — это дибилизм, имхо, и чинить тут надо людей, а не нейронку и данные.
                            Нейронке на вход подали инфу, что в условных 95% случаев нигер — оскорбление, она его везде таковым и пометит. Ибо это анализирующая текст нейронка, а не анализирующая цвет кожи. Ей вообще пофигу кто автор поста — она об этом ничего не знает и знать не должна. Так что чините людей, неприемлющих объективные данные в силу багов восприятия, а не рабочий алгоритм.


                            И дальше по тексту примеры в том же духе.


                            Да, хватает ситуаций с проблемными обучающими выборками и с косячными моделями. Вот только это точно не про описанное в посте.

                            0
                            Круто было бы дополнить статью материалами, где ИИ использует равномерное разнообразие разных групп. Ведь исходя из статьи — дискриминация уже есть на уровне входных данных (от человека). Будет ли такая же дискриминация, если скормить ИИ равномерно разнообразные данные?
                              0
                              Спасибо большое за комментарий! Если кратко, то такой же дискриминации не будет, но если модель была изначально обучена на не очень разнообразных данных, то какая-то дискриминация все же будет даже при идеально сбалансированных данных. Если вам интересен этот вопрос в контексте распознавания лиц, здесь он довольно наглядно рассмотрен :) Вот еще ссылка на саму научную работу, по которой сделана страничка: proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
                              В будущем мы обязательно затронем эту тему подробнее!
                              0
                              Это не проблема в ML, а проблема в данных — модели только инструмент.

                              Очень часто вспоминаю фразу — «Говно на входе — говно на выходе».

                              А сбор данных, валидация, чистка это отдельный огромный мир.

                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                              Самое читаемое