Программу предсказания преступлений обвинили в расизме



    Правоохранительные органы США несколько лет используют в своей работе специальные программы, которые анализируют статистику преступлений и выдают рекомендации. Например, в Калифорнии программа рассчитывает оптимальный маршрут патрулей с учётом вероятности преступлений в каждом районе города в определённое время суток. Полиция Чикаго в 2014 году составила список наблюдения с именами 400 наиболее вероятных преступников в будущем. Алгоритм предсказания преступников и будущих жертв беспокоит правозащитников, хотя он показал удивительную точность (более 70% жертв огнестрела в Чикаго в 2016 году были в списке, заранее составленном программой).

    В последнее время аналитические программы начали использовать в судах. Судья должен определить, наказать преступника по минимальной или максимальной строгости, предусмотренной законом для конкретного преступления. В этом случае программа на основе имеющихся данных вычисляет так называемый «показатель оценки риска» (risk assessment score). Этот показатель определяет вероятность повторения преступления и, соответственно, влияет на тяжесть приговора.

    Так вот, тщательный анализ результатов работы программы, проведённый ProPublica, выявил странную тенденцию: по какой-то причине для афроамериканцев (негров) программа выдаёт более высокую оценку риска, чем для белых. Другими словами, алгоритм проявляет расовую дискриминацию! И это при том, что эту программу специально внедряли в судебную систему именно для того, чтобы исключить такую дискриминацию.

    Показатель оценки риска очень важен. Он влияет и на тяжесть приговора, и на размер суммы, под которую подозреваемого выпускают под залог, а также на выбор меры пресечения и многое другое.

    Журналисты ProPublica провели анализ более 7000 дел в округе Броуард (Флорида), где показатель оценки риска для подозреваемого вычисляет одна из самых популярных такого рода программ от компании Northpointe.

    Как выяснилось, только 20% подозреваемых, по которым программа определила высокий риск совершения преступлений, действительно совершили его в течение двух лет после выставления риска. Даже если учитывать мелкие нарушения вроде выхода за периметр домашнего ареста, «точность работы программы чуть больше, чем подбрасывание монетки».

    Но самое ужасное, что программа проявляет расовую дискриминацию. Показатели оценки риска для афроамериканцев гораздо выше, чем для белых преступников. Ошибочное предсказание рецидива для чернокожих вдвое выше, чем для белых.

    Показатель оценки риска для афроамериканцев (1 — минимальный, 10 — максимальный)


    Показатель оценки риска для белых (1 — минимальный, 10 — максимальный)


    Исследователи делают вывод, что программа нарушает закон, специально учитывая фактор цвета кожи как один из параметров для определения вероятности преступления в будущем.

    Компания Northpointe уверяет, что раса подозреваемого ни в коем случае не учитывается при анализе. Но учитываются другие факторы, которые сильно коррелируют с расой: уровень образования, статус занятости, криминальная история родственников, приём запрещённых наркотиков друзьями/знакомыми и т.д. Вес каждого фактора в итоговой оценке засекречен — это проприетарный алгоритм компании Northpointe.

    Комментарии 107

      +12
      Читал на днях новость с заголовком «В Индии и Китае живет треть от всех людей планеты, обладающих психическими расстройствами».
        +4
        «Ученый изнасиловал журналиста»? :)
          +5
          https://xkcd.com/1138/
          +5
          Это логично, учитывая, что в этих странах живет треть населения планеты.
          • НЛО прилетело и опубликовало эту надпись здесь
          +11
          > факторы, которые сильно коррелируют с расой: уровень образования, статус занятости, криминальная история родственников, приём запрещённых наркотиков друзьями/знакомыми

          То есть они признают, что эти факторы коррелируют с расой и с риском, но не признают, что раса коррелирует с риском. Либо корреляция нетранзитивна (не помню этот момент, подскажите, если кто знает), либо их борьба с дискриминацией зашла слишком далеко.
            +4
            Они имеют в виду, что у них в их алгоритме раса не учитывается, вот и все. Если вычислить риски по 2 людям разного цвета кожи, но в остальном одинаковых, то риск будет одинаковый. Корреляция между факторами риска и собственно риском есть и используется в их алгоритме. Корреляция между факторами риска и цветом кожи может быть, а может и не быть — это зависит от конкретной социоэкономической ситуации (и никоим образом не от алгоритма).

            > только 20% подозреваемых, по которым программа определила высокий риск совершения преступлений, действительно совершили его в течение двух лет после выставления риска.

            Косяк алгоритма. Вот об этом надо заострять внимание — на том, что судебная система руководствуется черт знает чем при выборе наказания. А не искать расизм там, где его нет. Было бы интересно еще посчитать обратный вариант — сколько из тех, кому был назначен малый риск, совершили повторные правонарушения. Если и там было бы большое число ошибок — то вообще замечательный сюжет «хороших наказываем, а плохих поощряем».
            Здесь еще есть интересный вопрос в том, а не влияет ли сам факт того, что был выставлен высокий риск, на совершение повторного преступления? Скажем, если нарушителя с малым вычисленным риском отпустили, «погрозив пальчиком» — не будет ли это являться побудительным фактором для того снова нарушить? И наоборот, если за пьяное вождение посадить под домашний арест на пару лет — это будет неплохо защищать от повторного нарушения.

            > Ошибочное предсказание рецидива для чернокожих вдвое выше, чем для белых.

            И это тоже косяк алгоритма, и опять же не связанный с расой. Возможно, вес каких-то «отягощающих» факторов (которые в этой стат выборке коррелируют с расой) в итоговой оценке слишком задран.
            Интересно, эти Northpointe для каждой конкретной местности подстраивают веса у алгоритма или он у них общий везде? Если общий везде — то это вообще явный косяк компании.
              +1
              Тут, по-хорошему, надо смотреть более подробную статистику. Сколько людей с высоким предсказанным риском получили более строгие наказания. Какой процент рецидивов среди них. Сколько получили наказание среднее или ниже среднего. Какой процент рецидивов у них. Ведь заниженное количество рецидивов может быть связано именно с выбором наказания или другими факторами (например, повышенное внимание к потенциальному рецидивисту со стороны органов). Так что приведенные в статье 20% практически ни о чем не говорят.
              • НЛО прилетело и опубликовало эту надпись здесь
                  +4
                  Я Вам расскажу такую историю. «Один мой знакомый» © работал в кредитном отделе конторы типа банка, то есть оценивал риски, что заёмщик денег не вернёт. Так вот, понятно было, что чернокожие были бОльшим риском ввиду плохих районов и т.п. Но — дискриминация запрещена, раса является одним из «защищённых признаков» — то есть спрашивать её у человека нельзя, и основывать на ней решения тоже нельзя. (См. https://en.wikipedia.org/wiki/Protected_class — «защищёнными» являются: раса/цвет кожи, вероисповедание, страна происхождения, возраст, пол, беременность, гражданство, семейный статус, инвалидность, ветеранство). Так вот, решили вместо этого использовать среднюю стоимость недвижимости (по данным zillow.com) в некотором радиусе от места проживания заёмщика… (Тонкий намёк: в негритянских районах недвижимость дешевле — преступность там и всё такое.)
                    0
                    А юмор в том, что был взят действительно релевантный показатель, вместо дискриминативного.
                    Цвет кожи — не влияет на платежеспособность.
                    Проживании в высококриминогенном районе с дешевой недвижимостью — действительно характеризует как человека, имеющего финансовые проблемы или слишком уж ценящего деньги (т.е., готового экономить ценой собственной безопасности и комфорта). Но если он так уж сильно ценит деньги — то зачем ему кредит? Значит, проблемы накрыли. А значит риск пролёта — выше.
                      0
                      Так в том-то и проблема, что местная публика слабо не очень-то в курсе того, что «корреляция не означает причинно-следственной связи». В результате чего имеем вопли о том, что «раз негров обижают, то это неприкрытый расизм, а вовсе не статистика».
                    +1
                    Не обязательно это «косяк алгоритма». При разработке системы скорее всего учитывалось, что будет более предпочтительным: высокие показатели false negative или false positive (чувствительность или специфичность модели). Если для заказчиков «ложная тревога» более предпочтительна, чем несрабатывание тревоги (нужно ведь защитить общество от преступлений), то это скажется на количестве ошибок.
                    Кроме того, нельзя сбрасывать со счетов вероятность наличия «обратной связи» в системе, а также поведенческих факторов. Принятие более жестких мер к потенциальным нарушителям может иметь превентивное действие.
                    +1
                    Ну надо быть реалистами, никогда в США не избавятся от расизма. Пока часть негров (да, для нас они негры) ведёт борьбу за равноправие с белыми, другая часть, причём намного бОльшая, сама себя этим белым противопоставляет.
                    Они живут в отдельных районах, у них своя культура и свои фильмы, свои школы и традиции брака.
                    И они не хотят смешивать это с культурой и традициями европейцев.
                    А европейцы, в свою очередь, никогда не болели любовью к неевропейцам.
                    Лишь некоторые экземпляры.

                    И в данном случае с вероятностью 50/50 «жкрналисты ProPublica» — это либо эти самые экземпляры, либо те, из чёрного меньшинства.
                    Они просто гонят волну.
                      0
                      >>из чёрного меньшинства.

                      Если верить вики, то в некоторых штатах уже большинства.
                      • НЛО прилетело и опубликовало эту надпись здесь
                        0

                        Уточню, что к чёрным девушкам (точнее афроамериканкам, потому как с настоящими африканками их спутать невозможно) белые относятся вполне благосклонно: точно также как к азиатам, индусам и белым. Можно сказать, что женская часть афроамериканцев нормально так участвует в жизни штатов. Другое дело мужская часть — эти чуваки на 99% довольно мутные и я даже затруднюсь сказать когда я последний раз видел работающего чёрного — то ли они все поголовно сидят на пособии, потому что религия не позволяет работать, то ли они не выходят за пределы своих гетто. Кстати о гетто: был там пару раз и надо сказать удивительное зрелище — как будто в GTA 5 попал — такие тачки на большущих блестящих дисках, а вокруг кучки пафосных негров со приспущенными штатами (мода видать такая, чтоб трусы было видно), в цепях и чёрных очках (ну и постреливают иногда). Я бы сказал, что чёрные для Америки это как мусульмане для Европы и чеченцы/даги для России, разве что в штатах научились с ними более менее уживаться (сильный перекос по преступлениям всё равно есть — статья не врёт).

                          +2
                          Возможно, мужчины работают где-то, где вы не бываете: на фермах, на фабриках, на кухнях, и т.д. Вы ведь не бываете регулярно в таких местах. Это я к тому, что совершенно необязательно, что они не работают.
                            0

                            Ну я много где ездил — чуть ли не в каждом штате по несколько раз побывал. Если они и работают где то, то очень хорошо прячутся.

                              0
                              Почитайте про Масаев. Я был в этом году в Танзании, посмотрел на то как живут аборигены…
                              Так вот, женщины реально на себе все тащат. А мужики — они «решают проблемы». Ну и соответственно живут в средних веках…

                              Рядом ферма — нормальная, такая европейская ферма. Ее хозяин так же из масаев. Но он поездил по стране, поднабрался ума и… все окрестные деревушки теперь тащат к нему зерно на помол. Плюс, большая доля автоматизации всего, что только можно. Ну и планов у него до и больше — расписано все на несколько лет вперед. Короче, я был в шоке.
                                0
                                П.с. чтобы не быть голословным, немного фоток:
                                фотки
                                />
                                />
                                />

                                П.с. и нет, это никак не заповедник для туристов, они реально так живут :-(
                                  0
                                  Блин… отредактировать не успел :-( Инет плохой…
                              +2
                              > я даже затруднюсь сказать когда я последний раз видел работающего чёрного

                              То есть обращения президента к нации вы не смотрите? ;-)
                            0
                            Их борьба с дискриминацией зашала так далеко, что назвав чёрного ниггером, загремишь в каталажку, а вот на использование ругательства чёрных по отношению к белым «белоснежка» судебной ситеме штатов глубоко пофиг.
                              0
                              это как про некоторые новые законодательные акты про религию у нас… православных и прочих обижать нельзя, а атеисты? Не куришь — значит работаешь :)
                            +7
                            А дискриминацию по половому признаку они у этой программы не обнаружили? Неужели у мужчин такой же фактор риска как и у женщин? :)
                              0
                              А ещё дискриминацию по уровню образования и имущественному положению. Ведь наверняка не всё там одинаково.
                                +1

                                Ирония в том, что если бы такой "дикриминации" не было и по любому параметру было равномерное распределение, то и программа была бы не нужна — у всех людей была бы равная вероятность совершить преступление. Но суть ведь программы выявить эти неравномерности и "дикриминировать" кого то по уровню образования, по месту жительства или по цвету кожи.

                              +2
                              Какие проблемы вовсе удалить из базы все сведения о расе или национальности, и не вносить их туда больше? Никто уже не прикопается — ведь программа и знать не знает, что там за человек. Нет, конечно, если туда ей ещё и фото загружают, то потенциально может по фотографии определить.
                                0
                                У чёрного населения в США характерные имена: Эбони, Тайрон, Джамал, Триша и так далее. И предвзятость есть. Процент отклика на резюме с «белым» именем выше, чем у аналогичного резюме носителя «чёрного» имени. Составить словарик в голове может и человек, и машина. Так что тогда из входных данных алгоритма нужно удалять и имена.
                                  0
                                  Не нужно. Цель-то не в том, чтобы машина как-то кого-то разделяла или не разделяла, а конкретно НЕ разделяла по расе. А уж если человеку (не)посчастливилось жить с именем Джамал, то никто не виноват, что его родители негры (ой, простите, афроамерикосы).
                                  Даже если и кто-то прикопается — то разве что к дискриминации по имени-фамилии (есть ли такая?), но не по расе. Вот тогда и будет адекватная беспристрастная статистика, где как бы случайно чернокожие будут преобладать в плане преступности
                                    0
                                    насколько я понял, цвет кожи не участвует в анализе. Но доказать это сложно, ибо программа проприетарна.
                                      0
                                      Никогда не мог представить себе, как вообще проверяется, делает программа что-то или нет? Судья смотрит код? Уполномоченный сотрудник смотрит код и говорит, что он делает? Загадка…
                                        0
                                        Привлекается независимый эксперт, которому все дружно верят.
                                          +2
                                          Можно сгенерировать базу данных, на 50% из белых, на 50% из их копий с изменёнными цветом кожи и именами… Если оригинал и копия получили одинаковые оценки — всё ок. Если нет…
                                          0
                                          А по-моему очень просто: если программа требует/использует такие данные как раса, то одно. А если поле раса из БД не читается программой или вообще отсутствует в БД — то явно этот параметр не используется.
                                        +1
                                        У чёрного населения в США характерные имена: Эбони, Тайрон, Джамал, Триша и так далее

                                        Опять-таки, зачем программе анализа знать имя человека? Она что, на каком-то этапе решит, что Майклы опаснее Джонов?
                                          0
                                          Попахивает расизмом.

                                            0
                                            > Опять-таки, зачем программе анализа знать имя человека? Она что, на каком-то этапе решит, что Майклы опаснее Джонов?

                                            Ви таки будете смеяться, но большие данные говорят именно это:

                                            The data show that, on average, a person with a distinctively black name—whether it is a woman named Imani or a man named DeShawn—does have a worse life outcome than a woman named Molly or a man named Jake. But it isn't the fault of his or her name. If two black boys, Jake Williams and DeShawn Williams, are born in the same neighborhood and into the same familial and economic circumstances, they would likely have similar life outcomes. But the kind of parents who name their son Jake don't tend to live in the same neighborhoods or share economic circumstances with the kind of parents who name their son DeShawn. And that's why, on average, a boy named Jake will tend to earn more money and get more education than a boy named DeShawn. DeShawn's name is an indicator—but not a cause—of his life path.

                                            (http://www.slate.com/articles/business/the_dismal_science/2005/04/a_roshanda_by_any_other_name.single.html)
                                            0
                                            А зачем, собственно, этой программе включать в анализ имена?
                                              –1
                                              Не ну понятно что имя вроде как не должно влиять, но согласитесь для полной адекватности анализа нужно включать в анализ абсолютно все, включая имя, веру, вес и уровень сахара в крови. Вдруг компьютер выявит зависимости которые мы не знаем. И если окажется что Майклы опаснее Джонов не на 2% а в 3-4 раза, то это уже повод для дальнейших исследований. Если какая-то вера будет источником очень высокой опасности, то я не вижу ни чего страшного в том, чтобы ее запретить. Фашизм и нацизм же запрещен, а по сути это такая-же система ценностей и верований как и любая другая религия или доктрина. Или наличие в системе сверх сильного существа дает системе иммунитет от критики? Получается можно взять фашизм добавить туда бога и небрежное объяснение сотворения мира и все, запретить нельзя уже, религия же.
                                                0
                                                Вам, наверное, будет интересно узнать, что фашизм не запрещён.

                                                Попробуйте на досуге угадать, почему.
                                              +1
                                              Что, опять же, логично. Если Вам пришлют 2 резюме с аналогичными параметрами, один «Александр», другой «Махмуд», вы тоже вероятнее выберете первого. Даже если нет, то большинство неминуемо выберет первого. И я считаю это вполне обоснованным и нормальным. Дискриминация на пустом месте не возникает. Не все чёрные (арабы в ЕС, кавказцы в России) — плохие люди, но статистика говорит, что с белым проблем будет меньше.
                                              В то же время, если какой-то чёрный (араб, кавказец) — специалист в своём деле, и действительно шарит не хуже белых, работу ему найти труда не составит.
                                                0
                                                > если какой-то чёрный (араб, кавказец) — специалист в своём деле, и действительно шарит не хуже белых, работу ему найти труда не составит.

                                                Подписуюсь. У «одного моего знакомого» © отец «чёрный», инженер-строитель, под 70 лет уже, на пенсии давно, но до сих пор ему постоянно звонят с просьбами «приди поработай на нас, помоги сделать проект», ибо профессионал — разговаривает уже с некоторыми затруднениями (возраст), а проекты по-прежнему делает на пять с плюсом: «мастерство не пропьёшь».
                                                  0
                                                  Грустно это, на самом деле. С одной стороны, байесовская классификация по расе/национальности реально работает. С другой стороны, одному человеку всю жизнь приходится доказывать, что он не верблюд, а другому — нет. По честному, смотреть-то надо на верблюдность, а не национальность, но люди склонны упрощать себе процесс решения. В итоге оба варианта вырождаются до уродливых крайних форм :-(
                                                    +1
                                                    Я не считаю, что кому-то приходится что-то доказывать. Посмотрите на Обаму. Интеллигентнейший и замечательный человек. Вы думаете он хоть раз в жизни доказывал, что он не из Гетто? Или Нил Диграсс Тайсон, популяризатор науки, и просто крутой мужик. Их дискриминируют? Нет, ни капли. Какой человек, такое к нему и отношение.
                                                    А чёрные из гетто всегда будут обижаться на слово «нигер».
                                                      0
                                                      Так их весь мир знает, конечно им уже не надо ничего доказывать. Но если вы не знаете человека, видите его первый раз в жизни?

                                                      Просто вы же сами написали, что большинство европейцев при прочих равных предпочтёт взять на работу «Александра» а не «Махмуда». Вот и получается, что даже если этот Махмуд, как вы сказали, специалист в своём деле, ему нужно быть не «не хуже», а лучше белых, чтобы конкурировать с ними на равных на рынке труда.
                                                        0
                                                        Не лучше, а на одном уровне. То есть соответствовать. Если он специалист, работу он найдёт без проблем. В паре мест предвзято откажут, но в третьем возьмут. Я никогда не поверю, чтобы хорошего специалиста возьмут на работу только из-за цвета кожи, пола, вероисповедания, или чего-то ещё. Изначально отношение может быть предвзятым, с этим я согласен, но не более того.
                                                          0
                                                          Ну почему вы сами пишете, что отношение может быть предвзятым, а потом утверждаете, что достаточно быть на одном уровне?

                                                          Нет, ну понятно, что на работу спеца таки возьмут. Но Махмуду придётся сходить, допустим на 5 собеседований, а Майку хватит 3-х. Или он тоже сходит на 5, но найдёт работу с зарплатой повыше. Может, разница будет не очень большой, но статистически значимой.
                                                      0
                                                      У «одного моего знакомого» © был личный опыт общения с чёрными в «одном городе США» ©. Знакомый сдавал свои квартиры.

                                                      Опыт №1: Пришла (чёрная) девушка, вела себя скромно и вежливо, и вроде по всем параметрам подходила, но когда стали проверять её credit score («уровень доверия», выдаваемый кредитными бюро), оказалось, что он низкий. Но в целом по поведению девушка совершенно не выглядела бандиткой, а когда ей сказали, что она не проходит по credit score, она вообще реально чуть не расплакалась. В результате было принято волюнтаристское решение проигнорировать credit score и заключить с ней договор всё равно. В результате она живёт в квартире уже несколько лет, договор продляется из года в год, и никогда с ней не было ни малейших проблем (и вообще квартира при ней реально стерильная — чище чем была!)

                                                      Опыт №2: пришёл (чёрный) мужик, вёл себя нагло и вызывающе, типа «а чё это у вас тут, а, квартира, ну да, типа круто, ага, да, я буду тут жить, бро.» Поскольку за дискриминацию можно крупно попасть, мужику вежливо предложили прийти завтра вечером на подписание контракта, а утром позвонили и объяснили, что «ваш credit score не соответствует нашим критериям, до свидания».
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                  +1
                                                  Gattaca
                                                    +1
                                                    Так там и нет ничего про цвет кожи и этническую принадлежность.
                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                      0
                                                      >Показатели оценки риска для афроамериканцев гораздо выше, чем для белых преступников, при всех равных параметрах

                                                      При чем тогда

                                                      >Компания Northpointe уверяет, что раса подозреваемого ни в коем случае не учитывается при анализе. Но учитываются другие факторы, которые сильно коррелируют с расой: уровень образования, статус занятости, криминальная история родственников, приём запрещённых наркотиков друзьями/знакомыми и т.д.

                                                      если разница только в расе и все одинаковы другие данные ну по крайне мере сопоставимы тогда и риск должен быть одинаков иначе предполагается что для негра риск совершения противоправных действий выше из-за того что он негр а это чистой воды дискриминация!!!
                                                      Главный вопрос насколько корректно подобрали пары черный/белый
                                                        +3
                                                        > предполагается что для негра риск совершения противоправных действий выше из-за того что он негр а это чистой воды дискриминация!!!

                                                        У негра шанс выше потому, что есть другие неучтённые факторы, ассоциированные с расой, включая, возможно, социокультурные и генетические. К сожалению, природа не разделяет человеческой идеи о всеобщем равенстве, стремясь к разнообразию.
                                                        0
                                                        По тексту не совсем понятно для негров изначально более высокие коэффициенты установлены разработчиками или это результат обработки статистики. Потому что если второе — то никакой дискриминации я тут не вижу.
                                                          +3
                                                          Видишь дискриминацию?
                                                          Нет.
                                                          И я нет, а она есть.
                                                            +10
                                                            Боюсь что корни человеческой дискриминации тоже лежат в обработке статистических данных в социуме. Так что разницы ни какой нет, просто борьба здравого рассудка с анти-дискриминациями начинает приближаться к рубежу абсурда.
                                                            Изначально анти-дискриминационные законы у нас были придуманы для поддержки определенных слоев, которые лишены конкурентных преимуществ. Например женщины до 30, склонны рожать и находится в декрете, в итоге вроде как все понимают что они от этого не ахти работники, в плане перспективы, с другой стороны все понимают что женщины и дети нужны, а значит их нужно защищать законом от рыночной экономики. Американцы в свою очередь признали что негры сильно отстают от белых, т.к. они в целом не сильно морально и материально подготовленны к жизни среди белых, и начали их защищать, что-бы те обогатились, обучились и стали полноценными членам общества. Но что-то пошло не так, и после достижения определенного уровня развитие негров застопорилось, как жили в гетто, курили траву и читали рэп — так и живут, курят и читают. И менять особо ни чего не хотят. Остальное общество видимо подумало что мало негров защищало и давай еще больше защищать, а толку нет. Дальше нужно или признать что не из любого материала можно слепить пулю, что черевато ростом преступности и популярности нацистов. Или продолжать эту комедию и защищать негров все больше и больше, думаю что программа в итоге начнет учитывать цвет кожи, и если он черный — то выдавать просто рандом, дабы получить равномерное распределение как у белых.

                                                            «Если я ударю тебя — это сексизм, или сексизмом будет тебя не ударить? А то я запутался с этим… феминизмом».
                                                            © Дэдпул
                                                              –3
                                                              Это всё очень классно написано. Про отставание негров от белых, про их застопорившееся развитие… Одна только маленькая неувязочка: как в эту «систему» вписываются достигшие успехов афроамериканцы? :)
                                                                0
                                                                См. правило трёх сигм.
                                                                  –1
                                                                  А как насчёт того что причина может крыться не в том что кто-то негр, белый или китаец, а в том какие у него были условия для развития? И в том что у негров в США в среднем эти самые условия хуже чем у белых? :)
                                                                    +2
                                                                    Вы сами сказали, что у негров в среднем эти условия хуже. Следовательно, им сложнее пробиться и далее по тексту. Негры — это не цвет кожи, а социокультурный аспект. Более того, я не имею отношения к портянке выше, просто пояснил, что Ваше замечание неуместно, а именно попахивает демагогией.
                                                                      –1
                                                                      Стоп-стоп-стоп. Я не спорю что цвет кожи может оказаться статистически релевантным фактором. Очень даже может. Но однозначно не в одиночку.
                                                                      То есть во первых это никоим образом не говорит о том что негры хуже белых или застопорились в развитии.
                                                                      А во вторых проблема статистики в том что она великолепно работает на больших группах, но не особо хорошо на конкретных людях. И как известно «среднестатистический житель Земли имеет одну грудь и одно яйцо» :) То есть если эта система действительно ориентируется на цвет кожи таким образом что не может отличить чернокожего жителя Гарлема от чернокожего выпускника Гарварда, то что-то там пошло не так.
                                                                        +4
                                                                        Как по мне, основная проблема статистики всё-таки в профанах, некорректно применяющих статистику, так что вероятностная природа статистики, из которой следуют заранее известные ошибки в частных случаях — это не проблема науки как таковой, но проблема конкретной реализации системы, которая не довела до сведения пользователя степень достоверности выданных данных.
                                                                          +2
                                                                          Да не ориентируется программа «на цвет кожи». Там нет такого параметра. Зависимость от цвета кожи выходит результатом, а не каким-то заданным изначально коэффициентом. Именно это и абсурдно: у программы нет настройки «расизма», она ориентируется на статистику, которая, в свою очередь, составлена по огромному количеству самых разнообразных факторов. И совершенно естественно, что у чернокожих в США многие из этих факторов не будут идентичными таковым у белых. Но при этом программу обвиняют в расизме, потому что факторы ДОЛЖНЫ быть одинаковыми, хоть ты тресни. Должны, потому что все равны, и точка. А на исторические, культурные, социальные и прочие факторы мы будем закрывать глаза во имя политкорректности.

                                                                          Это вся суть современной гипертрофированной политкорректности, доведенной до абсурда. То же самое происходит с «равенством полов», например. Вышел трейлер новых «Ghostbusters» — отвратительный донельзя. Плохо срежисированный, плохо сыгранный, с плохими эффектами и т.д. Понятно, что критики тут же справедливо и сказали, что трейлер — говно полное, приведя аргументы. Однако, никому эти аргументы оказались не интересными, а критиков тут же клеймят позором за «сексизм», потому что им не понравился трейлер фильма, где главные герои — женщины. Вот увидите, когда фильм выйдет и, вероятно, окажется жутким дерьмом, крупные политкорректные издания побоятся об этом написать и будут изворачиваться всеми силами, потому что в противном случае им тут же прилетит от долбанутых современных феминисток и их ярой группы поддержки.
                                                                            0
                                                                            Вы оригинальную статью читали? Ясное дело что факторы разные. Но когда при прочих равных чернокожий получает худший прогноз чем белый это говорит что либо что-то не так со статистикой, либо что-то не так с программой. А уж тем более когда чернокожий получает худший прогноз несмотря на то, что все личные данные вроде как бы говорят в его пользу. И речь в статье идёт именно об этом.
                                                                              0
                                                                              В статье говориться про данные реальных людей, а не синтезировнных. Как вы думаете, с какой долей вероятности в конкретном штате у людей разных национальностей будут одинаковые внешние условия?

                                                                              Если большинство негров штата живет в бедных районах, а белые по социальному статусу распределены равномерно, то естественно у негров будет перекос.
                                                                                0
                                                                                Просто откройте оригинальную статью и посмотрите на те примеры «перекосов», которые там приведены. И потом скажите будете ли Вы лично доверять программе, которая делает такие прогнозы.
                                                                                И ясное дело что обвинение этой программы в расизме это очередной жёлтый заголовок и работа на публику. Но получается что программа в любом случае местами делает странные прогнозы и не факт что эти странности ограничиваются исключительно «дискриминацией» негров.
                                                                                  0
                                                                                  пока мы не знаем полного списка параметров, трудно сравнивать результаты. Вспоминая классику.

                                                                                  1) Вы знакомы с беременной женщиной, которая уже имеет 8 детей. Двое из них — слепые, трое — глухие, один — умственно недоразвитый, сама она больна сифилисом.

                                                                                  Посоветуете ли Вы ей сделать аборт? Но прежде, чем ответить на этот вопрос, ответьте на другой.

                                                                                  2) Происходят выборы мирового лидера и Ваш голос — решающий.

                                                                                  Краткие характеристики кандидатов:

                                                                                  а) Связян с политиками, уличенными в мошенничестве, постоянно консультируется с астрологом, имеет двух любовниц, курит трубку и выпивает каждый день 8-10 мартини.

                                                                                  б) Дважды вышибали со службы, имеет привычку спать до полудня, в институте был уличен в употреблении опиума, каждый вечер выпивает бутылку виски.

                                                                                  в) Герой войны, вегетарианец, изредка пьет пиво, не курит, ни в каких матримониальных связях не замечен.

                                                                                  Кого же Вы выбираете? Ответили?

                                                                                  Тогда еще два слова о кандидатах.

                                                                                  а) Уинстон Черчилль
                                                                                  б) Фрэнкли Д. Рузвельт
                                                                                  в) Адольф Гитлер

                                                                                  Вот теперь Вы готовы ответить на самый первый вопрос. Если Вы посоветовали сделать аборт — Вы только что убили Людвига ван Бетховена.
                                                                                    0
                                                                                    Так как раз об этом и речь. Программа работает не особо корректно и проблема либо в собранной статистике, либо в самом алгоритме. Но что-то там работает не особо хорошо.
                                                                                    И с одной стороны обвинять программу в расизме глупо, потому что никакой это на самом деле не расизм. Но с другой стороны даже ребенку понятно что обвинив эту самую программу в расизме можно добиться гораздо большего общественного резонанса и быстрее получить исправления, чем если обвинять её просто неправильном алгоритме или неточных исходных данных.
                                                                                      0
                                                                                      Ой зря вы цитируете ложные утверждения. Л. В. Бетховен был далеко не последним ребёнком в семье, его мать заболела сифилисом существенно позже его рождения и так далее.

                                                                                      Ваша аргументация недостойна.
                                                                          0
                                                                          У них субкультура другая… распостранено презрение к образованию, в результате даже одаренные не достигают того что могли бы.
                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                        0
                                                                        Возможно, надо как-то по-другому действовать. Например, как-нибудь расформировать эти гетто и равномерно смешать черных и белых, чтобы не возникали очаги субкультуры, в которых модно не учится, не работать и курить.
                                                                          +1
                                                                          Пробовали. Строили жилой комплекс из многоквартирных домов со смешанными жильцами. В начале всё было хорошо. Но потом негры стали рисовать граффити и прочими способами засирать окружающее пространство. Белые постепенно съехали, и район превратился в очередное гетто… Шутка про возможность вытащить негра из гетто и невозможность вытащить гетто из негра является не совсем шуткой.
                                                                      0
                                                                      Стоп, взяли всех преступников и просто сравнили вероятность? Или выборки хоть как-то соответствовали? То есть они смогли найти как минимум двух абсолютно идентичных преступников, единственная разница между которыми была в цвете кожи и получили разный результат? Или сравнили результаты для афроамериканца из гетто и белого клерка среднего класса? Без начальных входных данных это все равно что «ученый изнасиловал журналиста».
                                                                        0
                                                                        Они вроде бы не сравнивали конкретных преступников, а делали прогнозы для «подозреваемых» исходя из статистических данных. И получили местами странные/интересные результаты. В оригинальной статье есть примеры когда у белого подозреваемого с явно более тяжкими набором совершенных преступлений получился меньший прогнозируемый фактор риска.
                                                                        +9
                                                                        Шапиро Максим Анатольевич, «Дискриминация» (у автора ещё много интересного на тему устройства общества):

                                                                        — Гм. Не хотелось бы рушить вашу картину мира, но национальность и вероисповедание находятся во вполне очевидной связи с вероятностью того, что их представитель окажется террористом. А поскольку контролировать и тщательно досматривать весь пассажиропоток вы просто технически не можете, то размазывание проверок вместо концентрирования их на группах риска это просто чудовищная халатность! Вам статистика не хуже меня известна. Если при прочих равных, а при случайном мониторинге эти прочие равные условия как раз и соблюдаются, проверяемый будет восточнийцем, то вероятность того, что он окажется террористом будет выше, чем, если бы он был монголоидом. А если он будет альтаирцем, то вероятность будет еще выше. Если же станет известно, что кроме альтаирской субрасы проверяемый еще и имеет мирджальскую национальность, то вероятность того, что он опасен опять-таки многократно возрастет. А буде он сдуру сболтнет, что для него нет никого святее небесных братьев Тху, то шмонайте его с головы до ног — не ошибетесь.
                                                                        — Это неслыханно! — Джемисон побагровел от возмущения, — Вы хоть отдаете себе отчет, что вы призываете к дискриминации по расовому, национальному и религиозному признаку! Вы ...! Вы нацист!
                                                                        — Ошибаетесь, — мягко ответил Громов, — Я призываю к дискриминации по статистическим признакам.
                                                                          +2
                                                                          Спасибо за цитату. Тоже в первую очередь вспомнились «Миррские хроники» — великолепное лекарство от острой толерастии.
                                                                          0
                                                                          Эээ… а это ваще нормально принимать судебные решения по оценкам, которые дает засекреченный проприетарный алгоритм?
                                                                          Вот мы тебя оценили, ты плохой. По каким критериям? Не положено тебе знать, доктор сказал в морг — значит в морг.
                                                                            0
                                                                            Само решение не программа принимает. А насчет выбора из допустимой «вилки» наказаний предусмотренной в соответствующих статьях по которым вида была доказана, то и сейчас конкретное значение выбирает «засекреченный проприетарный алгоритм» (нейронная сеть в мозге конкретного судьи ведущего дело).
                                                                            0
                                                                            По моему, имеет место стандартная путаница, когда события «А» и «В» – оба являющиеся следствием события «С», обзывают не «следствие-А» и «следствие-В», а «причина-А» и «следствие-В», совершенно игнорируя или вовсе ничего не зная о существовании «причина-С».

                                                                            Иногда в итоге получается полный абсурд типа: «Зависимость количества интернет-пиратов от уровня парниковых газов», а иногда более-менее правдоподобные заключения, наподобие: «Вероятность совершения преступления в зависимости от расы». Очевидно же, что имеет место «причина-С»: «Стартовые условия жизни», от которой и зависит вероятность преступной карьеры человека и рецидивов. А то, что у цветных (не только негров, но и азиатов, и латиносов, и других) эти «Стартовые условия», скорее всего, хуже, чем у американских европеоидов – уже совсем другой вопрос.

                                                                            Нельзя путать причины и следствия, ровно как и пропускать многие шаги между А>>В>>C>>D>>E – упрощая все до A>>E, так-же нельзя исключать из обработки пол, возраст и расу – статистика должна быть наиболее полной

                                                                            Если программа предсказывала рецидивы у нернов на основе чистой статистики – к ней не может быть никаких претензий, при условии, что статистика отрабатывается и истолковывается правильно. Если же программа принимает решение на основе предвзятостей составителей алгоритма – то такой программой пользоваться нельзя.
                                                                              +1
                                                                              А что удивительного в том, что негры совершают бОльшее количество преступлений, чем белые? Может ещё Таджикскую Девочку™ вспомним? И корреляция между той же религиозностью/расой/полом вполне прослеживается. Просто в нынешнем гипертолерантном обществе на этом нельзя акцентировать внимание. А зря. Выше уже привели отрывок из рассказа товарища Шапиро. И, да, когда менты тормозят в метро всяких ЛКН — это не просто так. Ибо эти ЛКН представляют повышенную угрозу (чисто статистически) теракта.
                                                                                0
                                                                                Ролик в тему (английский, русской версии не нашел):


                                                                                Под все уже даже программы и зачаточные ИИ попадают.
                                                                                  +1
                                                                                  Дискриминации нет и никто не является её жертвой. Обвинение в дискриминации используют, чтобы продвигать свои интересы.
                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                      0
                                                                                      Только в этой статье в комментариях есть несколько дискриминационных комментариев. Также слышал их от политкорректных и повидавших жизнь североамериканцев, которые приезжали в гости — здесь им за высказывание своего мнения ничего не грозит.
                                                                                      +1
                                                                                      Т.е. то что на основе
                                                                                      уровень образования, статус занятости, криминальная история родственников
                                                                                      Судья должен определить, наказать преступника по минимальной или максимальной строгости, предусмотренной законом для конкретного преступления.
                                                                                      никого не волнует?
                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                        +3
                                                                                        Статистика наука, с которой сложно спорить.
                                                                                        Вот вам ФАКТ: преступность у негров выше.
                                                                                        Но, боже мой, это же расизм, это невозможно, белые сволочи, ошибки в алгоритмах, мы все умрем, один, один.
                                                                                        Отвратительно это, когда вещи своими именами называть нельзя.
                                                                                          +4
                                                                                          Где-то читал комментарий, примерно звучащий так: «Белые — расисты? Конечно! Ведь это бедные негры в 21 веке боятся зайти в белый район Нью-Йорка, где их могут подстрелить посреди дня просто потому что они черные». :)
                                                                                          –2
                                                                                          Мне одному кажется что здесь проблема не в инструменте, а в способе его использования?
                                                                                          Вы только вдумайтесь — суд принимает решение о тяжести наказания на основе того, какова твоя вероятность повторить преступление в будущем!
                                                                                          Причем считается эта вероятность на основе статистики по другим(!) людям со схожими с тобой внешними(!) признаками.

                                                                                          Да этож верх маразма.
                                                                                            +3
                                                                                            Используются не внешние признаки. Условно говоря, бросивший школу безработный наркоман, имеющий родственников преступников, имеет большую вероятность рецидива, чем профессор какого-нибудь университета(образованный и трудоустроенный) без зависимостей и родственников-преступников. Определением насколько большим и занимается программа. На основании оценки характеристики человека и статистики выносится заключение, которое учитывает судья вынося своё решение(максимальный срок/минимальный срок/условное).
                                                                                            Но оказалось, что подобные характеристики коррелируют с цветом кожи, и понеслось…
                                                                                              0
                                                                                              Я не о внешних или внутренних признаках, я о том, что тебя сажают сейчас (сейчас прям сажают(!) на подольше, потому что ты относишься к некоторой группе, представители которой вероятно когда-то потом (!) возможно(!) совершат такое преступление. Т.е. тебя наказывают (реально больший срок дают) за то, что ты что-то сделаешь (возможно опять же) потом.

                                                                                              Мне кажется в самой этой логике гораздо больше недостатков, чем в способе определения этой самой вероятности (на основе расы или нет).
                                                                                                +1
                                                                                                > сейчас прям сажают(!)
                                                                                                Ты статью читал? Там никого по предсказаниям не садят. Программа составляет маршруты патрулей с проверкой наиболее криминогенных мест и выдаёт оценку используемую для определения меры пресечения для преступников, которые УЖЕ совершили преступление. Мера пресечения это не наказание. Это меры предпринимаемые, чтобы преступник не сбежал до суда(залог/домашний арест/содержание под стражей).
                                                                                            0
                                                                                            Ку-клус-клановец программировал :) А если серьезно, то объективный (статистический) анализ указывает в среднем на более худшее экономическое положение черного (в массе своей бедного) населения США по сравнению с более зажиточным белым. Но тренд позитивный — из «рабства» через «дискриминацию» к равным возможностям. Есть надежда, что политическое равноправие даст хороший экономический эффект и ситуация выровняется.
                                                                                              0
                                                                                              Малость напомнило недавнюю статью об исследовании, «дискриминирующем» определенную группу жителей итальянского города по конкретному признаку:

                                                                                              «Анализ показывает, что социоэкономический статус сохранился за шесть веков, на удивление, четко. Богатые флорентийцы в начале второго десятилетия 21 века имеют те же фамилии, что и богачи в 1427 году. При этом совпадают профессии и доходы. К примеру, среди членов гильдии обувщиков совпадение составляет 97%, а гильдии ткачей шелка и адвокатов — 93!»
                                                                                              expert.ru/2016/05/21/florentsiya

                                                                                              Ничего нового: в каких условиях ты рожден, в таких и помрешь с высокой степенью вероятности.
                                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                  0
                                                                                                  Приче правильный, рассово верный ответ, который, конечно, никак от рассы не зависит.
                                                                                                  +3
                                                                                                  Не вижу никакого расизма. Если наиболее вероятный рецидивист — безработный наркоман из бедного района, имеющий родственников преступников и наркоманов, то проблема во всем вышеперечисленном, а не в том, что он негр. Белый в такой же ситуации будет иметь точно такие же шансы: другой вопрос, что белому сложнее быть безработным (welfare, все дела), да и семьи у белых статистически меньше (следовательно, в выборку попадёт меньше родственников, среди которых будет меньше нариков и безработных).

                                                                                                  Кстати, этот алгоритм даёт подсказку, что может сделать человек, чтобы иметь меньшие шансы загреметь в тюрьму. Найти работу, завязать с веществами, перестать общаться с неблагополучными родственниками… по-моему, недурной рецепт «как завязать с криминалом».
                                                                                                    0
                                                                                                    Если программа _предсказаний_, то оцениваться должна соответствием полученных показателей с предсказанными. Если среди совершивших преступления больше чернокожих — все вопросы к ним. Если нет — к алгоритмистам.
                                                                                                      0
                                                                                                      я не расист, я не люблю расизм и негров.
                                                                                                        0
                                                                                                        «Исследователи делают вывод, что программа нарушает закон, специально учитывая фактор цвета кожи как один из параметров для определения вероятности преступления в будущем.» — очень интересные исследователи.
                                                                                                          +1
                                                                                                          Здесь пахнет дискриминацией по криминальному признаку.
                                                                                                            +1
                                                                                                            samlib.ru/s/shapiro_m_a/diskrim.shtml
                                                                                                            Сразу напомнило.

                                                                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                          Самое читаемое