После моей недавней статьи (части 1, 2, 3) о криминале и полицейской стрельбе в США и их связи с расовой принадлежностью я решил продолжить эту тему и в таком же ключе проанализировать другие открытые данные — благо, таких еще достаточно благодаря программе криминальной отчетности ФБР.
Сегодня будем исследовать данные по преступлениям, совершенным на почве нетерпимости. Сначала посмотрим на всю статистику целиком, а затем подробно рассмотрим именно расовую нетерпимость и конкретно преступления, совершаемые белыми и черными на почве вражды к белым и черным.
В качестве исходных данных я скачал датасет с сайта Crime Data Explorer, поддерживаемого ФБР в рамках программы криминальной отчетности США (об этом сайте я уже писал в предыдущей статье). Скачать по прямой ссылке можно здесь (4.4 МБ). Скачанный архив содержит собственно сами данные в формате CSV, а также текстовое описание. Данные я никак не трансформировал, поэтому если вы захотите повторить анализ самостоятельно, вы должны получить те же результаты.
Также я использовал данные по численности населения США с разбивкой по расовой принадлежности, полученные из официальных данных Бюро переписи населения и дополненные модельными данными за период с 1991 по 2009 г. Скачать можно здесь (Яндекс.Диск). Для анализа географического распределения удельных показателей мне понадобилась и численность населения по штатам, полученные из того же источника (скачать здесь). Эти же данные я использовал в своей предыдущей статье.
С сайта ФБР:
Перевод:
В справке, сопровождающей исходный датасет по преступлениям, также указано следующее (курсив сохранен):
Другими словами, все случаи, регистрируемые в базе как преступления на почве нетерпимости,попадают должны попадать туда только после того, как мотив действий преступника установлен следствием.
Естественно, проверить выводы следствия по каждому случаю невозможно, поскольку база агрегирует отчетность сотен различных служб правопорядка по всей стране и доступ ко всем материалам следствия есть (можно предположить) только для сотрудников ФБР. Сама база предоставляет только готовую статистику.
База содержит данные по преступлениям на почве нетерпимости с 1991 по 2018 г. На момент написания статьи последняя запись датируется 31 декабря 2018 г., всего 201403 записи. Каждая запись — один случай преступления. Таким образом, получаем в среднем 7193 преступлений в год.
В исследовании я использую только несколько полей (те, что выделены жирным шрифтом), поскольку моей основной целью является поиск связей между видами преступлений, видами нетерпимости и расой преступников. Однако в вашем собственном исследовании вы можете, конечно, пойти дальше и проанализировать, например, возраст преступников и жертв или типичные локации преступлений в зависимости от их видов и т.п. Как говорится, простор фантазии не ограничен :)
В базу попадают 13 основных видов преступлений:
а также (в расширенной базе, которую мы будем использовать) дополнительные виды правонарушений, такие как торговля наркотиками, мошенничество и даже более «экзотические» в контексте нетерпимости, например, проституция, инцест или содомия.
Виды нетерпимости / мотивы преступлений
В соответствии с определением выше, в базу заносятся следующие виды нетерпимости:
При этом каждое преступление может иметь до 5 различных видов нетерпимости в качестве мотива. Поэтому при работе с такими множественными характеристиками нам придется укрупнять категории.
Программа регистрирует преступления как против отдельных физических лиц, так и против организаций, государства или даже общества в целом, выделяя при этом количество пострадавших физических лиц. Мы будем рассматривать только случаи с пострадавшими людьми.
Итак, вооружившись Python с pandas или еще парочкой библиотек (см. раздел «Инструменты» в моей предыдущей статье), а также не забыв пропустить кофе, чай, пиво или чайный гриб (кому что нравится)… надвигаем маску на лицо, одеваем хирургические перчатки, поправляем операционную лампу и…
Как и в предыдущей статье, весь анализ я выполняю в Jupyter Lab / Notebook на Python 3.8. Здесь я не буду приводить и комментировать сам код — его вы можете скачать по этой ссылке (в архиве листинг и файл в формате Jupyter Notebook). Сосредоточимся больше на получаемых результатах. Все графики кликабельны.
После загрузки данных из CSV (только нужных для исследования столбцов) получаем такой датафрейм:
Более 200 тысяч строк и чуть больше 8 МБ памяти. Давайте для начала посмотрим на топ-10 совершаемых преступлений, видов нетерпимости (мотивов), рас преступников и категорий жертв:
Итак, что мы здесь наблюдаем:
Смотря только на эти графики, можно представить, будто почти все преступления — это белые, угрожающие черным расправой или портящие их имущество… Однако давайте посмотрим, какие преступления и виды нетерпимости наиболее типичны для каждой расовой категории преступников:
В этой таблице:
Для каждой типичной категории также представлены соответствующие процентные доли от общего количества преступлений, совершенных представителями данной расы.
Здесь можно увидеть, что для черных и белых основным мотивом является расовая нетерпимость по отношению к представителям противоположной расы (47% преступлений для обеих рас). При этом белые преступники, в основном, занимаются угрозами и запугиванием (37% преступлений), а черные — нападениями без отягчающих обстоятельств (36% преступлений). (Удивительно, какое совпадение по процентным долям обнаруживают эти две расы!) Кстати говоря, только для белых преступников основной вид преступлений не связан с физическим ущербом (угрозы); представители других рас чаще совершают нападения.
Можно также отметить, что азиаты и представители смешанных рас (метисы) также, в основном, обнаруживают неприязнь к черным, индейцы и эскимосы — к белым, а вот гавайцы — к «иноверцам». Что ж, эта статистика пока (лично для меня) оказалась довольно ожидаемой.
Взглянем на количество преступлений по годам для каждой расы преступников:
Как и следовало предположить, преступления белых и черных на графике доминируют над остальными расами, по которым даже не видно изменений из-за разницы в масштабе. Пик со стороны белых здесь приходится на 1995 — 2002 гг., а со стороны черных — начало 1990-х. С 2002 г. количество преступлений, совершенных белыми на почве нетерпимости, довольно уверенно спадало, снизившись в 2 раза по сравнению с пиковым 2001-м; однако после 2016 г. вновь начало круто расти. Нетерпимость среди черных плавно спадала с 1995 по 2004 г., однако затем так же плавно начала расти, выйдя в 2018 г. на уровень 1995 г.
Здесь интересно отметить, что при Бараке Обаме (который, как мы знаем, принадлежит к афроамериканской расе), то есть с 2009 по 2017 гг., количество преступлений среди белых очень резко снизилось, но в это же самое время количество преступлений среди черных обнаружило стабильный рост. Ранее при Буше (2001 — 2009 гг.) после пика преступлений среди белых в первый год его президентства количество преступлений, совершаемых представителями обеих рас, вышло на «полку» и практически не менялось. А вот при Клинтоне (1993 — 2001 гг.) преступления среди белых росли быстро, почти год от года, в то время как преступления среди черных, наоборот, плавно снизились.
Что ж, поглядели на основные тренды. Давайте теперь отфильтруем данные, оставив только самое необходимое для дальнейшего анализа.
В соответствии с исследованием, представленным в моей предыдущей статье, произведем аналогичную фильтрацию данных для анализа:
Посмотрим, что получилось:
Фильтрация и агрегация данных позволила сократить объем в 12 раз без ущерба для факторов, важных для анализа. Новый столбец COUNT в конце содержит количество преступлений для данного года, штата, расы преступника, вида преступления и мотива.
В качестве промежуточного шага посмотрим на распределение преступлений по расе преступников:
и по видам нетерпимости:
Итак, белые и черные преступники составляют вместе 93% всех случаев (преступлений среди белых в два раза больше, но мы же знаем, что белых и самих в 5 раз больше). Поэтому совершенно не удивляет и то, что почти та же пропорция и по видам нетерпимости: 33% преступлений мотивировано нетерпимостью к черным, 18% — нетерпимостью к белым. Здесь попутно интересно отметить, что преступления на почве нетерпимости к белым количественно примерно равны преступлениям на почве нетерпимости к гомосексуалам — это третий по величине мотив.
Следующий логический шаг — оставить только черных и белых преступников и, соответственно, только «черно-белые» мотивы преступлений. Этим мы сужаем объект исследования до расизма среди белых и черных. После дополнительной фильтрации наш массив данных выглядит как-то так:
Пора включить в анализ удельные показатели (на количество населения по каждой расовой группе). Для этого подгрузим данные по численности населения из файла
Посмотрим, как в целом распределено население США по расам (среднегодовые показатели за 1991 — 2018 гг.):
Белых получается в 5.8 раз больше, чем черных. Все остальные расы составляют 11% населения.
Далее добавляем в наш датасет данные по численности и вычисляем удельное количество преступлений на 1 млн. представителей каждой расы.
Помня, что после первой фильтрации у нас осталось 4 вида преступлений (убийство, нападение, грабеж и изнасилование), давайте посмотрим на распределение этих преступлений по обеим расам в абсолютных и удельных показателях:
Отдельно для убийств и изнасилований (т.к. их на общих графиках не видно):
Что же мы здесь видим? А видим вот что:
Посмотрим, как изменялось количество расистских преступлений, совершенных черными и белыми, за весь период:
Нетрудно по этим графикам сделать очевидные выводы:
Взглянем и на обобщенные (среднегодовые) показатели:
Лишний раз убеждаемся в сделанных наблюдениях: в среднем белые совершают на 15-16% больше преступлений на почве расизма, но при этом из-за разницы в численности белых и черных, как мы знаем, почти в 6 раз, черные в столько же раз чаще совершают такие преступления.
Давайте к нашим обобщенным показателям добавим параметр нетерпимости, т.е. мотива преступлений. Как вы помните, в результате фильтрации мы оставили только два мотива: нетерпимость к белой расе и нетерпимость к чернокожей расе. Как они распределены между белыми и черными преступниками? 100% полярно, конечно же? А вот и нет!
Конечно, поляризация налицо, но выясняется, что есть преступления, совершенные черными на почве расовой вражды к своим же, и то же самое среди белых. (Уверен, что есть и преступления, совершенные гомосексуалами на почве ненависти к гомосексуалам, женщинами на почве ненависти к женщинам и т.д., ибо «человек» — это звучитгордо сложно; конечно, все это вы можете проверить сами!)
Но что здесь любопытно: доля преступлений, совершаемых черными на почве ненависти к своим же составляет 11% от всех преступлений, совершаемых черными, а для белых этот показатель равен 9%. То есть чернокожий имеет несколько более высокий шанс обернуться против своих.
Наконец, посмотрим на распределениепреступности на почве расизма по штатам США. Для вычисления удельных показателей нам, как обычно, надо будет загрузить численность по штатам и расам из файла
Среднегодовые показатели численности белых и черных по штатам:
ОК, ничего нового: перенаселенные Калифорния, Техас, Флорида и Нью-Йорк, где, как вы могли видеть из прошлой статьи, совершается количественно больше преступлений.
Но везде ли одинакова доля чернокожего населения — пресловутые 13%? Посмотрим:
Итак, черных больше половины всего Округа Колумбия (где находится славный городПентагон Вашингтон), около трети в хлопковых южных штатах — Миссисипи, Луизиане, Джорджии, Алабаме, Южной Каролине и в одном северном (Мэриленде, где Округ Колумбия, где славный город...); в остальных меньше четверти. Это, как говорится, просто для справки.
А что с преступлениями? Смотрим на среднегодовые показатели в абсолютных и удельных выражениях:
Видно, что по абсолютному количеству преступлений лидирует самый населенный штат — Калифорния. Но далее Флориду и Техас потеснили Мичиган, Иллинойс и Мэриленд — экономически более развитые северные штаты. А на удельном графике выбились вперед наименее населенные штаты — Монтана, Вермонт, Айдахо, Северная и Южная Дакота, Аляска (все тоже на севере страны). При этом видно, что пропорция преступлений между белыми и черными не одинакова по штатам, несмотря на доминирование черных по удельным показателям (например, в «белую» сторону выделяется Округ Колумбия и Гавайи).
Отобразим на карте (для большей наглядности заменим среднегодовые показатели накопленной суммой).
Сначала в абсолютном выражении:
Здесь выделяется северо-восток страны (особенно Мичиган) плюс Калифорния и Вашингтон на тихоокеанском побережье. И в удельном выражении:
Здесь заметно преобладание севера с наименее населенными штатами: Округ Колумбия, обе Дакоты и все тот же Вашингтон, а также по паре штатов с восточной и западной стороны. При этом южные штаты не обнаруживают значительной преступности среди населения.
В общем, если вы задаете вопрос «Где я увижу больше преступлений, мотивированных расизмом?», смотрите первую карту. Если ваш вопрос «Где выше вероятность каждого человека совершить расистское преступление?» — смотрите вторую карту. Других выводов относительно распределения делать не стану.
Как там у Булгакова? «Факты — самая упрямая в мире вещь.» Если нам что-то твердят со всех сторон, совсем необязательно это является правдой — это может оказаться полуправдой или же ложью. Но имея в руках факты в виде N-ного количества наборов данных, вы можете сами подтвердить или опровергнуть те или иные рассуждения. Можно строить гипотезы и подтверждать / опровергать их статистическими методами, а можно просто без всяких гипотез рассмотреть данные и найти в них некие закономерности, которые уже в свою очередь помогут либо сделать выводы, либо предложить гипотезы, которые далее можно так же «препарировать». Вам решать — верить всему на слово или проверять.
Конечно, этот маленький анализ далеко не полный. Он выполнен поверхностно, ведь я только рассмотрел базовые показатели, не применяя даже четверти доступного аппарата математической статистики. Конечно, и о качестве исходных данных можно спорить. Всем ли регистрируемым данным можно верить? Все ли преступления регистрируются? Кто и как определяет мотивы нетерпимости? Но как по мне, я лучше буду анализировать официальные открытые данные as-is, чем довольствоваться заявлениями вроде «в крови господина N нашли отравляющее вещество X» или «страна W уже на протяжении десятков лет систематически нарушает права человека».
P.S. В комментариях к моему предыдущему исследованию меня много раз просили разделить «чисто белых» и «латиносов», так как культуры все-таки имеют различия. Я бы и не против, но, к сожалению, это невозможно сделать ни в том, ни в этом случае по причине скудности сведений об этом этническом признаке в исходных данных. Так, например, в данных, которые мы разбираем в этой статье, из 79514 преступлений, совершенных белыми, только 6999 имеют пометку об этнической принадлежности, причем только 489 помечены как «Hispanic or Latino» (это 0,6%). Конечно, такие данные нельзя использовать для анализа.
Сегодня будем исследовать данные по преступлениям, совершенным на почве нетерпимости. Сначала посмотрим на всю статистику целиком, а затем подробно рассмотрим именно расовую нетерпимость и конкретно преступления, совершаемые белыми и черными на почве вражды к белым и черным.
Дисклеймер
Позвольте мне быть ленивым и отправить вас, уважаемые читатели, посмотреть дисклеймер в начале моей первой статьи о криминале в США. Все, что там написано, подходит и для этого исследования.
Исходные данные
В качестве исходных данных я скачал датасет с сайта Crime Data Explorer, поддерживаемого ФБР в рамках программы криминальной отчетности США (об этом сайте я уже писал в предыдущей статье). Скачать по прямой ссылке можно здесь (4.4 МБ). Скачанный архив содержит собственно сами данные в формате CSV, а также текстовое описание. Данные я никак не трансформировал, поэтому если вы захотите повторить анализ самостоятельно, вы должны получить те же результаты.
Также я использовал данные по численности населения США с разбивкой по расовой принадлежности, полученные из официальных данных Бюро переписи населения и дополненные модельными данными за период с 1991 по 2009 г. Скачать можно здесь (Яндекс.Диск). Для анализа географического распределения удельных показателей мне понадобилась и численность населения по штатам, полученные из того же источника (скачать здесь). Эти же данные я использовал в своей предыдущей статье.
Что такое преступления на почве нетерпимости и как они регистрируются?
С сайта ФБР:
The FBI’s UCR Program defines hate crime as a committed criminal offense which is motivated, in whole or in part, by the offender’s bias(es) against a race, religion, disability, sexual orientation, ethnicity, gender, or gender identity.
Перевод:
Программа криминальной отчетности ФБР определяет преступление на почве нетерпимости как совершенное преступление, мотивированное (частично или полностью) предвзятостью правонарушителя против расы, религии, физического ограничения, сексульной ориентации, принадлежности к этнической группе, пола или половой самоидентификации.
В справке, сопровождающей исходный датасет по преступлениям, также указано следующее (курсив сохранен):
Because motivation is subjective, it is sometimes difficult to know with certainty whether a crime resulted from the offender’s bias. Moreover, the presence of bias alone does not necessarily mean that a crime can be considered a hate crime. Only when a law enforcement investigation reveals sufficient evidence to lead a reasonable and prudent person to conclude that the offender’s actions were motivated, in whole or in part, by his or her bias, should an agency report an incident as a hate crime.
Другими словами, все случаи, регистрируемые в базе как преступления на почве нетерпимости,
Естественно, проверить выводы следствия по каждому случаю невозможно, поскольку база агрегирует отчетность сотен различных служб правопорядка по всей стране и доступ ко всем материалам следствия есть (можно предположить) только для сотрудников ФБР. Сама база предоставляет только готовую статистику.
Структура базы данных
База содержит данные по преступлениям на почве нетерпимости с 1991 по 2018 г. На момент написания статьи последняя запись датируется 31 декабря 2018 г., всего 201403 записи. Каждая запись — один случай преступления. Таким образом, получаем в среднем 7193 преступлений в год.
Список полей базы данных в исходном CSV формате
- INCIDENT_ID: ID события (преступления)
- DATA_YEAR: год, в который совершено преступление
- ORI: ID агентства (службы правопорядка), предоставившего данные
- PUB_AGENCY_NAME: публичное название агентства / службы (обычно совпадает с городом)
- PUB_AGENCY_UNIT: название подразделения службы (например, округ)
- AGENCY_TYPE_NAME: тип службы (муниципальная / окружная)
- STATE_ABBR: сокращенное наименование штата
- STATE_NAME: полное название штата
- DIVISION_NAME: название региона (куда входят несколько штатов)
- REGION_NAME: название макрорегиона (куда входят несколько регионов)
- POPULATION_GROUP_CODE: код места совершения преступления по численности населения
- POPULATION_GROUP_DESC: описание места совершения преступления по численности населения (например «город с населением от 0,5 до 1 млн.»)
- INCIDENT_DATE: дата совершения преступления
- ADULT_VICTIM_COUNT: количество совершеннолетних пострадавших
- JUVENILE_VICTIM_COUNT: количество несовершеннолетних пострадавших
- TOTAL_OFFENDER_COUNT: общее количество преступников
- ADULT_OFFENDER_COUNT: количество совершеннолетних преступников
- JUVENILE_OFFENDER_COUNT: количество несовершеннолетних преступников
- OFFENDER_RACE: раса/-ы преступника/-ов
- OFFENDER_ETHNICITY: этническая группа преступника/-ов (латиноамериканская / не латиноамериканская / смешанная / неизвестная)
- VICTIM_COUNT: общее количество пострадавших (физических и юридических лиц)
- OFFENSE_NAME: вид совершенного преступления
- TOTAL_INDIVIDUAL_VICTIMS: общее количество пострадавших (физических лиц)
- LOCATION_NAME: место преступления (например, квартира, шоссе, школа и т.д.)
- BIAS_DESC: вид нетерпимости (мотив преступления)
- VICTIM_TYPES: категория/-и пострадавших (физические лица / власти / частная компания и т.п.)
- MULTIPLE_OFFENSE: маркер множественного преступления (т.е. если совершено не одно, а несколько видов преступлений)
- MULTIPLE_BIAS: маркер множественного мотива (не один, а несколько видов нетерпимости)
В исследовании я использую только несколько полей (те, что выделены жирным шрифтом), поскольку моей основной целью является поиск связей между видами преступлений, видами нетерпимости и расой преступников. Однако в вашем собственном исследовании вы можете, конечно, пойти дальше и проанализировать, например, возраст преступников и жертв или типичные локации преступлений в зависимости от их видов и т.п. Как говорится, простор фантазии не ограничен :)
Виды преступлений
В базу попадают 13 основных видов преступлений:
- преступления против личности: убийство, изнасилование, нападение, тяжкое нападение, личная угроза и торговля людьми (сексуальное рабство и рабский труд)
- преступления против собственности: грабеж, незаконное проникновение, хищение, угон, поджог и порча имущества / вандализм
а также (в расширенной базе, которую мы будем использовать) дополнительные виды правонарушений, такие как торговля наркотиками, мошенничество и даже более «экзотические» в контексте нетерпимости, например, проституция, инцест или содомия.
Все 48 категорий преступлений (названия в оригинале)
Aggravated Assault
All Other Larceny
Animal Cruelty
Arson
Assisting or Promoting Prostitution
Betting/Wagering
Bribery
Burglary/Breaking & Entering
Counterfeiting/Forgery
Credit Card/Automated Teller Machine Fraud
Destruction/Damage/Vandalism of Property
Drug Equipment Violations
Drug/Narcotic Violations
Embezzlement
Extortion/Blackmail
False Pretenses/Swindle/Confidence Game
Fondling
Hacking/Computer Invasion
Human Trafficking, Commercial Sex Acts
Identity Theft
Impersonation
Incest
Intimidation
Kidnapping/Abduction
Motor Vehicle Theft
Murder and Nonnegligent Manslaughter
Negligent Manslaughter
Not Specified
Pocket-picking
Pornography/Obscene Material
Prostitution
Purchasing Prostitution
Purse-snatching
Rape
Robbery
Sexual Assault With An Object
Shoplifting
Simple Assault
Sodomy
Statutory Rape
Stolen Property Offenses
Theft From Building
Theft From Coin-Operated Machine or Device
Theft From Motor Vehicle
Theft of Motor Vehicle Parts or Accessories
Weapon Law Violations
Welfare Fraud
Wire Fraud
All Other Larceny
Animal Cruelty
Arson
Assisting or Promoting Prostitution
Betting/Wagering
Bribery
Burglary/Breaking & Entering
Counterfeiting/Forgery
Credit Card/Automated Teller Machine Fraud
Destruction/Damage/Vandalism of Property
Drug Equipment Violations
Drug/Narcotic Violations
Embezzlement
Extortion/Blackmail
False Pretenses/Swindle/Confidence Game
Fondling
Hacking/Computer Invasion
Human Trafficking, Commercial Sex Acts
Identity Theft
Impersonation
Incest
Intimidation
Kidnapping/Abduction
Motor Vehicle Theft
Murder and Nonnegligent Manslaughter
Negligent Manslaughter
Not Specified
Pocket-picking
Pornography/Obscene Material
Prostitution
Purchasing Prostitution
Purse-snatching
Rape
Robbery
Sexual Assault With An Object
Shoplifting
Simple Assault
Sodomy
Statutory Rape
Stolen Property Offenses
Theft From Building
Theft From Coin-Operated Machine or Device
Theft From Motor Vehicle
Theft of Motor Vehicle Parts or Accessories
Weapon Law Violations
Welfare Fraud
Wire Fraud
Виды нетерпимости / мотивы преступлений
В соответствии с определением выше, в базу заносятся следующие виды нетерпимости:
- против расовой принадлежности (против белых, против черных, против азиатов, против евреев и т.д.)
- против этнической принадлежности (против латиноамериканцев)
- против конфессии или религиозного мировоззрения (против христиан, против атеистов, против мусульман, против Свидетелей Иеговы и т.д.)
- против сексуальной ориентации или пола (против мужских и женских гомосексуалов, против мужчин, против женщин, против трансгендеров и т.д.)
- против физических ограничений (ненависть к инвалидам)
При этом каждое преступление может иметь до 5 различных видов нетерпимости в качестве мотива. Поэтому при работе с такими множественными характеристиками нам придется укрупнять категории.
Категории пострадавших
Программа регистрирует преступления как против отдельных физических лиц, так и против организаций, государства или даже общества в целом, выделяя при этом количество пострадавших физических лиц. Мы будем рассматривать только случаи с пострадавшими людьми.
Итак, вооружившись Python с pandas или еще парочкой библиотек (см. раздел «Инструменты» в моей предыдущей статье), а также не забыв пропустить кофе, чай, пиво или чайный гриб (кому что нравится)… надвигаем маску на лицо, одеваем хирургические перчатки, поправляем операционную лампу и…
Препарируем данные
Как и в предыдущей статье, весь анализ я выполняю в Jupyter Lab / Notebook на Python 3.8. Здесь я не буду приводить и комментировать сам код — его вы можете скачать по этой ссылке (в архиве листинг и файл в формате Jupyter Notebook). Сосредоточимся больше на получаемых результатах. Все графики кликабельны.
Обзор данных и топ-листы
После загрузки данных из CSV (только нужных для исследования столбцов) получаем такой датафрейм:
| YEAR | STATE_NAME | OFFENDER_RACE | OFFENSE_NAME | BIAS_DESC | VICTIM_TYPES | |
|---|---|---|---|---|---|---|
| 0 | 1991 | Arkansas | White | Intimidation | Anti-Black or African American | Individual |
| 1 | 1991 | Arkansas | Black or African American | Simple Assault | Anti-White | Individual |
| 2 | 1991 | Arkansas | Black or African American | Aggravated Assault | Anti-Black or African American | Individual |
| 3 | 1991 | Arkansas | Black or African American | Aggravated Assault;Destruction/Damage/Vandalis... | Anti-White | Individual |
| 4 | 1991 | Arkansas | Black or African American | Aggravated Assault | Anti-White | Individual |
| ... | ... | ... | ... | ... | ... | ... |
| 201398 | 2018 | West Virginia | NaN | Burglary/Breaking & Entering | Anti-Black or African American | Individual |
| 201399 | 2018 | West Virginia | White | Simple Assault | Anti-Black or African American | Individual |
| 201400 | 2018 | West Virginia | NaN | Intimidation | Anti-Asian | Individual |
| 201401 | 2018 | West Virginia | White | Intimidation | Anti-White | Law Enforcement Officer |
| 201402 | 2018 | West Virginia | NaN | Burglary/Breaking & Entering;Destruction/Damag... | Anti-Other Religion | Religious Organization |
201403 rows × 6 columns
Более 200 тысяч строк и чуть больше 8 МБ памяти. Давайте для начала посмотрим на топ-10 совершаемых преступлений, видов нетерпимости (мотивов), рас преступников и категорий жертв:
Итак, что мы здесь наблюдаем:
- Самый распространенный вид преступления — порча имущества / вандализм, за ним с небольшим отставанием — личная угроза (intimidation). Каждый из этих видов преступления занимает почти треть всех случаев. Далее идут нападения, а грабеж и другие преступления уже гораздо менее распространены.
- Среди видов нетерпимости с большим отрывом лидирует нетерпимость к чернокожим (больше трети всех случаев), затем в порядке убывания, но примерно на одном уровне: нетерпимость к евреям, нетерпимость к белым, нетерпимость к геям. Остальные виды нетерпимости статистически на порядок реже лидера.
- 70% всех преступлений совершаются белыми, порядка 23% — черными, остальные — «в пределах погрешности».
- Преступления против личности составляют 80% всех случаев.
Смотря только на эти графики, можно представить, будто почти все преступления — это белые, угрожающие черным расправой или портящие их имущество… Однако давайте посмотрим, какие преступления и виды нетерпимости наиболее типичны для каждой расовой категории преступников:
| OFFENSE_COUNT | TOP_OFFENSE | TOP_OFFENSE_SHARE | TOP_BIAS | TOP_BIAS_SHARE | TOP_VICTIM | TOP_VICTIM_SHARE | |
|---|---|---|---|---|---|---|---|
| OFFENDER_RACE | |||||||
| White | 79514 | Intimidation | 36.796036 | Anti-Black or African American | 46.877279 | Individual | 92.730840 |
| Black or African American | 25956 | Simple Assault | 36.292187 | Anti-White | 46.594236 | Individual | 94.760364 |
| Multiple | 4047 | Simple Assault | 36.545589 | Anti-Black or African American | 29.033852 | Individual | 91.153941 |
| Asian | 1453 | Simple Assault | 31.865107 | Anti-Black or African American | 30.075705 | Individual | 93.048864 |
| American Indian or Alaska Native | 1095 | Simple Assault | 40.182648 | Anti-White | 31.415525 | Individual | 93.059361 |
| Native Hawaiian or Other Pacific Islander | 35 | Simple Assault | 45.714286 | Anti-Other Religion | 22.857143 | Individual | 77.142857 |
В этой таблице:
- OFFENSE_COUNT — общее количество преступлений, совершенных представителями данной расы
- TOP_OFFENSE — самый частый вид преступления для представителей данной расы
- TOP_BIAS — самый частый вид нетерпимости (мотива преступления) для представителей данной расы
- TOP_VICTIM — самая частая категория потерпевших для представителей данной расы
Для каждой типичной категории также представлены соответствующие процентные доли от общего количества преступлений, совершенных представителями данной расы.
Здесь можно увидеть, что для черных и белых основным мотивом является расовая нетерпимость по отношению к представителям противоположной расы (47% преступлений для обеих рас). При этом белые преступники, в основном, занимаются угрозами и запугиванием (37% преступлений), а черные — нападениями без отягчающих обстоятельств (36% преступлений). (Удивительно, какое совпадение по процентным долям обнаруживают эти две расы!) Кстати говоря, только для белых преступников основной вид преступлений не связан с физическим ущербом (угрозы); представители других рас чаще совершают нападения.
Можно также отметить, что азиаты и представители смешанных рас (метисы) также, в основном, обнаруживают неприязнь к черным, индейцы и эскимосы — к белым, а вот гавайцы — к «иноверцам». Что ж, эта статистика пока (лично для меня) оказалась довольно ожидаемой.
Взглянем на количество преступлений по годам для каждой расы преступников:
Как и следовало предположить, преступления белых и черных на графике доминируют над остальными расами, по которым даже не видно изменений из-за разницы в масштабе. Пик со стороны белых здесь приходится на 1995 — 2002 гг., а со стороны черных — начало 1990-х. С 2002 г. количество преступлений, совершенных белыми на почве нетерпимости, довольно уверенно спадало, снизившись в 2 раза по сравнению с пиковым 2001-м; однако после 2016 г. вновь начало круто расти. Нетерпимость среди черных плавно спадала с 1995 по 2004 г., однако затем так же плавно начала расти, выйдя в 2018 г. на уровень 1995 г.
Здесь интересно отметить, что при Бараке Обаме (который, как мы знаем, принадлежит к афроамериканской расе), то есть с 2009 по 2017 гг., количество преступлений среди белых очень резко снизилось, но в это же самое время количество преступлений среди черных обнаружило стабильный рост. Ранее при Буше (2001 — 2009 гг.) после пика преступлений среди белых в первый год его президентства количество преступлений, совершаемых представителями обеих рас, вышло на «полку» и практически не менялось. А вот при Клинтоне (1993 — 2001 гг.) преступления среди белых росли быстро, почти год от года, в то время как преступления среди черных, наоборот, плавно снизились.
Что ж, поглядели на основные тренды. Давайте теперь отфильтруем данные, оставив только самое необходимое для дальнейшего анализа.
Первая фильтрация: по видам преступлений и потерпевших
В соответствии с исследованием, представленным в моей предыдущей статье, произведем аналогичную фильтрацию данных для анализа:
- среди категорий потерпевших оставим только физических лиц (исключим преступления против организаций, властей и всего общества);
- среди видов преступлений оставим только убийства, нападения (тяжкие и обычные), грабежи и изнасилования как наиболее «злодейские».
Посмотрим, что получилось:
| YEAR | STATE_NAME | OFFENDER_RACE | OFFENSE_NAME | BIAS_DESC | COUNT | |
|---|---|---|---|---|---|---|
| 0 | 1991 | Arizona | Black or African American | Assault | Anti-Gay (Male) | 1 |
| 1 | 1991 | Arizona | Black or African American | Assault | Anti-White | 4 |
| 2 | 1991 | Arizona | White | Assault | Anti-Black or African American | 10 |
| 3 | 1991 | Arkansas | Black or African American | Assault | Anti-Black or African American | 1 |
| 4 | 1991 | Arkansas | Black or African American | Assault | Anti-White | 4 |
| ... | ... | ... | ... | ... | ... | ... |
| 16428 | 2018 | Wisconsin | White | Assault | Anti-Hispanic or Latino | 1 |
| 16429 | 2018 | Wisconsin | White | Assault | Anti-Hispanic or Latino;Anti-White | 1 |
| 16430 | 2018 | Wisconsin | White | Assault | Anti-Physical Disability | 1 |
| 16431 | 2018 | Wisconsin | White | Assault | Anti-Sikh | 1 |
| 16432 | 2018 | Wisconsin | White | Assault | Anti-White | 1 |
16433 rows × 6 columns
Фильтрация и агрегация данных позволила сократить объем в 12 раз без ущерба для факторов, важных для анализа. Новый столбец COUNT в конце содержит количество преступлений для данного года, штата, расы преступника, вида преступления и мотива.
В качестве промежуточного шага посмотрим на распределение преступлений по расе преступников:
и по видам нетерпимости:
Итак, белые и черные преступники составляют вместе 93% всех случаев (преступлений среди белых в два раза больше, но мы же знаем, что белых и самих в 5 раз больше). Поэтому совершенно не удивляет и то, что почти та же пропорция и по видам нетерпимости: 33% преступлений мотивировано нетерпимостью к черным, 18% — нетерпимостью к белым. Здесь попутно интересно отметить, что преступления на почве нетерпимости к белым количественно примерно равны преступлениям на почве нетерпимости к гомосексуалам — это третий по величине мотив.
Вторая фильтрация: по расе преступников и мотиву преступлений
Следующий логический шаг — оставить только черных и белых преступников и, соответственно, только «черно-белые» мотивы преступлений. Этим мы сужаем объект исследования до расизма среди белых и черных. После дополнительной фильтрации наш массив данных выглядит как-то так:
| YEAR | STATE_NAME | OFFENDER_RACE | OFFENSE_NAME | BIAS_DESC | COUNT | |
|---|---|---|---|---|---|---|
| 0 | 1991 | Arizona | Black | Assault | Anti-White | 4 |
| 1 | 1991 | Arizona | White | Assault | Anti-Black | 10 |
| 2 | 1991 | Arkansas | Black | Assault | Anti-Black | 1 |
| 3 | 1991 | Arkansas | Black | Assault | Anti-White | 4 |
| 4 | 1991 | Arkansas | Black | Murder | Anti-White | 1 |
| ... | ... | ... | ... | ... | ... | ... |
| 3870 | 2018 | West Virginia | White | Assault | Anti-White | 2 |
| 3871 | 2018 | Wisconsin | Black | Assault | Anti-Black | 1 |
| 3872 | 2018 | Wisconsin | Black | Assault | Anti-White | 4 |
| 3873 | 2018 | Wisconsin | White | Assault | Anti-Black | 6 |
| 3874 | 2018 | Wisconsin | White | Assault | Anti-White | 2 |
3875 rows × 6 columns
Пора включить в анализ удельные показатели (на количество населения по каждой расовой группе). Для этого подгрузим данные по численности населения из файла
us_pop_1991-2018.csv. Посмотрим, как в целом распределено население США по расам (среднегодовые показатели за 1991 — 2018 гг.):
Белых получается в 5.8 раз больше, чем черных. Все остальные расы составляют 11% населения.
Далее добавляем в наш датасет данные по численности и вычисляем удельное количество преступлений на 1 млн. представителей каждой расы.
Помня, что после первой фильтрации у нас осталось 4 вида преступлений (убийство, нападение, грабеж и изнасилование), давайте посмотрим на распределение этих преступлений по обеим расам в абсолютных и удельных показателях:
Отдельно для убийств и изнасилований (т.к. их на общих графиках не видно):
Что же мы здесь видим? А видим вот что:
- Из анализируемых видов преступлений с большим отрывом лидируют нападения (в 25 раз больше, чем грабеж, в 250 раз — чем убийство и изнасилование).
- Нападений, совершенных белыми, в два раза больше, но в удельном отношении черные совершают нападения почти в 3 раза чаще.
- Грабежей, совершенных черными, в 1.5 раза больше в абсолютных цифрах и в 10 раз больше в удельных.
- Суммарно белые совершили несколько больше убийств, чем черные, и примерно столько же изнасилований. В удельном же выражении черные насилуют в 6 раз чаще и убивают в 3.6 раз чаще, чем белые. Между убийством и изнасилованием белые «предпочитают» убийство, а черные — изнасилование.
Преступления на почве расизма по годам
Посмотрим, как изменялось количество расистских преступлений, совершенных черными и белыми, за весь период:
Нетрудно по этим графикам сделать очевидные выводы:
- В среднем белые совершают в год немного больше преступлений на почве расизма, но в 4-5 раз реже в удельном выражении (другими словами, вероятность совершения расистского преступления афроамериканцем в 4-5 раз выше, чем белым).
- Тем не менее, с 1990-х годов удельный показатель расистских преступлений среди черных постепенно падает, снизившись в полтора раза за четверть века.
- При переходе от абсолютных показателей к удельным скачки преступлений белых значительно сгладились, что говорит о прямой корреляции между количеством преступлений, совершаемых белыми, с численностью белокожего населения. Однако для черных это не так: сильные скачки остались и на удельном графике, что говорит о плохой связи расизма среди черных с приростом чернокожего населения. Проще говоря, расизм среди белых относительно стабилен (почти константен) начиная с 1993 года, а расизм среди черных, скорее всего, подвержен влиянию внешних факторов, таких как общественно-политические и внутренние события в стране.
Взглянем и на обобщенные (среднегодовые) показатели:
Лишний раз убеждаемся в сделанных наблюдениях: в среднем белые совершают на 15-16% больше преступлений на почве расизма, но при этом из-за разницы в численности белых и черных, как мы знаем, почти в 6 раз, черные в столько же раз чаще совершают такие преступления.
Только ли белые против черных, черные против белых?
Давайте к нашим обобщенным показателям добавим параметр нетерпимости, т.е. мотива преступлений. Как вы помните, в результате фильтрации мы оставили только два мотива: нетерпимость к белой расе и нетерпимость к чернокожей расе. Как они распределены между белыми и черными преступниками? 100% полярно, конечно же? А вот и нет!
Конечно, поляризация налицо, но выясняется, что есть преступления, совершенные черными на почве расовой вражды к своим же, и то же самое среди белых. (Уверен, что есть и преступления, совершенные гомосексуалами на почве ненависти к гомосексуалам, женщинами на почве ненависти к женщинам и т.д., ибо «человек» — это звучит
Но что здесь любопытно: доля преступлений, совершаемых черными на почве ненависти к своим же составляет 11% от всех преступлений, совершаемых черными, а для белых этот показатель равен 9%. То есть чернокожий имеет несколько более высокий шанс обернуться против своих.
География преступлений
Наконец, посмотрим на распределение
us_pop_states_race_2010-2019.csv.Среднегодовые показатели численности белых и черных по штатам:
ОК, ничего нового: перенаселенные Калифорния, Техас, Флорида и Нью-Йорк, где, как вы могли видеть из прошлой статьи, совершается количественно больше преступлений.
Но везде ли одинакова доля чернокожего населения — пресловутые 13%? Посмотрим:
Итак, черных больше половины всего Округа Колумбия (где находится славный город
А что с преступлениями? Смотрим на среднегодовые показатели в абсолютных и удельных выражениях:
Видно, что по абсолютному количеству преступлений лидирует самый населенный штат — Калифорния. Но далее Флориду и Техас потеснили Мичиган, Иллинойс и Мэриленд — экономически более развитые северные штаты. А на удельном графике выбились вперед наименее населенные штаты — Монтана, Вермонт, Айдахо, Северная и Южная Дакота, Аляска (все тоже на севере страны). При этом видно, что пропорция преступлений между белыми и черными не одинакова по штатам, несмотря на доминирование черных по удельным показателям (например, в «белую» сторону выделяется Округ Колумбия и Гавайи).
Отобразим на карте (для большей наглядности заменим среднегодовые показатели накопленной суммой).
Сначала в абсолютном выражении:
Здесь выделяется северо-восток страны (особенно Мичиган) плюс Калифорния и Вашингтон на тихоокеанском побережье. И в удельном выражении:
Здесь заметно преобладание севера с наименее населенными штатами: Округ Колумбия, обе Дакоты и все тот же Вашингтон, а также по паре штатов с восточной и западной стороны. При этом южные штаты не обнаруживают значительной преступности среди населения.
В общем, если вы задаете вопрос «Где я увижу больше преступлений, мотивированных расизмом?», смотрите первую карту. Если ваш вопрос «Где выше вероятность каждого человека совершить расистское преступление?» — смотрите вторую карту. Других выводов относительно распределения делать не стану.
Вместо выводов
Как там у Булгакова? «Факты — самая упрямая в мире вещь.» Если нам что-то твердят со всех сторон, совсем необязательно это является правдой — это может оказаться полуправдой или же ложью. Но имея в руках факты в виде N-ного количества наборов данных, вы можете сами подтвердить или опровергнуть те или иные рассуждения. Можно строить гипотезы и подтверждать / опровергать их статистическими методами, а можно просто без всяких гипотез рассмотреть данные и найти в них некие закономерности, которые уже в свою очередь помогут либо сделать выводы, либо предложить гипотезы, которые далее можно так же «препарировать». Вам решать — верить всему на слово или проверять.
Конечно, этот маленький анализ далеко не полный. Он выполнен поверхностно, ведь я только рассмотрел базовые показатели, не применяя даже четверти доступного аппарата математической статистики. Конечно, и о качестве исходных данных можно спорить. Всем ли регистрируемым данным можно верить? Все ли преступления регистрируются? Кто и как определяет мотивы нетерпимости? Но как по мне, я лучше буду анализировать официальные открытые данные as-is, чем довольствоваться заявлениями вроде «в крови господина N нашли отравляющее вещество X» или «страна W уже на протяжении десятков лет систематически нарушает права человека».
P.S. В комментариях к моему предыдущему исследованию меня много раз просили разделить «чисто белых» и «латиносов», так как культуры все-таки имеют различия. Я бы и не против, но, к сожалению, это невозможно сделать ни в том, ни в этом случае по причине скудности сведений об этом этническом признаке в исходных данных. Так, например, в данных, которые мы разбираем в этой статье, из 79514 преступлений, совершенных белыми, только 6999 имеют пометку об этнической принадлежности, причем только 489 помечены как «Hispanic or Latino» (это 0,6%). Конечно, такие данные нельзя использовать для анализа.
