Парадокс Симпсона и немного Pandas

[michael_v89]

Насколько я понял из описания парадокса на википедии, его причины в изменении соотношений при суммировании показателей. В примере с поступлением же больше присутствует потеря информации при обощении (хотя статистические причины тоже есть).

Преувеличенный аналог примера из статьи. Допустим, у нас 2 факультета — учитель труда и педагог-психолог. На первый проходной балл 60, на второй 90. У всех поступающих балл меньше 90. Все мужчины подали заявление на первый факультет, все женщины на второй. Соответственно, все мужчины поступили, все женщины нет. Но у женщин условия поступления были другие, что в общей таблице не учитывается.

Я правильно понимаю, или где-то ошибся в рассуждениях?

[khim]

Причина — у увеличении конкуренции в обоих случаях. Наличие "проходного балла" в принципе сбивает с толку и мешает пониманию.

Это поступающим иногда кажется что "проходной балл" кем-то задаётся. На самом деле он вычисляется. Апостеорно. Исходя из количеста мест (размер аудиторий, количество преподавателей), etc.

Если посмотреть на статистику, то видно что процент поступивших выше на первых факультетах, а значит конкуренция меньше и проходной бал ниже. Все же женщины "ломанулись" на факультеты C-F, увеличили там конкуренцию за место — и, разуеется, отсеялись.

То есть "половая дискриминация" действительно есть — но она устроена не университетом, а теми, кто убедил женщин, что на факультетах A-B им делать нечего.

В примере с занятостью — то же самое: куча народу получила высшее образование, усилила, тем самым, конкуренцию за место — и понизила в этой группе, соответственно, зарплату. Но так как при этом они перешли в категорию где в среднем платят больше, то в среднем, понятно, получился выигрыш.

[ivan2kh]

gender_faculty_applications = gender_faculty_applications

ват?

[ivan2kh]

gender_faculty_applications.columns = map(lambda x: x + '_faculty_share', gender_faculty_applications.columns)

gender_faculty_applications.columns += '_faculty_share'

[miptgirl]

Спасибо за замечания, исправила. Первое, естественно, опечатка и не несет никакого смысла. Использование += вместо map гораздо лаконичнее — буду знать.

[varnav]

Хм, что-то я не понял примера с женщинами. У каждой из групп зарплата снизилась, а в целом у всех зарплата выросла. Как так?
Если на фирме каждому из сотрудников понизить зарплату — в общем зарплата разве не понизится?

[khim]

Если всем понизить зарплату, то понизится, конечно. А если уволить двух самых высокооплачиваемых уборщиц, а взамен взять двух выпускниц из университета — то повысится. При этом и у уборщиц, и у IT-отдела зарплата понизится.