1. Проклятие размерности

Человек эволюционировал в 3 пространственных измерениях, и в них мы себя шикарно чувствуем. В них мы живем, радуемся, грустим, да и все драмы жизни проходят в этих измерениях. Правда в первой половине 20 века Теодор Калуца и Оскар Клейн нашли еще одно измерение, но оно маленькое и его людям не видно. После струнные теоретики, такие как Леонард Сасскинд, Герард т`Хофт, Яу Шинтун, Александр Виленкин  и другие, опять сильно усложнили картину мира, и к 4 пространственным измерениям добавили еще 6 (это минимум), но они все где то не пойми где, и влияют на жизнь только физиков-теоретиков, а остальным n-миллиардам людей на Земле, нет никакого дела до этих измерений, им и в 3 хорошо живется.

Другое дело математика и наука о данных, тут измерений может быть сколько угодно, например вот:

Слово мемы вошло плотно в обиход наверное всего человечества, ну по крайней мере того, которое регулярно пользуется интернетом. При слове мем в голову приход фразы типа “база”, “кандибобер” (я старый, так что помню еще это), “нельзя так просто взять…” и тому подобное. Этих фраз и картинок бесчисленное количество, и они по сути являются сигналом распознавания и декодирования ситуации, перевода ее в более простую плоскость, которую можно объяснить парой фраз или картинкой. Но вот в чем вся соль, сами мемы в истории человечества были всегда, возможно даже раньше, чем это человечество научало говорить, а вот слово в обиход ввел великий (по моей личной шкале величия) биолого-эволюционист Ричард Докинз. В своей книге “Эгоистичный ген”, вышедшей в 1976 году, автор ввел это слово в употребление. И конечно автор не имел ввиду картинку с котиком или видео со странными людьми, когда решил подарить миру это слово.

Pandas — это изумительная библиотека на Python для анализа и обработки данных. Она настолько хороша, что проще сказать, чего она не умеет, чем перечислить все её возможности. В мире аналитики это настоящий швейцарский нож.

В этой статье я хочу поделиться личным топом методов, которые помогают в первичной обработке больших данных.

«Есть ложь, наглая ложь и статистика» — этот афоризм, по утверждению Марка Твена, принадлежит премьер‑министру Великобритании Бенджамину Дизраэли. А по мнению скептиков — самому Твену. Как бы там ни было, статистика не так уж и врёт, по крайней мере не больше, чем машинное обучение (ML). Более того — в некоторых случаях она может оказаться привлекательнее, надёжнее и значительно дешевле, чем обучение и внедрение ML‑моделей.

В этой статье я пропущу очевидные вещи вроде среднего, медианы и моды и сразу перейду к более интересным и полезным инструментам. Примеры и код — на Python, с использованием библиотек numpy, pandas.