«Есть ложь, наглая ложь и статистика» — этот афоризм, по утверждению Марка Твена, принадлежит премьер‑министру Великобритании Бенджамину Дизраэли. А по мнению скептиков — самому Твену. Как бы там ни было, статистика не так уж и врёт, по крайней мере не больше, чем машинное обучение (ML). Более того — в некоторых случаях она может оказаться привлекательнее, надёжнее и значительно дешевле, чем обучение и внедрение ML‑моделей.

В этой статье я пропущу очевидные вещи вроде среднего, медианы и моды и сразу перейду к более интересным и полезным инструментам. Примеры и код — на Python, с использованием библиотек numpy, pandas.

1. Средневзвешенное значение — более честное, чем обычное среднее значение

Обычное среднее — показатель капризный. Оно неустойчиво к выбросам и часто искажает картину. Например:

В компании директор получает $10, а уборщица — $0.10. Суммируем и делим на двоих — получаем среднюю зарплату $5.05. Уверен, уборщица с такой арифметикой не согласится.

Взвешенное среднее решает проблему:

import numpy as np  

salary = np.array([10.0, 0.10])  
weight = np.array([1, 10])  

result = np.sum(salary * weight) / np.sum(weight)  
print(f"Weighted average: ${result:.2f}")

👉 Результат: $1.00 — уже куда ближе к реальности.

Где это полезно:

при анализе доходов по каналам продаж;
при учёте доли клиентов в группах;
в расчётах с сильным перекосом в частотах.

2. Стандартное отклонение — насколько сильно данные «колеблются» вокруг среднего значения

Стандартное отклонение показывает, насколько в среднем данные отклоняются от среднего значения. Это важный показатель стабильности, однородности и предсказуемости.

Пример: зарплаты в компании

import pandas as pd  
import numpy as np  

data = {  
    "Employee": ["Ivan", "Maria", "Oleg", "Anna", "CEO"],  
    "Salary": [500, 400, 450, 550, 5000]  
}  

df = pd.DataFrame(data)  
n = len(df['Salary'])  
mean_ = df['Salary'].mean()  
s = np.sqrt(np.sum((df['Salary'] - mean_) ** 2) / (n - 1))  

print(f"Standard deviation: {s:.2f}")

👉 Результат: 2024.41 — огромный разброс, вызванный зарплатой директора.

Вывод: стандартное отклонение сразу показывает, что у нас сильное смещение и простое среднее здесь неадекватно.

3. Дисперсия — квадратичная версия отклонения

Дисперсия — это то же стандартное отклонение, только без корня. То есть отклонения считаются в квадрате единиц (рубли², кг² и т.д.), и интерпретировать её сложнее. Тем не менее она полезна, когда нужно сравнить стабильность и однородность данных.

Пример: кофейня и количество продаж

import numpy as np  

sales = np.array([90, 95, 92, 93, 91, 200, 210])  
mean_sales = np.mean(sales)  
dispersion = np.sum((sales - mean_sales) ** 2) / (len(sales) - 1)  

print("Variance:", dispersion)

👉 Среднее = 110 чашек, но на деле будни продают по 90–95, а выходные — по 200+. Дисперсия покажет неоднородность и поможет понять, что данные нужно разделять по сегментам.

4. Корреляция Пирсона — линейная зависимость (с оговорками)

Корреляция — вещь полезная. Она показывает, как одна переменная линейно связана с другой. Подчеркну: линейно и математически. Это не означает причинно-следственную связь, и это важно помнить.

Например, между зарплатой и стажем может быть высокая корреляция — и это логично. А вот между игрой в гольф и смертностью гольфистов — тоже есть сильная корреляция, но причина вовсе не гольф, а то, что большинство гольфистов — пожилые люди. Поэтому: корреляция — не причинность.

Пример: сколько учишься — так и пишешь тест

import numpy as np  

X = np.array([1, 2, 3, 4, 5])  # study hours  
Y = np.array([50, 55, 60, 65, 70])  # test scores  

x_mean = np.mean(X)  
y_mean = np.mean(Y)  

corXY = np.sum((X - x_mean) * (Y - y_mean))  
corr_sqrt = np.sqrt(np.sum((X - x_mean)**2) * np.sum((Y - y_mean)**2))  

res = corXY / corr_sqrt  
print(f"Pearson correlation: {res:.2f}")

👉 Результат будет 1.00 — идеальная линейная зависимость.

Зачем тогда квадрат корреляции?

Чтобы понять, какая доля изменений одной переменной объясняется другой. Если r = 0.9, то r² = 0.81 → 81% изменений объясняются, остальное — случайность или другие факторы.

В ML это называют коэффициент детерминации, и он активно используется для оценки качества регрессий.

5. Тест «хи-квадрат» — соответствуют ли наши ожидания реальности?

Ещё один потрясающий метод из статистики, который может быть полезен при оценке почти чего угодно. Человеческому роду свойственно постфактум всегда интересоваться: а как же наши планы соотнесены с реальным результатом?

Так вот, хи-квадрат помогает узнать, насколько прогноз отличается от полученного результата.

📌 И, как всегда в статистике, есть свои подводные камни:

· оба набора данных должны быть одинаковой длины — что логично;

· в ожидаемых значениях не должно быть нулей, математика не любит их, особенно при делении;

· хи-квадрат возвращает безразмерный результат: это не проценты и не «единицы измерения данных», а просто число, которое показывает, насколько сильно расхождение между ожиданиями и реальностью. Причём чем больше это число, тем сильнее расхождение.

Вот простой пример расчёта хи-квадрат-статистики:

import numpy as np  

O = np.array([1, 2, 3, 4, 7, 9, 11, 13, 14])  # observed  
E = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9])    # expected  

xi = np.sum((O - E) ** 2 / E)  
print(f"Chi-square statistic: {xi:.2f}")

6. Распределение Пуассона — когда редкие события перестают быть неожиданностью

Распределение Пуассона используется, когда нужно предсказать, сколько раз случится редкое событие за фиксированный период времени или в определённой области. Это один из самых полезных и недооценённых инструментов статистики — особенно в бизнесе, где «редкие» события вроде жалоб, отказов или сбоев случаются регулярно.

Например:

Сколько клиентов позвонят в поддержку за вечер?
Сколько заказов поступит на сайт за час?

Пусть в среднем с лендинга приходит 3 заявки в день. Какова вероятность, что сегодня придут ровно 5?

в распределении Пуассона следующие переменные:

· λ — среднее количество событий за интервал,

· k — количество событий, которое нас интересует,

· e — основание натурального логарифма (примерно 2.718),

· k! — факториал числа k.

Пусть в среднем с лендинга приходит 3 заявки в день. Какова вероятность, что сегодня придут ровно 5?

import math   

λ = 3   # среднесуточное количество потенциальных клиентов  
 k = 5   # вероятность того, что сегодня будет ровно 5 потенциальных клиентов  

prob = (λ ** k) * math.exp(-λ) / math.factorial(k)   
print ( f"Вероятность 5 потенциальных клиентов: {prob: .4 f} " )

👉 Результат: 0.1008, то есть около 10.08%

Где пригодится:

в маркетинге — для оценки откликов на рекламу,
в техподдержке — чтобы спрогнозировать нагрузку на операторов,
в логистике — чтобы оценить число заказов/возвратов,
в безопасности — при анализе частоты инцидентов,
в финансах — при оценке количества просрочек или рисков.

Важное замечание:

Распределение Пуассона предполагает, что:

события происходят независимо друг от друга;
вероятность события постоянна для любого маленького отрезка времени;
нельзя иметь два события одновременно (одно за раз).

7. Биномиальное распределение — успех или неудача с вероятностью

Так, дальше тоже интересно – биномиальное распределение – это такая штуковина, которая помогает понять сколько при фиксированном количестве независимых испытаний произойдёт успешный исход, с учетом того, что есть только два исхода успех/неудача

Ключевые характеристики биномиального распределения:

n — общее число испытаний (например, писем, бросков, клиентов)
k — количество успехов (например, открытые письма, победы)
p — вероятность успеха в каждом отдельном испытании
1 - p — вероятность неудачи

n = 100 # общее количество писем

k = 70 # количество открытых писем

p = 0.7 # вероятность открытия одного письма

import math   

n = 100  
 k = 70  
 p = 0,7  

b_coef = math.factorial(n) / (math.factorial(k) * math.factorial(n - k))   
prob = b_coef * (p ** k) * (( 1 - p) ** (n - k))   

print ( f"Вероятность 70 открытий: {prob: .6 f} " )

Примеры, когда используется биномиальное распределение:

Email-маркетинг: из 100 писем 70 открыли — насколько это вероятно, если шанс открытия 0.7?
Контроль качества: из 20 деталей 2 бракованные — насколько это отклонение?
A/B тесты: из 1000 пользователей 300 кликнули на кнопку — насколько это лучше, чем 250 у варианта B?
Медицина: у 8 из 100 пациентов побочные эффекты — это в пределах нормы?

8. Экспоненциальное распределение — сколько времени осталось до следующего события?

Экспоненциальное распределение — это способ посчитать, сколько времени пройдёт до того, как произойдёт какое-то случайное событие, если такие события случаются равномерно, случайно и независимо друг от друга.

Например:

сколько времени пройдёт до следующего звонка в кол‑центр,
когда снова сломается техника,
через сколько минут придёт следующий клиент.

То есть, оно отвечает на вопрос: «Сколько ждать до следующего события, если такие события случаются с постоянной средней скоростью?»

import math   

lambd = 4    # avg 4 вызова/час  
 x = 1 / 3      # 20 минут = 1/3 часа  

prob = lambd * math.exp(-lambd * x)   
print ( f"Вероятность следующего вызова через 20 мин: {prob: .4 f} " )

Заключительные мысли

Это далеко не полный арсенал статистических методов — их слишком много, чтобы охватить все в одной статье. Я намеренно выбрал те, которые малый бизнес сможет использовать уже завтра — без специалистов по анализу данных, графических процессоров и многомиллионных бюджетов.

Если хотя бы один из этих методов поможет вам предсказать завтрашних клиентов немного лучше, чем вчера — миссия выполнена.

Источник изображения

Когда машинное обучение не нужно: статистика для бизнеса