И разбираемся в статье Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning by Sebastian Raschka из arxiv (https://arxiv.org/abs/1811.12808).

При изучении учебных программ по machine learning я заметила недостаток материалов, посвященных сравнению моделей. Меня зовут Виолетта, я как data scientist в QIWI ежедневно занимаюсь оценкой данных и обучением моделей машинного обучения. В этой статье я рассмотрю три метода сравнения моделей.

Материал будет полезен для сравнения классических моделей, таких как регрессионные модели или модели классификации, на больших таблицах. Акцент в тексте я сделала на методике сравнительного анализа, без учета оптимизации времени тестирования.

Когда нужно сравнивать модели

Валидация новых признаков. Проверка новых признаков для модели машинного обучения включает оценку бизнес-эффекта, поскольку использование таких признаков связано с дополнительными затратами. Это включает выделение дополнительного места в хранилище и выполнение работы дата инженером для создания необходимой витрины.
Тестирование различных алгоритмов. Сравнение двух разных алгоритмов. Например, линейная модель или бустинг.
Поменялись значения в таблице из-за изменения методологии сбора данных. Например, нужно проанализировать две футбольные команды, но у вас данные по игрокам. Когда команда меняет состав команды, может поменять распределение признаков.

Как сравнивать

Если обобщить, можно выделить два подхода:

Оценка по пороговому значению (threshold) на перекрестной проверке или отложенной выборке (cross-validation или holdout). Если качество одной модели больше другой на (?) пунктов, то эксперимент удачный. И это нормально, если вам такая точность подходит.
На основе статистических тестов. Проводим A/B-тест, чтобы принять решение относительно p-value.

Я расскажу о трёх методах с применением статистических тестов, которые показались (на мой авторский взгляд) простыми и интересными. Эти методы рекомендуется использовать на больших датасетах. А если данных немного, советую обратиться к источнику.

Три метода на основе статистических тестов

Метод 1. Получаем среднее и дисперсию по схеме «Холдаут 50/50»

Этот метод предоставляет оценку того, насколько хорошо модель может работать на случайном наборе тестов. Также предоставляет информацию о стабильности модели – как модель изменяется при различных сплитах обучающей выборки.

Картинка из статьи

Для примера автор статьи взял датасет Ирисы Фишера.

Левый график на рисунке 6 был создан путем выполнения разделения датасета 50/50 на трейн и тест. То есть было всего 150 строк, после разделения размер трейна = 75 строк, теста = 75 строк. Средняя точность составила 95%.

Та же процедура использовалась для создания правого графика на рисунке 6. Здесь разделение было по схеме 90/10, а средняя точность составила 96%. В тест попало всего 15 строк, а в трейн 135 строк.

Рисунок 6 демонстрирует два момента:

Во-первых, видим, что дисперсия оценки увеличивается по мере уменьшения размера тестового набора. А именно, разброс значений на левом графике меньше, чем на правом.

Во-вторых, видим увеличение средней точности модели по мере увеличения обучающих данных. А именно на левом графике точность составила 95% при тестовом датасете в 75 строк, а на правом 96% при тестовом датасете в 15 строк.

Наша цель – получить среднее значение при меньшей дисперсии для сравнения на статистическом тесте, так как размер дисперсии влияет на количество повторений для статистического теста.

Исходя из распределения, выбираем подходящий статистический тест.

# Данный синтетический пример имеет ряд нарушений: 
# распределения могут быть отличными от нормального, 
# тест на зависимых данных

# Шаг 1 - Оценим кол-во повторений
from statsmodels.stats.power import TTestIndPower
mu_control, sigma_control = 0.95,  0.002 # среднее и дисперсия контроля
mu_experiment, sigma_experiment = mu_control + 0.001, sigma_control # ожидаемый прирост среднего значения в тесте = 0.001
d = (mu_experiment - mu_control) / ((sigma_control**2 + sigma_experiment**2) / 2) ** 0.5
effect = d
alpha = 0.05
power = 0.8
analysis = TTestIndPower()
result = analysis.solve_power(effect, power=power, nobs1=None, ratio=1.0, alpha=alpha, alternative='larger')
print('Sample Size: %.3f' % result)


# Шаг 2 – Обучаем модель
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
from sklearn.datasets import make_classification
from scipy.stats import ttest_ind

SAMPLE_SIZE = 50 # кол-во повторений 

X, y = make_classification(n_samples=1000, n_features=4,
                           n_informative=2, n_redundant=0,
                           random_state=0, shuffle=False)

score_list_control_group = []
score_list_test_group = []
for i in range(SAMPLE_SIZE):
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=i)
    # обучаем модель 1
    model_control = LogisticRegression(random_state=i)
    model_control.fit(X_train, y_train)
    prediction = model_control.predict(X_test)
    score = accuracy_score(y_test, prediction)
    score_list_control_group.append(score)
    # обучаем модель 2
    model_test = RandomForestClassifier(random_state=i)
    model_test.fit(X_train, y_train)
    prediction = model_test.predict(X_test)
    score = accuracy_score(y_test, prediction)
    score_list_test_group.append(score)

stat, p_val = ttest_ind(score_list_control_group, score_list_test_group, equal_var=False)
print('stat, p_val:', stat, round(p_val, 2))

Подведем итоги:

Плюсы:

Универсальность метода. Можно посчитать любую метрику.
Схема 50/50 дает меньшую дисперсию, что положительно влияет на количество повторений разделения.
Более надежная оценка модели на случайном тесте.

Минусы:

Долго считать.
Высокий false positive rate.

Метод 2. Таблица сопряженности для сравнения бинарной классификации

Предположим, что нам необходимо оценить точность (accuracy) бинарной классификации. Представим результаты бинарной классификации в виде таблицы сопряженности для оценки пропорций, то есть сгруппируем результаты и посчитаем количество в каждой группе. Отмечу, что сравниваем прогнозы моделей друг с другом, а не встречающиеся в машинной обучении ложноположительные / ложноотрицательный результаты. Таблица всегда будет выглядеть как таблица 2х2.

В данном случае используем тест Макнемара (McNemar's test), который представляет собой непараметрический аналог хи-квадрат для парных сравнений.

Картинка из источника

На левом рисунке видим, что модель 1 дала 11 правильных, где модель 2 ошиблась. И модель 2 сделала 1 правильное предсказание, где модель 1 ошиблась. Таким образом, из соотношения 11:1 можем заключить, что модель 1 работает лучше, чем модель 2. Однако на правом рисунке соотношение составляет 25:15, что менее убедительно, чем 11:1. Это хороший пример, когда нужен тест Макнемара. Точность модели 1 = 99.7%, а точность модели 2 = 99,6%, данное различие в точности не выглядит убедительным.

Код

from mlxtend.evaluate import mcnemar
import numpy as np

tb_a = np.array ( [[9959, 11], [1, 2911]])
chi2, p = mcnemar(ary=tb_a, exact=True)
print('chi-squared:', chi2)
print('p-value:', p)

chi-squared: None
p-value: 0.005859375

Однако, если посчитать статистический тест, то p-value (model1) < 0.05, это говорит нам, что мы можем опровергнуть нулевую гипотезу о том, что модели перформят одинаково. Так как точность модели 1 статистически значимо лучше точности модели 2.

Код

import numpy as np
from mlxtend.evaluate import mcnemar

tb_b = np.array([[9945, 25], [15, 15]])
chi2, p = mcnemar(ary=tb_b, corrected=True)
print(“chi-squared:”, chi2)
print(“p-value:”, p)

chi-squared: 2.025
p-value: 0.154728923458

Во втором случае мы не можем утверждать, что точность модели 1 статистически значимо лучше точности модели 2.

Подведем итоги:

Плюсы:

Быстро, оценка за одну итерацию
Низкий уровень false positive

Минусы:

Нужен большой датасет
Не работает на регрессии или вероятности отнесения к классу в случае классификации.

Метод 3. От таблицы сопряженности к бакетному тестированию для сравнения регрессионных моделей или rocauc на моделях классификации

(наше дополнение, материал не из рассматриваемой статьи Sebastian Raschka)

ID	Feature_1	Feature_2	Feature_3	Target	Bucket	Score
1	…	…	…	1	1	0.8
2	…	…	…	0	1	0.8
3	…	…	…	1	2	0.81
4	…	…	…	0	2
5	…	…	…	0	…	…
…	…	…	…		…	…

Данный метод применяется как метод оптимизации времени, если дисперсия позволяет. Разобьем строки случайным образом на N бакетов. Далее обучим две модели на перекрестной проверке (cross-validation). Разделим предсказания по бакетам и посчитаем метрику в каждом бакете.

Таким образом можно получить N значений для сравнения двух моделей. Далее применим статистический тест в зависимости от конкретного случая.

Код в работе:

import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score


BUCKETS = 50

def get_auc(data_sample):
    rocauc_control = roc_auc_score(data_sample['target'], data_sample['prediction_control'])
    rocauc_test = roc_auc_score(data_sample['target'], data_sample['prediction_test'])
    return rocauc_control, rocauc_test

X, y = make_classification(n_samples=10000, n_features=4, n_informative=2, n_redundant=0)

# Сплитуем данные
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=42)
df = pd.DataFrame()
df['target'] = y_test
df['id'] = range(y_test.shape[0])  # id или идентификатор

# обучаем модель 1
model_control = LogisticRegression()
model_control.fit(X_train, y_train)
prediction = model_control.predict_proba(X_test)[:, 0]
df['prediction_control'] = prediction

# обучаем модель 2
model_test = RandomForestClassifier()
model_test.fit(X_train, y_train)
prediction = model_test.predict_proba(X_test)[:, 0]
df['prediction_test'] = prediction

# считаем метрику по бакетам
df['bucket'] = pd.util.hash_pandas_object(df['id'], index=False) % BUCKETS
tmp = df.groupby(['bucket']).apply(get_auc).reset_index().rename(columns={0:'rocauc'})
tmp[['auc_control', 'auc_test']] = tmp['rocauc'].tolist()
stat, p_val = ttest_ind(tmp['auc_test'], tmp['auc_control'], equal_var=False)
print('stat, p_val:', stat, round(p_val, 2))

Плюсы:

Быстро считать

Минусы:

Дисперсия между бакетами может быть высокой, что влияет на чувствительность статистического теста.

Почему это нужно делать?

Участие в кагл-соревновании, где битва идет на сотые, а может, даже и тысячные доли. Тут для победы важна точность.
Генерация новых признаков для модели, где нужно оценить business-value, так как обработка и хранение фич требует ресурсов.

Если бакетное тестирование или таблица сопряженности не подходят по размеру выборки или точности статистического теста, всегда можно воспользоваться первым вариантом.

А как вы сравниваете модели?

Использованные источники

Сравниваем модели машинного обучения с применением статистических тестов