Уведомление о возможности ускорить работу появляется при установке scikit-learn, поэтому пишу для тех, кто давно не переустанавливал эту библиотеку.
Подробное описание ускорителя – по ссылке https://intel.github.io/scikit-learn-intelex/
Ниже перечислил важные моменты и результаты испытаний по повышению производительности.
Установка
Устанавливать можно с помощью pip или conda. Важный момент: ускоритель пока не работает с версиями python 3.10 и новее, поэтому лучше ставить в окружение с версией 3.9. Например, так:
conda create -n env python=3.9 scikit-learn-intelex
Сама библиотека scikit-learn при этом устанавливается автоматически.
Работа с GPU поддерживается.
Использование
Предусмотрено несколько вариантов применения «заплатки». Например, при запуске своего приложения без изменения его кода:
python -m sklearnex my_application.py
Второй вариант – подключать ускоритель внутри приложения. В этом случае можно применять и отменять заплатку.
Важно загружать запускать ускоритель до загрузки самой библиотеки:
from sklearnex import patch_sklearn
patch_sklearn()
from sklearn import…
Если нужно отменить, то после отмены снова загружаем sklearn:
sklearnex.unpatch_sklearn()
from sklearn import …
Ограничения
У некоторых алгоритмов есть ограничения на используемые гиперпараметры, но, по-моему, это больших проблем создать не должно. например, у RandomForestClassifier в качестве критерия можно использовать только gini.
Полный список ограничений: https://intel.github.io/scikit-learn-intelex/algorithms.html
Тест на скорость
По информации разработчика возможно ускорение в десятки даже сотни раз (https://intel.github.io/scikit-learn-intelex/acceleration.html).
Для своего теста на скорость взял набор данных (42100 строк, 18 столбцов) по отмене бронирования в гостиницах из соревнования на Kaggle (https://www.kaggle.com/competitions/playground-series-s3e7).
Классификатор – RandomForestClassifier. Подбор гиперпараметров с помощью GridSearchCV.
Метрика – ROC AUC на кросс-валидации (cv=5).
Для корректности сравнения во всех случаях в классификаторе задавал n_jobs=-1, в поиске по сетке n_jobs=1. GPU не использовал.
Сетка гиперпараметров:
{
'n_estimators': [1500, 2000, 2500],
'max_depth': [25, 50, 100],
'min_samples_split': [10, 50, 100],
'max_features': ['sqrt', None],
'max_samples': [0.5, 1.0]
}
С ускорителем поиск по сетке завершился за 1 час 33 минуты, после отмены – за 3 ч 35 м, т.е. ускорение «всего» в 2,3 раза, что, впрочем, тоже весьма неплохо.
Любопытно, что результаты оптимизации немного отличаются, несмотря на то, что я задавал одинаковое значение random_state.
Оптимальные гиперпараметры при поиске с ускорителем:
{'max_depth': 50,
'max_features': 'sqrt',
'max_samples': 1.0,
'min_samples_split': 50,
'n_estimators': 2500}
ROC AUC = 0.8910274241736913
Без ускорителя:
{'max_depth': 25,
'max_features': 'sqrt',
'max_samples': 1.0,
'min_samples_split': 50,
'n_estimators': 2000}
ROC AUC = 0.89091409276935
Попробовал также просто обучение классификатора RandomForestClassifier без поиска по сетке – выигрыш еще меньше: с ускорителем 11,2 с, без него 18,1 с.
Ноутбук со сравнением выложен по ссылке.
