Как стать автором
Обновить

Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM)

Уровень сложностиСложный
Время на прочтение28 мин
Количество просмотров17K
Всего голосов 20: ↑20 и ↓0+20
Комментарии7

Комментарии 7

А что с поясняющими картинками ?

Неужели DALL-E?

Все иллюстрации я рисовал в Canva

Просто выглядит как будто нейросеть рисовала :)

Как и в случае с Adaboost, градиентный бустинг добавляет базовые модели в
ансамбль последовательно, однако вместо обучения моделей с учётом весов
на основе ошибок предшественников, в данном случае модели обучаются на
остаточных ошибках (residual errors), допущенных предыдущими моделями.

Уже первый абзац задает планку на 12000 м над уровнем моря)))

Статья - выше всяких похвал.

Но...насколько коррелируют ансамбли и интерпретируемость (как одна из ключевых метрик in production). Или в этом плане есть серьезные сподвижки?

Ансамбли занимают что-то промежуточное между простыми моделями и нейросетями в плане интерпретируемости. На сегодняшний день есть много методов интерпретации, начиная от feature importance и заканчивая SHAP, LIME и так далее. Интерпретируемость  далеко не всегда стоит на первом месте, например, те же нейросети используются повсеместно, хотя и являются чёрным ящиком в большинстве случаев.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории