Comments 3
В градиентном бустинге случайность может влиять, например, при равнозначных разбиениях или при использовании подвыборок.
Хотелось бы в таком случае услышать, где и в каких случаях в градиентном бустинге используются подвыборки.
Коэффициент скорости обучения \alpha при этом контролирует величину шага — насколько сильно каждое новое дерево исправляет ошибку предшественника. <...> Если бы мы взяли \alpha=1.0, каждое дерево полностью бы исправляло усреднённую ошибку на своих листах, и, возможно, за меньшее число итераций мы бы дошли до очень малой ошибки.
Мне казалось, что альфа это про регуляризацию и оверфитинг.
Мне кажется, что градиентный бустинг проще всего понимать обобщенного через ряд Тейлора, если с ним базово все понятно - то и с бустингом проблем не будет, все остальное это детали работы с определенными моделями.
Градиентный бустинг для новичков