Пишем XGBoost с нуля — часть 1: деревья решений

[igamblezzz]

Спасибо, очень хорошая статья! Жду продолжения!

[ericgrig]

Спасибо, вы славно потрудились. Хорошая работа.

[startars]

Привет!

Огромное спасибо за публикацию. По винтикам разобран чёрный ящик, в который большинство людей даже не думают совать нос.

А правда что MSE — это энтропия? MSE это логарифм правдоподобия в предположении гауссового распределения ошибки. А энтропиия — это матожидание количества информации. p * log p и всё такое… Ну, то есть, logloss — это энтропия. Может, лучше говорить «в качестве функции потерь сейчас мы возьмём MSE»?

ввиду -> в виду :)

[temkahap]

Здравствуйте, да, правильно говорить не совсем так. Энтропия это не MSE, просто в головах людей энтропия — это та самая штука, которая считается в деревьях и по которому ищется разбиение, возможно это упростило переход к понимаю деревьев с MSE (надеюсь :)).