Разбираемся в ML без воды: от базы до Attention. Часть 7: SVM и SGD

[unreal_2004]

Теперь возьмём точку x_+ на верхней границе и точку x_- на нижней. Они удовлетворяют уравнениям: (omega, x_+) = 1 и (omega, x_-) = 1.

Похоже опечатка, -1 должно быть в конце этого предложения.

[ysrgsyn]

Спасибо, что заметили. Там очевидно -1, исправил :)

[5upcanc]

В скалярном произведении весов на точку с нижней границы получается же -1, а то там потом при разности 0, а не 2 получится.

[antonkozhukhov]

Автор, спасибо, особенно, за "Дон Классификационе" и за объяснение почему SVM ленивый, но эффективный.

Из практики. Hinge Loss это круто, но на шумных данных SVM начинает дергаться, так что C приходится подбирать как успокоительное. И без StandardScaler перед SVM лучше не лезть - веса плясать будут.

Буду ждать статью про kernel trick. Там про RBF и gamma отдельная боль.

[ysrgsyn]

на шумных данных SVM начинает дергаться

А кто ж не дергается на них...

В целом, половина успеха в ЛЮБОЙ задаче мл – это дата. Если она плохая, даже магия вне Хогвартса не поможет.

Однако, SVM много чем уступает всяким бустингам и подобным товарищам, но мы его любим за две причины: он хорош, когда фич много, а данных мало, в также у него выпуклая задача оптимизации.

Что касаемо Scaler - как правило, он нужен практически везде, где у нас хоть мельком упоминается какая-то идея о расстоянии. Так что, полностью согласен с вами