Разбираемся в ML без воды: от базы до Attention. Часть 7: SVM и SGD

[unreal_2004]

Теперь возьмём точку x_+ на верхней границе и точку x_- на нижней. Они удовлетворяют уравнениям: (omega, x_+) = 1 и (omega, x_-) = 1.

Похоже опечатка, -1 должно быть в конце этого предложения.

[ysrgsyn]

Спасибо, что заметили. Там очевидно -1, исправил :)

[5upcanc]

В скалярном произведении весов на точку с нижней границы получается же -1, а то там потом при разности 0, а не 2 получится.

[antonkozhukhov]

Автор, спасибо, особенно, за "Дон Классификационе" и за объяснение почему SVM ленивый, но эффективный.

Из практики. Hinge Loss это круто, но на шумных данных SVM начинает дергаться, так что C приходится подбирать как успокоительное. И без StandardScaler перед SVM лучше не лезть - веса плясать будут.

Буду ждать статью про kernel trick. Там про RBF и gamma отдельная боль.

[ysrgsyn]

на шумных данных SVM начинает дергаться

А кто ж не дергается на них...

В целом, половина успеха в ЛЮБОЙ задаче мл – это дата. Если она плохая, даже магия вне Хогвартса не поможет.

Однако, SVM много чем уступает всяким бустингам и подобным товарищам, но мы его любим за две причины: он хорош, когда фич много, а данных мало, в также у него выпуклая задача оптимизации.

Что касаемо Scaler - как правило, он нужен практически везде, где у нас хоть мельком упоминается какая-то идея о расстоянии. Так что, полностью согласен с вами

[GoldRush73]

Честно говоря, сложно понять почему именно такое условие y_i<w,x_i> >= 1, почему оно верное и забывается что такое y. Можете пожалуйста объяснить

[ysrgsyn]

Смотрите, у y_i это просто класс: либо +1, либо -1 (кот/собака), или (покупаем/не покупаем).

Также для <w,x> имеем пограничные линии, грубо говоря либо до -1 либо после +1

Если мы их умножили и получили число ≥1 значит,

Во-первых, y_i и <w,x_i> имеют одинаковый знак (значит класс угадан верно)

Во-вторых, <w, x_i> либо ≥1 либо ≤1 , т.е. находится снаружи наших "рамок"