Как объяснить градиентный спуск вашей маме: простое руководство

[ivankudryavtsev]

Было бы здорово, если бы в объяснении вы вернулись к оптимизации при изменяющихся a и b.

[Squirrelfm]

Я постараюсь. Вообще такой план и был но потом мне стало лень ?

[ivankudryavtsev]

Это печально.

[M69]

Intercept - это НЕ точка (геометрический объект), это её ордината (числовая величина). Привычная для нас запись y=kx+l в англоязычной традиции называется slope - intercept form, это k и l соответственно.

[Squirrelfm]

Согласен, но после слова ордината мама может попросить не ругаться при ней матом

[digtatordigtatorov]

Любая мама не будет ругаться матом, потому что на после первого абзаца перестанет понимать о чем речь

[Squirrelfm]

хм

[sneg2015]

А может быть 2 минимума? И мы на спуске выберем 1, а он окажется не самым низким минимумом? Или просто 0,2 , а дальше не важно?

[Squirrelfm]

Может, это называется локальный минимум и мы можем его выбрать вместо глобального. К сожалению такая проблема есть, есть разные методы борьбы но ни один не гарантирует 100% победы

[kh0]

вот за это датасатанисты и получают 1005000 евро в микросекунду!

[Jesik123]

Спасибо, вы прекрасно все объяснили.

[Squirrelfm]

Рад что вам понравилось

[raqeta]

4 видео ниже от 3blue1brown помогли мне базово разобраться в нейронках. Градиентный спуск разобран во 2-м видео плейлиста. Может вам тоже понравится.