Математика для искусственных нейронных сетей для новичков, часть 2 — градиентный спуск

Можно использовать любые методы второго порядка, конечно же. Оптимизация она и в Африке оптимизация, но проблема в вычислении гессиана, что довольно затратно. Гессиан квадратный, надо вычислять n^2 его элементов, а еще есть и другие операции, что в итоге выливается в проблему.

Математика для искусственных нейронных сетей для новичков, часть 2 — градиентный спуск

Ну и видео забыл, конечно же: http://videolectures.net/eml07_lecun_wia/

Математика для искусственных нейронных сетей для новичков, часть 2 — градиентный спуск

Похоже на правду, в следующей части я приведу ссылку на презентацию Яна Лекуна, в которой он советует не волноваться насчет выбора методов и просто использовать градиентные. Для нетерпеливых: https://www.cs.nyu.edu/~yann/talks/lecun-20071207-nonconvex.pdf

Математика для искусственных нейронных сетей для новичков, часть 2 — градиентный спуск

Да, в дальнейшем, перевалив через базовую часть, я сделаю часть с обзором модифицированных градиентных методов и буду использовать что-нибудь модное-молодежное. AdaGrad какой-нибудь.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Если у вас есть ссылки на более доступное объяснение, я был бы признателен, если вы их предоставите. Перед публикацией следующей части я вместе с правкой опечаток добавил бы больше информации. Jupyter не планирую. На Хабр нельзя будет вставить тетрадь, а форматирование съедает достаточно времени.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

На самом деле стоит — я ведь не для профессоров или роботов пишу. Правда, некая база все же должна быть — я ее обозначил как базовый вузовский уровень, держа в уме технические вузы — линейная алгебра, мат. анализ, теория вероятности.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

От них никуда не денешься. ИНС, в конце концов, математическая теория, как бы ее не натягивали на гипотетические модели мозга и нейронов. Я попытался объяснить все преобразования и раскрыть все, что обычно опускается в литературе, но мог и упустить что-нибудь. Что конкретно неясно и где сломалось «понимание»?

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Линейная регрессия — это подвид обобщенной линейной модели с указанием, что ошибки распределены по нормальному закону. Начинать статью для новичков с GLM? Это уже будут далеко не новички. Новичкам (особенно со слабой математической базой) требуются простые, интуитивные примеры, море картинок, анимаций, идеализированные одномерные примеры. Я как-то встречал объяснение градиентного спуска будто бы это альпинист с горы шагает. Тогда меня это покоробило, теперь же я думаю, что любые методы хороши, если работают. А до GLM и максимального правдоподобия я также доберусь, но не стоит спешить. И слова «нейронные сети» еще не будет 3 или 4 части. Зато подойдя к этой модели вплотную, читающий будет во всеоружии.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Без паники, все будет. И инвайт не имеет столь большой ценности, чтобы исключительно ради него обещать обещать продолжение.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Можно, конечно. И метод этот, естественно, статистически корректен, при определенных допущениях в распределении ошибок. А минимум находят численными методами.

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Закончу, половина уже на бумаге. Основная сложность — это привнести что-то новое, упорядочить свои знания, с индексами не накосячить…

Математика для искусственных нейронных сетей для новичков, часть 1 — линейная регрессия

Все эти модели приведут в конечном итоге к нейронным сетям в их обычном понимании — со слоями, нейронами и т.д. Первые части всего лишь введение и в следующих частях они плавно перетекут в ИНС. Я хотел начать абсолютно с самого-самого начала, а не рвать с места в карьер, начиная со слоев и синапсов. Даже если умозрительно концепция понятна, модель НС совсем не самая тривиальная. Начав с азов, я закончу какими-нибудь сверточными сетями или изобрету какую-нибудь новую схему и хочу, чтобы объяснение было понятно максимальному числу читателей. А заголовок как раз явно обозначает, что описанные модели используются в НС или похожи на них (например, линейная во многом похожа на логистическую и так далее). Такой длинный путь к НС выдуман не мной — как пример подойдет CS229. А еще многие модели удобней модифицировать, взяв «чистую» реализацию, а не в составе НС. Например, модифицированный градиентный спуск, о котором будет следующая часть, намного легче воспринять отдельно в контексте линейной регрессии, чем в многослойной ИНС.