Ars_magna_1308 15 мар 2023 в 00:09

Подробно рассматриваем обратное распространение ошибки для простой нейронной сети. Численный пример

Средний

6 мин

10K

Алгоритмы*Математика*Машинное обучение*Искусственный интеллект

Cезон machine learning

Из песочницы

+21

Комментарии 2

ivanuzzo 15 мая 2023 в 00:53

Во-первых, большое спасибо за так круто поданный материал, уже море всего перелопатил - но такое доступное объяснение встречаю впервые.
Во-вторых, можете, пожалуйста, уточнить, откуда в примере взялось 2/3, мы там вроде не получали производную, только множитель вынесли из под знака, т.е. в моем понимании должно остаться 1/3:

Обратное распространение ошибки и обновление
Найдём частные производные по всем элементам матрицы

я там имею ввиду первые три уравнения, а если конкретно - то второе из них.

Ars_magna_1308 15 мая 2023 в 10:34

Спасибо!

Что касается дроби 2/3, то она действительно получается в результате вычисления производной (для наглядности введём новую переменную z): $\frac{1}{3}\sum_{i=1}^{3}\frac{\partial z^2}{\partial z}\frac{\partial z}{\partial\mathbf{W}^3}, гдеz=\left(y_i-a_i^3\right),\\ \frac{2}{3}\sum_{i=1}^{3}{z\frac{\partial z}{\partial\mathbf{W}^3}}.$

Зарегистрируйтесь на Хабре, чтобы оставить комментарий