Комментарии 11
Уже много лет как нейронные сети не обучаются методом обратного распространения ошибки. Этот метод — примерно как пузырьковая сортировка по сравнению с quick sort.
1) Автор указывал, что это сделано в образовательных целях.
2) Пузырьковая сортировка имеет право на жизнь, ибо на малых N у нее сложность ниже быстрой сортировки.
2) Пузырьковая сортировка имеет право на жизнь, ибо на малых N у нее сложность ниже быстрой сортировки.
поведуйте тогда как же они обучаются?
С помощью алгоритма Левенберга-Марквардта, например. Куда быстрее и точнее, чем методом обратного распространения.
а давно уже в нейросетях отказались от всех остальных целевых функция за исключением L2 нормы?
Вот кто бы написал на Хабр статью про Левенберга-Марквардта? Буквально вчера понадобилось. А на википедии одни формулы, в них тяжело разобраться.
Метод обратного распространения — это вычислительно эффективный способ получения производных, только и всего. Им можно вычислять как градиенты, так и якобианы, гессианы и их аппроксимации, причем для самых разных целевых функций, первого и второго порядка.
В упомянутом вами алгоритме Левенберга-Марквардта, а равно и в других популярных градиентных алгоритмах обучения нейронных сетей производные по весам вычисляются именно с помощью backpropagation! Поэтому его описание не может отклонить читателей от движения по направлению к новому и светлому. )
В упомянутом вами алгоритме Левенберга-Марквардта, а равно и в других популярных градиентных алгоритмах обучения нейронных сетей производные по весам вычисляются именно с помощью backpropagation! Поэтому его описание не может отклонить читателей от движения по направлению к новому и светлому. )
Классная статья, не бузите! Побольше бы таких — наглядных и написанных руками!
Спасибо за статью!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Что нам стоит сеть построить