Что нам стоит сеть построить

[Disasm]

Уже много лет как нейронные сети не обучаются методом обратного распространения ошибки. Этот метод — примерно как пузырьковая сортировка по сравнению с quick sort.

[Optik]

1) Автор указывал, что это сделано в образовательных целях.
2) Пузырьковая сортировка имеет право на жизнь, ибо на малых N у нее сложность ниже быстрой сортировки.

[mephistopheies]

поведуйте тогда как же они обучаются?

[Disasm]

С помощью алгоритма Левенберга-Марквардта, например. Куда быстрее и точнее, чем методом обратного распространения.

[mephistopheies]

а давно уже в нейросетях отказались от всех остальных целевых функция за исключением L2 нормы?

[Disasm]

Да, в общем-то, от алгоритма зависит. Не все ведь умеют работать с теми же ступенчатыми функциями.

[mephistopheies]

вот со ступенчатыми как раз почти никто и не работает, они остались в истории, которая привела как раз к развитию нейросеток

[Biga]

Вот кто бы написал на Хабр статью про Левенберга-Марквардта? Буквально вчера понадобилось. А на википедии одни формулы, в них тяжело разобраться.

[zz_wolf]

Метод обратного распространения — это вычислительно эффективный способ получения производных, только и всего. Им можно вычислять как градиенты, так и якобианы, гессианы и их аппроксимации, причем для самых разных целевых функций, первого и второго порядка.

В упомянутом вами алгоритме Левенберга-Марквардта, а равно и в других популярных градиентных алгоритмах обучения нейронных сетей производные по весам вычисляются именно с помощью backpropagation! Поэтому его описание не может отклонить читателей от движения по направлению к новому и светлому. )

[spice_harj]

Классная статья, не бузите! Побольше бы таких — наглядных и написанных руками!

[Truba]

Спасибо за статью!