Руководство хакера по нейронным сетям. Схемы реальных значений.Стратегия №2: Числовой градиент

[Kvarkas]

Не каждый поймет, особенно кто нейросети не учил, но мне понравилось :) кармы не хватает плюсануть :(

[dex131]

Я не учил нейросети, но то, что увидел в этой статье — школьное определение производной и определение градиента из матанализа.
Несомненный плюс — это описано здесь с довольно интересного ракурса, очень доходчиво)

[Irina_Ua]

Это часть материала, которая необходима для понимания дальнейшего изложения. Автор ориентировался на разных читателей с разным уровнем подготовки.

[Kvarkas]

ну исходя из того что 2х2 = 4 а по сути это 1+1+1+1 то как бы тоже понятно всем кто не учил высшию математику, но сначала оно всегда такое простое :)

[Zoberg]

Стоит заметить, что бесконечно уменьшать шаг при вычислениях на компьютере нельзя из-за ошибок округления. Пусть есть функция f и мы считаем ее численную производную как . Тогда если в вычисления значений f_1, f_2 закралась ошибка (а она есть практически всегда), то . То есть уменьшение шага ведет к росту ошибок округления. Оптимальное значение шага где-то посередине — не слишком мало и не слишком велико.

[Irina_Ua]

Ну, собственно, автор и пишет об этом, обращая внимание на то, что перебор должен производиться с «бесконечно малым» шагом для того чтобы найти оптимальное значение.

[Zoberg]

Так я же говорю как раз о проблеме, возникающей при бесконечном уменьшении шага. В какой-то момент (в зависимости от задачи) оказывается, что с шагом 0.0000001 результаты получаются хуже, чем с 0.000001.

[Irina_Ua]

Да, не могу найти аргументов против, шаг нужно подбирать под каждую конкретную задачу, а не стремиться свести его к бесконечно малой величине в любой ситуации, спасибо за уточнение.

[Zoberg]

сам себе отвечу: конечно, это касается только примера с производной — многие алгоритмы прекрасно себя чувствуют при уменьшении шага (свойство корректности).