Возник вопрос по поводу рассчета градиента (и, соответственно, ошибки) для ребер, исходящих из входных нейронов. По формуле он равен произведению выхода нейрона в начале ребра на ошибку нейрона в конце ребра. С ошибкой все понятно, насчет выхода начальных нейронов не совсем. В примере при рассчете градиента ребер w1 — w4 на месте выхода нейрона в произведении стоит вес ребра. Но разве выход нейрона I2 не будет равен нулю, ведь на него подается входной сигнал, равный нулю (I2 = 0), а выход равен Wi * I2?
По сути это вполне логично, так как если входной сигнал какого-то нейрона — 0, то и веса всех исходящих ребер домножатся на 0 и не повлияют на ответ, а значит, мы не сможем оценить, какую ошибку внес вес этого ребра. Или я чего-то не понимаю?
Если я все-же прав, то в общем случае outA в формуле градиента можно выразить как wAB * outputA, где outputA = f(inputA), при этом для входных нейронов f(x) = x, для остальных f(x) = sigmoid(x)?
По сути это вполне логично, так как если входной сигнал какого-то нейрона — 0, то и веса всех исходящих ребер домножатся на 0 и не повлияют на ответ, а значит, мы не сможем оценить, какую ошибку внес вес этого ребра. Или я чего-то не понимаю?
Если я все-же прав, то в общем случае outA в формуле градиента можно выразить как wAB * outputA, где outputA = f(inputA), при этом для входных нейронов f(x) = x, для остальных f(x) = sigmoid(x)?
Автору большое спасибо за статью! Жду продожения