Comments 11
Очень хорошая статья, большое спасибо. Если можно такую же про обучение нейросети, чтоб на пальцах и масштабируемо до практического применения - было бы совсем прекрасно.
Сначала маме, потом коту. Кому же будет дальше?
Спасибо за статью!
Не совсем понял про гиперболический тангенс. Вы пишете:
Выходные значения сигмоида, с другой стороны, не центрированы относительно нуля (диапазон от 0 до 1), что может привести к так называемой проблеме «исчезающих градиентов» (см. раздел ReLU для объяснения). Из-за этих свойств (быстрый градиентный спуск, отсутствие исчезающих градиентов)
По описанию похоже, что проблема исчезающих градиентов для этой функции характерно - тогда почему в преимуществах указано их отсутствие?
Все таки затухание градиента происходит не из за того что сигмоида в единицу упирается, а из за того что у неё максимальное значение производной 0.25. а так для новичков самое то
Вроде опечатка в последнем абзаце
Смещение добавляется к сумме входных выходных
Блин, я думал это будет статья по дрессировке котиков.
мой кот понял, а для меня это было сложно(
Как объяснить функции активации вашему коту: простое руководство