Комментарии 4
Очередная статья про дропаут, и в очередной раз люди рассматривают дропаут всего лишь как средство борьбы с оверфитом. Потрясающе как инертно может быть человеческое сознание даже в такой быстро развивающейся и передовой области.
В вики тоже ни слова про альтернативные взгляды на Dropuot. А о чем тут не написано?
Всякие классики советовали использовать дропаут даже если ваши модели не переобучены. Типа он полезен. Чуть не Карпаты это был или кто-то такого же масштаба, но долго искать сейчас первоисточник. Исходя из изучения некоторых сетей я бы тоже сказал, что это полезно. Меня удивляет, что вообще никто не перепроверяет трактовку из википедии, иначе бы кто-ниубдь наверняка наткнулся или на то что делаю я или на то, что делает Карпаты, что бы он там не делал.
Или вы про то, что это похоже на экспоненциальное сглаживание от ансамбля моделей? (если это предложение вообще имеет смысл)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Dropout — метод решения проблемы переобучения в нейронных сетях