Comments 8
В закладки. Не забыть бы прочитать.
Спасибо! 4 года назад читал оригинальную статью, но потом не смог вспомнить ни авторов, ни название метода — так бы и не нашёл ее, если бы не Вы! С Новым Годом)
Решением забывшивости нейросеток является динамическое наращивание обучающей способности сети. Вы даете ей новые данные а сеть растет по мере их обработки с новыми данными растут возможности самой сети.
Можно такой вопрос: модуль произведения веса на производную лосса по этому весу (как критерий важности, используемый в методе прунинга, предложенном ребятами из Nvidia) кем-нибудь использовался в данной задаче? (Может, прячится за какой-то из аббревиатур, что Вы привели — я пока в первоисточники не ходил)
С Новым Годом! То, что вы говорите похоже на метод SI — там тоже производная лосса используется в важности. Или на EWC-S — там вес умножается на входной сигнал чтоб важность получить. Вообще у меня есть подозрение, что все эти методы примерно одинаковый результат дают — надо бы посчитать корреляцию важностей, полученных разными методами на одной и той же обученной сетке. Но пока руки не дошли.
Sign up to leave a comment.
«Вспомнить все» или решение проблемы катастрофической забывчивости для чайников