«Вспомнить все» или решение проблемы катастрофической забывчивости для чайников

[PrinceKorwin]

В закладки. Не забыть бы прочитать.

[VPryadchenko]

Спасибо! 4 года назад читал оригинальную статью, но потом не смог вспомнить ни авторов, ни название метода — так бы и не нашёл ее, если бы не Вы! С Новым Годом)

[mpakep]

Решением забывшивости нейросеток является динамическое наращивание обучающей способности сети. Вы даете ей новые данные а сеть растет по мере их обработки с новыми данными растут возможности самой сети.

[Belarus]

А чем это лучше запуска новой параллельной сети?

[VPryadchenko]

Можно такой вопрос: модуль произведения веса на производную лосса по этому весу (как критерий важности, используемый в методе прунинга, предложенном ребятами из Nvidia) кем-нибудь использовался в данной задаче? (Может, прячится за какой-то из аббревиатур, что Вы привели — я пока в первоисточники не ходил)

[spiral17]

С Новым Годом! То, что вы говорите похоже на метод SI — там тоже производная лосса используется в важности. Или на EWC-S — там вес умножается на входной сигнал чтоб важность получить. Вообще у меня есть подозрение, что все эти методы примерно одинаковый результат дают — надо бы посчитать корреляцию важностей, полученных разными методами на одной и той же обученной сетке. Но пока руки не дошли.

[VPryadchenko]

Да, хорошая мысль) Если дойдут руки, поделитесь результатом?

[spiral17]

Конечно