каким образом дообучаете модель при поступлении новых данных: обнуляете веса (может не все веса, оставляя базовые уровне в случае трансферного варианта) и учите снова на всем наборе или оставляете веса и обучаете на новом пакете данных?
Дообучать надо всегда всей базой. Там есть работы где показывают, что буквально 3-4 эпохи по новым данным могут практически полностью разрушить всю сеть к восприятию старых данных.
Инициализировать сеть можно уже обученными — тогда быстрее будет. Но в теории это может немного качество просадить
Человек машине помощник