Комментарии 3
Есть ли здесь люди у кого GAN обучилась дома на картинках типа 224x224, а не микроскопических? Сколько потребовалось эпох? Какой размер датасета? Сколько времени это обучение заняло?
И ещё занятый вопрос: при обучении слоёв мы получаем градиент изменение веса. Нормализацию пакета не используем. Умножаем его на фиксированный коэффициент скорости. Но тогда разные слои будут учиться с разной скоростью. Значит, скорость нужно нормировать. А вот как? И вот тут есть вопрос: для полносвязных и свёрточных/обратносвёрточных слоёв как нормировать скорость?
Да, забыл сказать, я использую ADAM для обучения полностью самодельной сети (со всей математикой). Но это не помогает.
Глубоко копаешь, молодец. А зачем?
Может поможет почитать на тему "затухание градиента". Попробуй функции активации по типу Leaky ReLU, ELU; добавь residual connections в структуру сети.
Раз тебе такое нравится, не пройди мимо, глянь сюда https://habr.com/ru/companies/skbkontur/articles/849966/
GAN и диффузионные модели: как научить нейросеть рисовать