Как стать автором
Обновить

Комментарии 3

Есть ли здесь люди у кого GAN обучилась дома на картинках типа 224x224, а не микроскопических? Сколько потребовалось эпох? Какой размер датасета? Сколько времени это обучение заняло?

И ещё занятый вопрос: при обучении слоёв мы получаем градиент изменение веса. Нормализацию пакета не используем. Умножаем его на фиксированный коэффициент скорости. Но тогда разные слои будут учиться с разной скоростью. Значит, скорость нужно нормировать. А вот как? И вот тут есть вопрос: для полносвязных и свёрточных/обратносвёрточных слоёв как нормировать скорость?

Да, забыл сказать, я использую ADAM для обучения полностью самодельной сети (со всей математикой). Но это не помогает.

Глубоко копаешь, молодец. А зачем?
Может поможет почитать на тему "затухание градиента". Попробуй функции активации по типу Leaky ReLU, ELU; добавь residual connections в структуру сети.
Раз тебе такое нравится, не пройди мимо, глянь сюда https://habr.com/ru/companies/skbkontur/articles/849966/

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации