Нейросетевая игра в имитацию

[noonv]

Спасибо! Отличная статья!

[noonv]

А здесь дискриминатор и генератор не перепутаны?

У меня получалось, что лосс дискриминатора всегда лучше лосса генератора.

[mephistopheies]

не перепутано, тут видно что Д стабильно улучшается, и скоро обойдет Г; вообще в своих экспериментах я замечал, что Д по началу хуже, но к концу как и у вас обыгрывает Г; если отрисовать график до эпохи 10к то и у меня будет тоже самое, наверное

[supersonic_snail]

какой конкретно gan у вас? их уже развелось столько, что говорить просто GAN слегка сбивает с толку. к тому же во многих вариантах сравнивать loss-ы G и D вообще особого смысла не имеет. скорее надо уловить типичные хорошие кривые для них и уже с ними сравнивать.

[noonv]

DCGAN. Тоже верно.

[perfect_genius]

100к картинок с японскими порномультиками, распознать там то, что называется лицом, и попробовать обучить). Результат вообще никакой, вероятно из-за того что «физика» лица в онеме совсем не реальная.

Вроде бы серьёзная статья, и ваша неприязнь не вписывается.

[mephistopheies]

[csar]

Хотите узнать, к чему эта прохладная тут?

Хотелось бы. Тем более лето.

[ozonar]

Ах эти летние сентябрьские деньки =)

[Neoport]

Прежде чем заявлять о некой нейроной сети. Дайте сначало определение- нейрон. А потом хорошенько подумайте о том что вы тут написали. И может быть, когда дойдёт, вы не будите писать глупости и объясните "своим" западным айтишникам, что маркетология хороша в меру.
Я не против совершенства программирования, я против громких названий, которые не соответствуют действительности.

[mephistopheies]

расскажите пожалуйста побольше про глупости в тексте, что бы у меня была возможность исправиться

[Neoport]

Определение так и не услышал.

[mephistopheies]

я хочу исправить все проблемы за раз, будь те добры, помогите сделать пост лучше, расскажите об остальных ошибках

[BelBES]

Когда людям нечего сказать по существу, они начинают философствовать на тему "что есть искуственный интеллект", "является ли искуственная нейронная сеть моделью реальной нейронной сети" и прочие темы, по поводу которых можно лить нескончаемые потоки псевдоумных изречений не несущих никакого смысла… в то время как практики не заморачиваются такой фигней и делают крутые штуки с использованием ИНС, независимо от того, являются они ИИ или нет ;-)

[unih]

Спасибо. Отлично!
п.с. Я как то придумал перевод «порождающие конкурующие сети».

[mistik_max]

Интереснейшая работа, благодарность автору!

[G-M-A-X]

порождающие совернующиеся сети

[supersonic_snail]

отличное ревью, спасибо.

может вы знаете какие-то примеры применения GAN-ов в продакшне? субъективно то да, картинки вроде клевые, но если хорошенько присмотреться к тем же лицам, то вечно что-то не так. мне давно интересно, смог ли кто-нибудь вкрутить это все в какой-то продукт.

[mephistopheies]

CycleGAN пошел бы в прод если бы дошло до этого (пока нет)

да пока не получается натренировать ганы делать лица без артефактов, но зато можно сделать сеть, которая убирает артефакты -)

теоретически можно соединить в одну модель ган, сеть убирающую артефакты и суперрезолюшн, тогда, в теории, все было бы ок, но так не пробовал пока никто вроде (имхо если натренировать каждую в отдельности, а потом соединить и дотюнить, то вполне могло бы заработать)

[erwins22]

а никто не пытался сделать несколько генераторов и несколько дискриминаторов?
и обучать их перекрестно?

[mephistopheies]

а что ты имеешь в виду? вот например последняя статья в обзоре CycleGAN, которая затронута только чутка, тк будет подробный пост про нее, там есть два генератора и два дискриминатора и два генератора, которые играют в игру по созданию биекции

[erwins22]

Я имею ввиду другое.
Есть несколько генераторов и несколько дискриминаторов служащих для одной и той же цели.
просто случайным образом выбираем кросскомбинации.
CycleGAN генераторы служат разным целям.

Дискриминаторы как и генераторы могут быть разными по сложности.

[BelBES]

А в чем существенная разница с тем, если бы мы просто налепили dropout'ов в один генератор и один диксриминатор? (Dropout вроде как порождает ансамбль сетей).

[erwins22]

В том, что
1. можно делать разные по архитектуре сети
2. Сети не будут сходиться к одной и той же точке.
3. Каждая обучается независимо.
4. Каждая из сетей может быть проще.

[mephistopheies]

да согласен с комментатором ниже, похоже на дропаут, но как и многое в сетях — нужно тестить -)

[erwins22]

ни разу дропаут не дал преимущества у меня.

[barmaley_exe]

Несколько дискриминаторов различной сложности были рассмотрены в статье Generative Multi-Adversarial Networks

We introduced multiple discriminators into the GAN framework and explored discriminator roles
ranging from a formidable adversary to a forgiving teacher [...] Introducing multiple
generators is conceptually an obvious next step, however, we expect difficulties to arise from more
complex game dynamics. For this reason, game theory and game design will likely be important.

[mephistopheies]

кстати статья Unsupervised Cross-Domain Image Generation из обзора использует трехклассовый дискриминатор, что тоже можно трактовать как несколько

[supersonic_snail]

пробовали — arxiv.org/abs/1701.02386

статья очень суровая математически. суть — один дискриминатор (насколько я помню) и много генераторов, каждый обслуживает свой кусок данных, которые надо сгенерировать.

[Symphel]

в ДНК были закодированы имена создателей, их электропочты

Это слово сделало мой день. Телеграфируйте по электропочте, прямо русским духом пахнет.

[KeyJoo]

Спасибо за статью, подбор материала и ссылки на ресурсы.