Комментарии 11
А порекомендуйте какие-нибудь работы по распараллеливанию Torch для снижения требований по железу? Здесь, допустим, 16 Гб видеопамяти ещё терпимо, но ведь часто нужны какие-то сотни гигабайт…
А я бы хотел узнать, может ли эта нейросеть убрать шумы на фото? Просто у меня как раз сейчас в процессе пересъёмка огромной кучи негативов, позитивных слайдов из семейного архива, причем, некоторые пленки просто в жутком состоянии, вплоть до плесени. Вот я и подумал, а не скормить ли мне их какой-нибудь нейросети...
Первая мысль. В DreamStudio появилась возможность загружать фотографии
Можно взять свою фотку и автоматически сгенерировать для нее текстовый промпт https://colab.research.google.com/github/pharmapsychotic/clip-interrogator/blob/main/clip_interrogator.ipynb
Затем подать эту фотографию + промпт и добавить denoised или что-нибудь типо того
Поэкспериментировать, возможно выйдет что-то дельное
Вторая мысль. В функцию generate_latents можно передать свой latent тензор.
Прогоняете фотографию через VAE
Вставляете результат generate_latents
Скорее всего придется поиграться с настройками и разными версиями scheduler, который предполагает нормальное распределение шума, но может и так сойдет
Третья мысль. Можно взять сетку, заточенную конкретно под эту задачу. Например https://arxiv.org/pdf/2104.10546.pdf
Советую сохранить исходники - убирание шумов операция инвазивная и необратимая.
Через 10 лет качество работы нейросетей вырастет и натравив на исходники можно будет получить куда лучший результат.
Потом, можно повторить через ещё через 10-30 лет )
Ха! Оказывается я использовал Stable Diffusion для создания своей аватарки. Я сначала нарисовал шум, а потом увидел в нем возмущенного кота.
Hidden text
Шерудим под капотом Stable Diffusion