Улучшение качества изображения с помощью нейронной сети

[JTG]

компания Robin Video использует Super Resolution для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешёвые камеры с сохранением качества картинки

Надеюсь, без нейросетей? Будет не очень хорошо, если на видеозаписи преступления вдруг окажется «додуманный» нейросетью номер машины или лицо человека (как у копировальных аппаратов, которые при сохранении в формат JBIG2 подменяли «похожие» цифры).

[DimaTiunov]

Ну-с, не должны же фото с обработкой, пусть и мега заточенным инструментом под улучшение изображения, допускаться в суд, заяву, официальный документ в качестве доказательства. Для того что бы такое вошло в обиход нужны стандарты, изучить процент погрешности и т.д.

[qw1]

Никаких jpeg, только raw?

[Garrett]

Спасибо за ссылку, захватывающая история конечно!

[DistortNeo]

Ага, типичная ошибка. Алгоритмы повышения разрешения изображений не способны восстановить информацию, которая была потеряна из-за хреновой камеры. Зато они могут сделать изображение приятным человеческому глазу.

Есть ещё технология многокадрового супер-разрешения (раньше, кстати, под Super-Resolution понимали только многокадровый подход, потом термин исказился) — там за счёт игр с алиасингом можно вытащить реальную высокочастотную информацию из видеопоследовательности. Но есть жёсткое ограничение: только grayscale камеры и применение алгоритмов супер-разрешения до компрессии, т.к. компрессия за счёт разностного кодирования уничтожает дополнительную информацию для восстановления данных.

[Carburn]

с чего только grayscale? pixel использует это движение и снимает в цвете

[DistortNeo]

С того, что каждый пиксель может быть только R, G или B (bayer pattern), иногда W. Если мы сначала восстанавливаем цвет, то искажаем информацию. Поэтому работать приходится с сырыми данными, по отдельности восстанавливая плоскости R, G и B, а затем сливая их какой-нибудь нейросеткой.

[EndUser]

Чем это отличается от низкочастотного фильтра?

[Xirexel]

Низкочастотный фильтр аппроксимирует сигнал — изображение на основе проекции в линейное ортогональное пространство (обобщённо говоря). Описанный в статье метод является НЕЛИНЕЙНЫМ поиском подобия с принятием разностного решения нейронной сетью. Я работал с подобной технологией на основе фрактальных преобразований — там так-же требуется установить подобие, но уже глобальное — для всего изображения — можете ознакомиться с постом: https://habr.com/post/309906/

[Biga]

А уже есть нейросети, чтобы убирать водяные знаки с фотографий?

[kirillkosolapov]

Да, как раз в статье [2] описана архитектура такой сети.

[Greendq]

А есть ли в публичном доступе реализация какого-нибудь из подобных методов? Хотелось бы помучать и посмотреть, что оно даёт на реальных картинках.

[RadicalDreamer]

Сам задался этим вопросом, из того что нашел — waifu2x.
Работает, кстати, неплохо, но если увеличивать изображение несколько раз, то оно будет «замылено» (что, в общем-то, ожидаемо).

[DistortNeo]

Да, код SRCNN доступен на странице авторов:
mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

Если хочется просто запустить exe, то имеется моя собственная реализация на C++ (n1 = 64, n2 = 32), в демо-версии работа только с grayscale:
imaging.cs.msu.ru/en/soft

demo.exe resample -method srcnn in.png out.png

[pantlmn]

github.com/alexjc/neural-enhance

[begemot_sun]

Когда начнут пираты обрабатывать старые рисованные мультики, чтобы увеличить разрешение для них?

[LynXzp]

Так? Больше материалов. Работа.
Конечно это совсем не про улучшение рисованных мультиков, а про увеличение и депикселизацию пиксельарта. Но в обоих случаях ответ одинаков — никому не нужно.

[begemot_sun]

Так а торренты?!!! где торренты ?:)

[Tarson]

А вот когда начнут обрабатывать старую душевную порнуху с VHS?

[sdveg]

Часто на дешевых камерах только охранник может понять достоверно кто это был:).

[Shmaiser]

Получится примерно так?

[AllexIn]

У меня дешевый тепловизор использует «улучшение» термократины чтобы изображение имело большее разрешение. Очень красивые картинки. И он видит то, чего нет. В первую очередь градиент там, где его быть не может.
Убил бы тех, кто придумал такое улучшение. Один вопрос — НАХРЕНА????

[DjOnline]

Сплошная вода, уже 10 лет такие «анонсы» вижу, где реальные инструменты? Где реальный анализ видеопоследовательности, а не одного кадра? Где ссылки на опыт яндекса и его реставрированные фильмы?

[DjOnline]

Кстати, платынй Lets Enhance похоже основан на этом SRGAN и NTIRE2017.
medium.com/machine-learning-world/how-to-replicate-lets-enhance-service-without-even-coding-3b6b31b0fa2e

И ещё одна интересная штука от Дмитрия Ульянова — github.com/DmitryUlyanov/deep-image-prior