Pull to refresh

Улучшение качества изображения с помощью нейронной сети

Reading time2 min
Views64K
Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.


Пример улучшения качества изображения с использованием технологии Super Resolution.

Известно четыре основных подхода по улучшению изображения: prediction models (предсказательные модели), edge based methods (краевые методы), image statistical methods (статистические методы) и patch based (or example-based) methods (методы основанные на паттернах). Наилучшее качество дают patch based (or example-based) methods (методы основанные на паттернах).

В статье [1] впервые было предложено перейти от традиционного подхода, использующего набор фильтров к единой сверточной нейронной сети, работающей по принципу end to end.

Подход на основе сверточной нейронной сети объединил функции:

1) Извлечения и отображения патчей.
2) Нелинейного отображения.
3) Реконструкции.




Визуализация принципа действия нейронной сети и связь с методом разреженного кодирования [ 1 ]

Подход на основе сверточной нейронной сети позволил улучшить качество в сравнении с известными методами при сохранении высокой скорости срабатывания.


Качество и время срабатывания в зависимости от числа фильтров.

Согласно авторам исследования, архитектура сети влияла на качество больше, чем размер обучающей выборки.

Продолжением исследований в области улучшения качества изображения является работа [2] в которой рассмотрены более глубокие архитектуры c помощью которых удалось восстановить «испорченное изображение».


Слева – «испорченное изображение», центр – восстановленное изображение, справа – оригинал.

В работе [3], задача улучшения изображения решается с применением GAN.


Визуализация принципа действия GAN в задаче улучшения качества изображения [3]

Применение GAN позволило улучшить качество текстуры и сделало обработанные изображения настолько фотореалистичными, что визуально их тяжело отличить от оригинала.


Сравнение изображения, восстановленного с применением GAN и оригинала.

Технология Super Resolution уже используется в обработке изображений и видео. Так, компания Яндекс улучшила качество старых советских фильмов на кинопоиске, а компания Robin Video использует Super Resolution для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешёвые камеры с сохранением качества картинки.

В следующих статьях постараюсь подробно рассказать о технической реализации подхода Super Resolution.

Ссылки на статьи
[1] arxiv.org/pdf/1501.00092v3.pdf
Image Super-Resolution Using Deep Convolutional Networks
[2] arxiv.org/pdf/1606.08921.pdf
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections
[3] arxiv.org/pdf/1609.04802.pdf
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
Tags:
Hubs:
Total votes 34: ↑31 and ↓3+28
Comments27

Articles