Вообще, основная цель статьи — популяризовать теорию деконволюции для неподготовленного читателя, для тех, кто мало знаком с теорий обработки изображений. Поэтому во многих местах были сделаны упрощения, объяснения «на пальцах», аналогии.
Все формулы, разумеется, взяты из Гонсалеса и Вудса, идеи скриптов из их же книжки. Все остальные объяснения, демонстрации, эксперименты написаны на основе моего понимания этой темы. Собственно, как и писал ранее — это больше обзор известной теории, нежели новое научное исследование. Но даже в таком виде, думаю, статья будет полезна читателям.
> Кстати, не заметил предупреждения о том, что деконволюция — неустойчивый оператор и пользоваться им надо с осторожностью
Да, вы правы — в следующей части упомяну и про это.
Отвечу по порядку:
1) Как раз самый настоязий блюр — их же много разных, gaussian blur, average blur,… Вопрос только в виде PSF и ее неоднородности по кадру. В качестве первого приближения можно считать что для объективов это идеальный круг — иногда может быть правильным многогранником (если диафрагма прикрыта) с замысловатой формой краев.
2) А что такое классический мушенблюр — вы имеете ввиду его реализацию в современных видеокартах? Так это лишь имитация. По моему, как раз классический motion blur при движении фотика — хотя вид кривой (ядра) может быть весьма непростым
3) По-хорошему, да — надо строить точную карту искажений, но это крайне затруднительно сделать, имея на руках только снимок. Да и все перечисленные в статье методы уже не будут работать напрямую, т.к. они расчитаны на трансляционно инвариантные искажения. Хотя и можно обрабатывать сегментами или еще какие ухищрения применять.
И такие исследования уже ведутся: Эффективный метод стабилизации изображений от Microsoft
Суть в том, что в то время, пока открыт затвор, записывается траектория движения/дрожания камеры с помощью трехосого гироскопа и акселерометра. Полученная траектория смаза есть ничто иное, как PSF — причем весьма точная, ну а дальше одним из алгоритмов деконволюции устраняется смаз.
То, что вы описали, называется Super-resolution, когда из серии (или из видео) снимков неподвижной сцены с небольшими смещениями получается один снимок с улучшенным разрешением.
Но проблемы все те же — шумы и помехи, ошибки квантования, округление, ограниченный динамический диапазон матрицы и пр. Чудес не будет, но в случае качественного исходного материала можно неплохо улучшить разрешение
> Всё же насчет «может быть однозначно восстановлена» вы очень сильно погорячились… Однозначность может быть, только если и изображение, и преобразования заданы абсолютно точно, то есть аналитически, то есть в виде формул.
Да, вы все верно написали — 100% восстановление будет только при известной PSF и достаточной точности представления, для остальных случаев будет то или иное приближение, поэтому я и упомянул про "может быть однозначно восстановлена с некоторыми оговорками"
Про потери информации на каждом этапе преобразования ответил чуть выше в вопросе про 48-битный формат.
Как результат — пуля далеко не серебряная, но в некоторых случаях выручить может. Но, конечно, для фоток, снятых с мобильника трясущимися руками в сумерках уже ничего не может :)
> если смотреть в сторону радиофизики
Собственно, примерно оттуда и пришло — теория анализа систем управления.
Насчет PSF — она, разумеется, связана с объективом фотика (с него и снимают образцовую PSF, обычно), но основная проблема, что PSF разная для каждой точки изображения и напрямую зависит от расстояния от данной точки на объекте до объектива. Простейший пример — лицо в фокусе (причем глаза полностью резкие, нос и уши чуток размытые), задний план размыт, сбиваем фокус — лицо размылось, задний план размылся еще сильнее (либо, наоборот, слабее).
Это значительно усложняет задачу
За подсказку с гуглапи спасибо!
Насчет 48-битного формата — все просто, каждый пиксель в результате искажения размазывается по окрестности, т.е. исходная информация сохраняется в мельчайших перепадах яркости. Чем лучше мы сохраним эти перепады, тем точнее восстановление, когда мы будем собирать размазанный пиксель. Если в приведенных скриптах после искусственного искажения вставить сохранение на диск, а потом чтение этого же файла и выбрать формат PNG 24 бита (8 для каждого канала)
, то восстановление будет как в самой первой картинке до хабраката, если сохранить в jpg, то качество результата будет еще хуже, если же выставить 48 бит ('bitdepth', '16'), то получится исходная картинка.
Т.е. на каждом этапе в цифровой камере и при последующей обработке происходит потеря информации:
Информация с сенсора -> Преобразование в RAW -> Интерполяция с байеровского массива -> Преобразование в PNG 48 бит -> Преобразование в PNG 24 бит -> Преобразование в JPEG -> Ресайз
Смаз, кстати, проще устраняется — причин несколько:
1. Искажение PSF получается одинаковым для всех точек изображения, т.е. каждый пиксель превращается в одну и ту же (по форме) линию или траекторию. Для расфокусировки, в общем случае, это не так — часть объектов может быть в фокусе, часть вне фокуса, это зависит от расстояния. В математических терминах это назвается «трансляционно инвариантные искажения»
2. Влияние шумов меньше, т.к. пиксель распределяется по гораздо меньшей площади в результате искажения (сравните линию и круглое пятно одинаковых размеров). Поэтому накопление шума происходит в меньшей степени.
Этим и объясняется, почему в научных публикациях рассматривается, в основном, смаз. Да и в новом фотошопе будет реализовано (если успеют, конечно) устранение именно смаза.
Все формулы, разумеется, взяты из Гонсалеса и Вудса, идеи скриптов из их же книжки. Все остальные объяснения, демонстрации, эксперименты написаны на основе моего понимания этой темы. Собственно, как и писал ранее — это больше обзор известной теории, нежели новое научное исследование. Но даже в таком виде, думаю, статья будет полезна читателям.
> Кстати, не заметил предупреждения о том, что деконволюция — неустойчивый оператор и пользоваться им надо с осторожностью
Да, вы правы — в следующей части упомяну и про это.
На самой первой картинке блюр в виде круга: PSF = fspecial('disk', 15);
1) Как раз самый настоязий блюр — их же много разных, gaussian blur, average blur,… Вопрос только в виде PSF и ее неоднородности по кадру. В качестве первого приближения можно считать что для объективов это идеальный круг — иногда может быть правильным многогранником (если диафрагма прикрыта) с замысловатой формой краев.
2) А что такое классический мушенблюр — вы имеете ввиду его реализацию в современных видеокартах? Так это лишь имитация. По моему, как раз классический motion blur при движении фотика — хотя вид кривой (ядра) может быть весьма непростым
3) По-хорошему, да — надо строить точную карту искажений, но это крайне затруднительно сделать, имея на руках только снимок. Да и все перечисленные в статье методы уже не будут работать напрямую, т.к. они расчитаны на трансляционно инвариантные искажения. Хотя и можно обрабатывать сегментами или еще какие ухищрения применять.
Эффективный метод стабилизации изображений от Microsoft
Суть в том, что в то время, пока открыт затвор, записывается траектория движения/дрожания камеры с помощью трехосого гироскопа и акселерометра. Полученная траектория смаза есть ничто иное, как PSF — причем весьма точная, ну а дальше одним из алгоритмов деконволюции устраняется смаз.
ловкость рукчистая математика и никакого мошенничества :)Но проблемы все те же — шумы и помехи, ошибки квантования, округление, ограниченный динамический диапазон матрицы и пр. Чудес не будет, но в случае качественного исходного материала можно неплохо улучшить разрешение
Да, вы все верно написали — 100% восстановление будет только при известной PSF и достаточной точности представления, для остальных случаев будет то или иное приближение, поэтому я и упомянул про "может быть однозначно восстановлена с некоторыми оговорками"
Про потери информации на каждом этапе преобразования ответил чуть выше в вопросе про 48-битный формат.
Как результат — пуля далеко не серебряная, но в некоторых случаях выручить может. Но, конечно, для фоток, снятых с мобильника трясущимися руками в сумерках уже ничего не может :)
Собственно, примерно оттуда и пришло — теория анализа систем управления.
Насчет PSF — она, разумеется, связана с объективом фотика (с него и снимают образцовую PSF, обычно), но основная проблема, что PSF разная для каждой точки изображения и напрямую зависит от расстояния от данной точки на объекте до объектива. Простейший пример — лицо в фокусе (причем глаза полностью резкие, нос и уши чуток размытые), задний план размыт, сбиваем фокус — лицо размылось, задний план размылся еще сильнее (либо, наоборот, слабее).
Это значительно усложняет задачу
Насчет 48-битного формата — все просто, каждый пиксель в результате искажения размазывается по окрестности, т.е. исходная информация сохраняется в мельчайших перепадах яркости. Чем лучше мы сохраним эти перепады, тем точнее восстановление, когда мы будем собирать размазанный пиксель. Если в приведенных скриптах после искусственного искажения вставить сохранение на диск, а потом чтение этого же файла и выбрать формат PNG 24 бита (8 для каждого канала)
imwrite(Blurred, 'image_blurred_disk_(15).png', 'png', 'bitdepth', '8');
Blurred = im2double(imread('image_blurred_disk(15).png'));
, то восстановление будет как в самой первой картинке до хабраката, если сохранить в jpg, то качество результата будет еще хуже, если же выставить 48 бит ('bitdepth', '16'), то получится исходная картинка.
Т.е. на каждом этапе в цифровой камере и при последующей обработке происходит потеря информации:
Информация с сенсора -> Преобразование в RAW -> Интерполяция с байеровского массива -> Преобразование в PNG 48 бит -> Преобразование в PNG 24 бит -> Преобразование в JPEG -> Ресайз
1. Искажение PSF получается одинаковым для всех точек изображения, т.е. каждый пиксель превращается в одну и ту же (по форме) линию или траекторию. Для расфокусировки, в общем случае, это не так — часть объектов может быть в фокусе, часть вне фокуса, это зависит от расстояния. В математических терминах это назвается «трансляционно инвариантные искажения»
2. Влияние шумов меньше, т.к. пиксель распределяется по гораздо меньшей площади в результате искажения (сравните линию и круглое пятно одинаковых размеров). Поэтому накопление шума происходит в меньшей степени.
Этим и объясняется, почему в научных публикациях рассматривается, в основном, смаз. Да и в новом фотошопе будет реализовано (если успеют, конечно) устранение именно смаза.