Постойте, но ведь дескрипторы обычно имеют достаточно большую размерность. Сравните: 128 элементов стандартного SIFT дескриптора и 27, 75 или 147 элементов квадратного окна для Non-Local Means (3 на 3, 5 на 5 и 7 на 7 соответственно, и предполагаем, что изображение цветное). При этом окно 7 на 7 потребуется только для удаления очень существенного шума. А дескрипторы надо ещё посчитать.
Собственно в той работе, на которую вы ссылаетесь, не предлагается просматривать все пиксели изображения для нахождения похожих окон. Вместо этого используется окрестность от 21 на 21 до 35 на 35 пикселей.
К слову этот же подход используется в более свежей работе: M. Lebrun, A. Buades, and J. M. Morel. A nonlocal bayesian image denoising algorithm. SIAM Journal on Imaging Sciences, 6(3):1665-1688, 2013. Для которой тоже есть чудное демо: demo.ipol.im/demo/16
Тут тоже не всё очевидно, ведь при реализации вашего предложения «в лоб» изменение одной точки где-то в углу может сдвинуть все надписи. Тогда опять можно будет просто собрать картинку по кусочкам.
Да ладно, посмотрите на пару картинок в самом начале. В таком разрешении результат вполне хорош.
Понятно, что мало смысла обрабатывать фотографию всякими фильтрами, если можно просто переснять. А если нельзя? Репортажная съемка с сопутствующими трудностями — это ж не только журналистика. По мне так область применения достаточно широка.
Нельзя сказать, что движущийся фон дорисовывается с запазданием или опережением, потому что он «собирается» как мазаика из произвольных кадров. На видео видно, что этот мужчина движется плавно, нет рывков в движениях, как было бы, если бы его целиком взяли из предыдущего кадры.
Если границы нежелательного объекта были определены достаточно точно, то скорее всего та левая пятка послужила опорной точкой, к которой мужчина был дорисован на этом кадре
Для больших смещений скорее всего действительно лучше подойдет сопоставление блоков
Хотя дифференциальный метод тоже можно приспособить. Для этого изображения нужно уменьшить, скажем в два раза, затем уменьшенные копии снова уменьшить, и так несколько раз. Если представить себе все эти копии одну над другой (чем меньше, тем выше), то получится нечто, напоминающее пирамиду. Поэтому этот способ еще называют Gaussian pyramid. Сначала ищем смещения для самых мелкий копий (они будут небольшими), и используем их, чтобы компенсировать смещение на следующем уровне. И так далее, пока не дойдем до оригинального размера.
В общем-то это возможно, если попадется такой участок изображения, на котором от итерации к итерации частная производная по какому-нибудь направлению будет менять знак. В этом случае мы можем не достичь требуемой точности.
Многое зависит от весовой функции g. Допустим, мы используем гауссиану. Тогда, когда в окрестность точки попадет резкий перепад, он действительно перетянет вектор смещения в свою сторону. В результате вместо такого же резкого перепада в смещениях мы получим «размытие», ширина которого в общем-то равна половине ширины локальной окрестности.
Если нам важно получить четкую границу, мы можем выбрать такую весовую функцию, которая зависит не только от позиции пикселя в окрестности, но и от значения его яркости. Тогда мы сможем дать пикселю тем меньший вес, чем больше его яркость отличается от яркости центрального пикселя. Это решит проблему с границей, но наверняка скажется на стабильности, особенно для зашумленных изображений.
Большое спасибо за статью! Мне как раз на следующей неделе студентам объяснять вейвлеты, хотя, как оказалось, я бы и сам был не против, чтобы мне их вот так объяснили.
Собственно в той работе, на которую вы ссылаетесь, не предлагается просматривать все пиксели изображения для нахождения похожих окон. Вместо этого используется окрестность от 21 на 21 до 35 на 35 пикселей.
К слову этот же подход используется в более свежей работе: M. Lebrun, A. Buades, and J. M. Morel. A nonlocal bayesian image denoising algorithm. SIAM Journal on Imaging Sciences, 6(3):1665-1688, 2013. Для которой тоже есть чудное демо: demo.ipol.im/demo/16
Понятно, что мало смысла обрабатывать фотографию всякими фильтрами, если можно просто переснять. А если нельзя? Репортажная съемка с сопутствующими трудностями — это ж не только журналистика. По мне так область применения достаточно широка.
Если границы нежелательного объекта были определены достаточно точно, то скорее всего та левая пятка послужила опорной точкой, к которой мужчина был дорисован на этом кадре
Хотя дифференциальный метод тоже можно приспособить. Для этого изображения нужно уменьшить, скажем в два раза, затем уменьшенные копии снова уменьшить, и так несколько раз. Если представить себе все эти копии одну над другой (чем меньше, тем выше), то получится нечто, напоминающее пирамиду. Поэтому этот способ еще называют Gaussian pyramid. Сначала ищем смещения для самых мелкий копий (они будут небольшими), и используем их, чтобы компенсировать смещение на следующем уровне. И так далее, пока не дойдем до оригинального размера.
Если нам важно получить четкую границу, мы можем выбрать такую весовую функцию, которая зависит не только от позиции пикселя в окрестности, но и от значения его яркости. Тогда мы сможем дать пикселю тем меньший вес, чем больше его яркость отличается от яркости центрального пикселя. Это решит проблему с границей, но наверняка скажется на стабильности, особенно для зашумленных изображений.