Обработка изображений *

        Доброго времени суток!
        Как известно, одной из важных задач, решаемых обработкой изображений (помимо сброса пары кг и укрывания дефектов кожи на аватарках), является поиск и распознавание нужных нам объектов на сцене. Но этот процесс весьма сложный и ресурсоемкий, что делает его неприменимым в системах реального времени. Сегодня мы и поговорим, нельзя ли каким-то образом решить эту проблему и ускорить процесс поиска нужного объекта на сцене, с минимальными потерями в точности (а может, и без них вовсе). И вообще, причем тут папоротники?
PS
Традиционно много картинок.

Мы предоставляем метод для реалистичного добавления искусственных объектов в существующие фотографии, не требуя необходимости доступа к сцене или других дополнительных измерений. С помощью одного изображения и небольшого количества аннотаций, наш метод позволяет создать физическую модель сцены, которая подходит для рендеринга на ней искусственных объектов с рассевающими, зеркальными или даже светящимися поверхностями, с учетом взаимодействия освещения между объектами и сценой.

_{большое разрешение — по клику}

Снова здравствуй, Хабр!

В этом посте я бы хотел рассказать о великолепной программе под названием Nuke от компании The Foundry, которая уже затрагивалась вот в этом посте, но вызвала много вопросов читателей, далеких от 3д графики в общем, и от 3д-композитинга в частности.

Если описать в двух предложениях, то Нюк является мировым стандартом в композитинге и пост-обработке, и был одним из ключевых инструментов в подавляющем большинстве голливудских фильмов с бюджетом, отличным от кустарного.
Да что вообще говорить — Аватар, Трон: Наследие, Трансформеры, Watchmen, Властелины Колец, и большинство остальных голливудских блокбастеров были сделаны именно в Нюке.

Познакомился я с ним примерно три года назад, и сразу же в него влюбился: это одна из самых гениальных программ, что я когда-либо видел — как в плане используемых подходов, так и в плане юзабилити.

В этом посте не урок, а объяснение на пальцах концепций и принципов, на которых он построен — что это за зверь, для чего он нужен, с чем его едят, и насколько он вкусный.

В процессе написания поста я понял, что все, что я хотел бы описать, просто не уместится ни в один пост, ни в цикл статей. Хоть пост и получился длинным, но это вершина айсберга — в нем описывается чуть менее 0.01% всего, чем хочется поделиться.

Интересно?
Добро пожаловать под кат! Осторожно! Много трафика, Джобса, чайников, и надкусанных НЛО.

Введение

        Коллега Bo_bda рассказывает о фундаментальных проблемах обработки и анализа изображений. Что же, не могу остаться стороне и не поделиться своими опытом. Сегодня я вам расскажу о такой занимательной штуке, как марковские сети (markov random fields в зарубежной литературе). Данная математическая модель используется при решении практически всех задач обработки графики (тут вам и сегментация, и восстановление изображений, построение стереоизображений, различные вопросы в 3D и много чего еще).
        Внимание! Под катом тонны картинок (в блоге о графике-то, к чему бы это).

Многие из Вас использовали карты гугла или яндекса, для того, чтобы посмотреть спутниковые снимки земли, но не многие задумывались каким образом данные снимки хранятся на серверах, ведь если бы пользователь скачивал даже отдельные фотографии, то ему понадобился весьма внушительный канал. Поэтому данные снимки обрабатываются и нарезаются на отдельные небольшие кусочки.

В данном топике я расскажу о одной из реализаций и о том как склеить Zoomify изображение, чтобы сразу было понятно о чём идёт речь, можете перейти по ссылке: 2 доллара.

Где-то около полугода назад я писал утилиту по преобразованию картинки в Zoomify изображение, хоть на тот момент была бесплатная фирменная утилита, да и Photoshop имеет такой функционал, но там требовалась пакетная обработка, отправка по ftp и ещё некоторые возможности. Спустя какое-то время мне понадобилось сделать обратный функционал, вот об этом и пойдёт речь в данном топике.

Сегментация изображения

Одной из основных задач обработки и анализа изображений является сегментация, т.е. разделение изображения на области, для которых выполняется определенный критерий однородности, например, выделение на изображении областей приблизительно одинаковой яркости. Понятие области изображения используется для определения связной группы элементов изображения, имеющих определенный общий признак (свойство).
Один из основных и простых способов — это построение сегментации с помощью порога. Порог — это признак (свойство), которое помогает разделить искомый сигнал на классы. Операция порогового разделения заключается в сопоставлении значения яркости каждого пикселя изображения с заданным значением порога.

Хочу описать, один из нелинейных алгоритмов выделения контуров на изображениях.

Классика

Почти все известные алгоритмы выделения контуров подходя к изображению как матрице чисел с значениями 0..255, целыми числами в пределах одного машинного байта (16 бит вариант рассмотрим посже). Потом, делается свертка с матрицей коэфициентов.

А если так не делать?

Алгоритм выделения границ или иначе обнаружения границ работают после того, как качество изображения улучшено перечисленными выше методами. Эти алгоритмы можно подразделить на два класса:
1) подчеркивающие, усиливающие, выделяющие границы;
2) строящие контуры автоматически.

Введение
На сегодняшний день разработано множество алгоритмов по улучшению качества изображений отличающихся быстродействием сложностью математических методов требованиям к ресурсам вычислительной системы и т.д. При этом одним из наиболее простых методов является обработка изображений на основе его фильтрации в частотной и пространственной областях.

Многие считают, что благодаря наличию телескопа Хаббл на орбите, мы и получаем такие качественные снимки очень отдаленных объектов Вселенной, какие можно видеть на сайте NASA. На самом деле, снимки-то качественные, высокого разрешения. Но то, что выдает Хаббл — это черно-белые фотографии. Откуда же все эти цвета, привлекающие наше с вами внимание? Практически все эти «красивости» появляются после использования графического редактора. Перефразируя известную цитату, можно сказать, что «Photoshop — лучший друг NASA».

Сначала немного общих слов о том, как вообще можно организовывать поиск по изображениям.
В идеале нам бы хотелось иметь систему, которая может анализировать содержимое рисунка, определять, изображен там дом, озеро или кошка с котятами, ну и попутно запоминать разные характеристики обнаруженных объектов — такие как цвет, размер, взаимное размещение — а потом осуществлять поиск по этой информации. Но, к сожалению, на сегодняшний день это решительно невозможно. Как минимум, нет метода, который позволил бы сколько-нибудь надежно выделять объекты реального мира на картинках.
Поэтому любая система вынуждена анализировать менее интеллектуальные признаки, и этих признаков может быть несколько разных типов:

Английская молодёжь громит магазины, а полиция ничего не может сделать, кроме как изучать видео с уличных камер наблюдения (благо, Великобритания занимает первое место в мире по плотности камер наблюдения). Полиция начала выкладывать фотографии хулиганов на Flickr и просит идентифицировать нарушителей. Сами граждане тоже делают фотографии из окон домов, так что на Facebook, Flickr и Twitter уже скопилось немало снимков.

И работа началась. На Google Groups образована группа London Riots Facial Recognition, которая обсуждает технологии автоматического распознавания лиц для обработки массива фотографий из открытых источников. Один разработчик предлагает свою помощь в разработке программы с применением Face.API. Получится у него или нет, но со временем такие технологии наверняка будут созданы.

Некоторое время назад на Хабре появился топик о том, что такой крупный игрок IT-рынка как Google приобрел компанию PittPatt, намереваясь использовать её результаты для распознавания объектов на изображениях. Правда, некоторое время до этого Эрик Шмидт делал недвусмысленное заявление о том, что его компания хотя и обладает всеми техническими возможностями для реализации этой задачи, тем не менее, из-за проблем с законным использованием её возможностей Google пока не будет использовать её в своих продуктах и технологиях.

По всей видимости DARPA (Defense Advanced Research Projects Agency — агентство передовых оборонных исследовательских проектов), являясь агентством Министерства обороны США, не будет иметь таких проблем как поисковый гигант. Несколько дней назад стало известно, что организация, стоящая у истоков создания интернета и BSD-версии UNIX, намерена создать программное обеспечение Visual Media Reasoning (VMR), предназначение которого заключается в исследовании фотографий, распознавании объектов на них и каталогизации по тому или иному признаку. Разработкой будет заниматься подразделение I2O, специализирующееся на информационных системах мониторинга и управления, технологии высокопроизводительных вычислений, интеллектуальном анализе данных, системе распознавания образов. Среди очевидных применений VMR авторы называют использование его в разведке и правоохранительных организациях, которые вынуждены иметь дело с огромными объемами цифровых изображений, нуждающихся в автоматизированном анализе.

В этом эксперименте популярный формат сжатия изображений JPEG2000 будет использоваться для несвойственной ему задачи, хранения звукового файла.

Вообще, звук и изображение очень похожи. Если представлять звук в волновой форме, то мы получим изменение звукового сигнала по времени. Аналогично, если взять одну строку пикселов изображения, то получим изменение яркости по расстоянию.

Чем больше амплитуда колебаний звукового сигнала по времени, тем громче звук. Аналогом для изображения будет увеличение контрастности.

Чем быстрее изменяется звуковой сигнал, тем больше будет высоких частот в звуке. Аналогично, быстрое изменение яркости в строке пикселов, говорит о большом количестве деталей в изображений.

При чем, что звуковой сигнал, что яркость пикселов в ряду изменяются достаточно плавно, чтобы кодек мог использовать это свойство.

По последней статистике, примерно 25% всех фотографий в мире на зеркальных цифровых камерах сохраняются в формате RAW, то есть в несжатом виде с возможностью продвинутого обратимого редактирования. Это самый удобный формат, который используют все профессионалы и многие продвинутые фотографы. Приятной новостью для них будет то, что теперь поддержка RAW от более 120 моделей фотоаппаратов внедрена в фоторедактор Windows Live Photo Gallery 2011 под Windows 7 и Windows Vista. Пользователям этих операционных систем нужно скачать и установить Microsoft Camera Codec Pack, после чего они могут просматривать RAW-фотографии как в Photo Gallery, так и в Проводнике Windows.

Кроме просмотра, в Photo Gallery возможно и редактирование фотографий. При этом RAW-оригинал остаётся нетронутым, а редактор работает с копией фотографии в формате JPEG или JPEG-XR (HD Photo).

Вышеупомянутый пакет добавляет возможность просмотра и редактирования в Windows и других форматов, включая PNG и TIFF.

В нашем офисе мы используем Picasa для обработки множества сканов и фотографий. Мы используем Picasa уже несколько лет и очень довольны. Однако, Picasa не предоставляет всех необходимых нам функций, а некоторые слишком сложно использовать при нашем объеме работ. Чтобы упростить нашим сотрудникам задачу, я решил автоматизировать некоторые процессы, используя два основных компонента: набор консольных утилит ImageMagick, и довольно малоизвестный Picasa Button API.

В качестве примера я опишу небольшое приложение, которое мы используем для совмещения нескольких изображений в одно, одним кликом прямо из интерфейса Picasa. Немного разобравшись с ImageMagick, можно легко модифицировать этот код для других задач.

Компания Intel опубликовала описание алгоритма морфологического сглаживания (MLAA), который предназначен для работы в реальном времени на CPU (демо, исходные коды).

Как и в случае с алгоритмом депикселизации графики в играх, который пару месяцев назад обсуждался на Хабре, алгоритм Intel не выполняет масштабирование изображения, а работает с пикселами в исходном разрешении. Они модифицируются по нескольким простым правилам, которые показаны на диаграмме.



Если вкратце, то фильтр MLAA ищет L-, Z- и U-образные границы пиксельных групп, после чего размывает окружающие пикселы для получения плавных очертаний.

В настоящее время механические способы измерений, в силу своей несовершенности (будь то высокая погрешность или трудоемкость измерений), отходят на второй план, уступая свое место новым методикам, среди которых есть одна — фотограмметрия, о которой хотелось бы рассказать.

Вступление

Фотограмметрия — технология определения форм, размеров и положений объектов по их фотографическим изображениям.
Наиболее широкое распространение фотограмметрия получила в геодезии, картографии, военном деле, космических исследованиях и др. Но мы поговорим о более узком применении технологии, а именно — при исследовании материалов.
Один из экспериментов, проводимых при исследовании свойств материала заключается в измерении деформации под действием различной нагрузки.
В классическом варианте эксперимент проводится вручную: для разной нагрузки определяется значение деформации с использованием механизмов, называемых мессурами. Утомительный процесс, да еще точность мессур в большинстве случаев ограничена 0.01мм. Фотограмметрия в данном случае, позволяет упростить процесс определения деформации, увеличить точность измерений, автоматизировать обработку данных.

Пролог

По ходу своей трудовой деятельности получил задачу придумать и реализовать систему учета рекламной информации. Учет заключался в проверке наличия нужной информации на нужном рекламном щите. Щит и полиграфия пронумерованы.
В качестве исходной информации для системы предлагалось использовать фото. После торговли согласования с дизайнерами было оговорено, что оба номера будут располагаться внутри одной рамки. Единственное, что рамка могла быть в любом месте щита.
Собственно на этом постановка задачи заканчивается и начинается повествование о реализации.
Задача решается в три действия:

1. Нахождение нужного прямоугольника на изображении.
2. Распознавание текста.
3. Проверка правильности распознавания.

Недавно, прочитав пост про голографическое кодирование от eresik, открыл для себя ранее не известную мне вещь, что:

восстановить полное изображение объекта можно по любому кусочку голографического снимка (с ухудшением качества изображения)

Первое что пришло в голову, это «Вау круто! Надо будет поэкспериментировать с этим тоже». Позже забыв про эту задумку наткнулся на очередной топик от Valler, где автор развил идею реализовав кодирование цветных изображений.

Меня очень заинтересовала сама идея восстановление изображения из частично испорченной картинки.