Обработка изображений *

Введение

Ранее во вступительной статье я поднимал список проблем, с которыми придется столкнуться разработчику, если он захочет оптимизировать оптимизацию обработки изображения при помощи SIMD инструкций. Теперь пришло время на конкретном примере показать, как указанные выше проблемы можно решить. Я долго думал, какой алгоритм выбрать для первого примера, и решил остановиться на медианной фильтрации. Медианная фильтрация является эффективным способом подавления шумов, которые неизбежно появляются на цифровых камерах в условиях малого освещения сцены. Алгоритм этот достаточно ресурсоемок – так например, при обработке серого изображения медианным фильтром 3х3 требуется порядка 50 операций на одну точку изображения. Но в тоже время он оперирует только с 8-битными числами и ему для работы требуется сравнительно не много входных данных. Эти обстоятельства делают алгоритм достаточно простым для SIMD оптимизации и в тоже время позволяют получить из нее весьма существенное ускорение.

Сегодня – 42 года с момента первой успешной посадки на Марс космического аппарата с Земли – «Марс-3». Известно, что он успешно сел потому, что началась радиотрансляция – он начал передавать первую фотопанораму с поверхности. Антенны могли раскрыться только в случае благополучного примарсения.

Как вы, вероятно, знаете, в этом году о нем снова вспомнили, когда стало известно, что Zelenyikot и подписчики его группы Вконтакте «Curiosity — марсоход» обнаружили «Марс-3» на Марсе.
Через несколько дней после находки «Марса-3», мне стало жуть как интересно, какие виды так и не передал на Землю аппарат. К тому моменту у меня был опыт создания объёмных объектов в Blender 3D на основе снимков Curiosity и приложенных к ним карт высот. Поэтому я подумал – «А не сделать ли то же самое, но с моделью места посадки «Марс-3», поставив камеру от лица аппарата?».

Автор: Виктор Ерухимов, исполнительный директор Itseez, председатель рабочей группы OpenVX

The Khronos Group 18 ноября 2013 года представила предварительную спецификацию стандарта OpenVX 1.0 для компьютерного зрения. Поскольку Itseez был одним из инициаторов этой деятельности и активно участвовал в создании спецификации, мы решили рассказать про этот стандарт аудитории Хабрахабра.

SIMD и обработка изображений

Обработка изображений (здесь мы сознательно ограничиваем в себя только растровыми картинками и опускаем широкий класс векторных изображений), как правило, представляет собой набор простых операций, которые применяются к каждой точке изображения. Если учесть, что цветовые каналы, из которых состоит точка изображения (пиксель) обычно представлены в виде целых чисел небольшой размерности, то обработка изображения сводится к огромному числу однотипных операций над 1-2 байтными целыми числами.

Компания Сиджеко занимается поддержкой сайта организации Реконстрой, которая продаёт и доставляет кирпич, черепицу, архитектурный декор и многие другие строительные материалы в Центральном Черноземье.

В процессе работы над сайтом возникла идея конструктора кладки.

У немецкого концерна «Feldhaus Klinker» существуют модельные ряды кирпича «Vascu Mix» и «Sintra Mix», которые специально предназначены для смешивания в разных пропорциях и создания неповторимого рисунка кладки. К ним существует ряд замазок «Quick Mix», применяемых при замазывании швов кладки между кирпичами. Для демонстрации этого подхода мы решили сделать конструктор кирпичной кладки, аналогов которому в рунете я пока не видел (буду рад примерам).

Чего только не придумают для владельцев самого популярного в США гаджета от яблочной компании: оптика для фотографирования, солнечные батареи на заднюю панель для поборников экологии, портативные микропроекторы и так далее и тому подобное. Для Android гаджетов несколько меньше, а для Nokia так и совсем практически нет. Но учёные из университета Калифорнии (University of California) решили восполнить этот недостаток, не отставать от мира высоких технологий и задались вопросом: а что будет, если скрестить серьёзный прибор (флуоресцентный микроскоп) со смартфоном?!

У меня, как и у многих, к компьютеру подключено 2 монитора. Ранее для обоев я использовал либо одну и ту же картинку на обоих мониторах, либо 2 разные картинки. Но совсем недавно в голову пришла мысль: «А почему бы не использовать 1 большую картинку?». И не просто распилив ее пополам, а чтобы все было «правильно», то есть учитывая разную плотность пикселей мониторов, их расположение, расстояние между активными областями и т.п… Ниже вы видите пример того что у меня получилось. Под «хабракатом» описание как это можно сделать самому с использованием Photoshop'а и линейки.

Порой айтрекеры ставят исследователей вверх тормашками в интересное интеллектуальное положение.

Ниже – фотография Ильи Питалева: Торжественное собрание участников Народной армии КНДР на стадионе имени Ким Ир Сена в честь 100-летия со дня рождения Ким Ир Сена, в Пхеньяне, в апреле 2012 года. Фотография вошла в шортлист 2013 Sony World Photography Awards.



Если вы посмотрите на фотографию 5 секунд, что необычного вы заметите? Сознательно?
А айтрекер тем временем заметит очень интересную особенность человеческого восприятия…

17 марта этого года в небе над Эстерсундом, Швеция, можно было наблюдать шикарное северное сияние, aurora borealis. Конечно, наблюдения можно было вести не только в этом регионе, просто фотограф, находившийся тогда в Эстерсунде, снимал это явление на Nikon D3s. В общей сложности получилось 2400 фотографий. При этом фотограф, Göran Strand, использовал сферические линзы, благодаря чему стало возможным создание панорамы, после обработки всех фото.

Сейчас фотограф выложил все получившееся в Сеть, причем не в виде обычной панорамы, она в виде панорамы, которая все время меняется, то есть, вышло что-то вроде панорамного фильма. При этом, поскольку фильм панорамный, в браузере вы можете вращать изображение на 360 градусов, просматривая любое направление.

Область применения компьютерного зрения очень широка: от считывателей штрихкодов в супермаркетах до дополненной реальности. Из этой лекции вы узнаете, где используется и как работает компьютерное зрение, как выглядят изображения в цифрах, какие задачи в этой области решаются относительно легко, какие трудно, и почему.

Лекция рассчитана на старшеклассников – студентов Малого ШАДа, но и взрослые смогут почерпнуть из нее много полезного.



Возможность видеть и распознавать объекты – естественная и привычная возможность для человека. Однако для компьютера пока что – это чрезвычайно сложная задача. Сейчас предпринимаются попытки научить компьютер хотя бы толике того, что человек использует каждый день, даже не замечая того.

Наверное, чаще всего обычный человек встречается с компьютерным зрением на кассе в супермаркете. Конечно, речь идет о считывании штрихкодов. Они были разработаны специально именно таким образом, чтобы максимально упростить компьютеру процесс считывания. Но есть и более сложные задачи: считывание номеров автомобилей, анализ медицинских снимков, дефектоскопия на производстве, распознавание лиц и т.д. Активно развивается применение компьютерного зрения для создания систем дополненной реальности.

Совсем недавно появился пост про комету ISON, которая, согласно прогнозам, должна быть видна невооружёным глазом в конце месяца. Однако, совсем недавно комета резко увеличила свою яркость, что позволило увидеть её не только многим земным наблюдателям, но и космическим солнечным обсерваториям.

Группа исследователей из Калифорнийского университета в Беркли и Дартмутского колледжа разработали геометрическую технику для выявления физически несовместимых теней на фотографии. Созданная ими программа позволяет спроецировать источник света для каждой тени и обнаружить несоответствие.


^{Фото НАСА, 1969 год. Место общего источника света обведено чёрным контуром.}

На днях на Хабре публиковали заметку с информацией о том, что любознательным любителем астрономии была проведена предположительная реконструкция климатических условий Марса. В той же заметке публиковались скриншоты модели и небольшое видео. Данные для моделирования брались из базы NASA.

Сейчас 3D-принтеры становятся все более и более распространенными. Само собой, после того, как эти устройства стали набирать популярность, производители задумались над вопросом создания и 3D-сканеров, позволяющих получить объемную цифровую копию какого-либо объекта. В дальнейшем копию можно либо распечатать на принтере, либо же просто сохранить для лучших времен, для другой цели. Правда, объемные сканеры пока что дороговаты.

Оптический поток (Optical flow) – технология, использующаяся в различных областях computer vision для определения сдвигов, сегментации, выделения объектов, компрессии видео. Однако если мы захотим его по-быстрому реализовать в своем проекте, прочитав про него на википедии или где-нибудь еще, то, скорее всего, очень быстро наткнемся на то, что он работает очень плохо и сбоит при определении сдвигов уже порядка 1-2 пикселей (по крайней мере так было у меня). Тогда обратимся к готовым реализациям, например, в OpenCV. Там он реализован различными методами и совершенно непонятно, чем аббревиатура PyrLK лучше или хуже обозначения Farneback или чего-нибудь в этом роде, да и придется поразбираться со смыслом параметров, которых в некоторых реализациях очень много. Причем, что интересно, эти алгоритмы как-то работают, в отличие от того, что мы написали сами. В чем же секрет?

Фотографии документов, получаемые на мобильных устройствах, обладают различными искажениями по сравнению с изображениями, получаемыми из обычного сканера. К таким искажениям относятся: цифровой шум, геометрические искажения, вызванные поворотом документа или наличием перспективы, неравномерность в освещенности, расфокусировка, смаз. Далее мы опишем алгоритм, который позволяет автоматически устранить геометрические искажения документа на изображении.

Весь процесс можно разделить на несколько основных этапов:

1) Уменьшение исходного изображения
2) Выбор наиболее информативного канала
3) Предобработка изображения, выделение контуров
4) Детектирование границ и определение углов документа
5) Проверка полученных гипотез
6) Уточнение координат углов документа

Рассмотрим каждый из этапов подробнее.

Это очень просто. Ножницы режут бумагу, бумага накрывает камень, камень давит ящерицу, ящерица травит Спока, Спок ломает ножницы, ножницы отрезают голову ящерице, ящерица ест бумагу, бумага ложится под Спока, Спок испаряет камень, и, как обычно, камень разбивает ножницы.
Доктор Шелдон Купер.

В июле 2012 года инженеры лаборатории Ishikawa Oku Токийского университета показали своего робота Janken первой версии, который мастерски умеет «играть» в «камень-ножницы-бумага». Робот, по сути, представляет из себя три пальца, которые, однако, умеют складываться подобно пальцам человеческой руки и трястись, подобно сложенному кулаку. Техническая предпосылка такого немного несерьёзного проекта заключалась в том, что задачей была разработка системы управления жестами с минимально возможным временем ответа системы, что актуально для ряда приложений системы компьютерного зрения.

Признаки Хаара, про которые я расскажу, известны большинству людей, которые так или иначе связаны с системами распознавания и машинного обучения, но, судя по всему, мало кто использует их для решения задач вне стандартной области применения. Статья посвящена применению каскадов Хаара для сравнения близких изображений, в задачах сопровождение объекта между соседними кадрами видео, поиска соответствия на нескольких фотографиях, поиска образа на изображении и прочих подобных задач.

Думаю у любого человека, интересующегося космосом — возникала идея купить телескоп, чтобы лично все посмотреть.

Однако суровая реальность вечно портит всю малину: в пределах города – все небо засвечено уличным освещением и турбулентность воздуха высокая. Это означает, что либо придется ограничится самыми крупными и яркими объектами (вроде Луны и Юпитера), либо возить телескоп далеко за город.

Возможное решение проблемы — удаленно-управляемые телескопы большого размера и расположенные в горах. Конечно, возможность видеть все своими глазами это не заменит — но астрофотографии полученные таким образом будет трудно превзойти. Именно на этом способе я и хочу остановиться в этой статье.

Пример того, что получилось: галактика Андромеда, M31 на телескопе Т20

Возникла задача профильтровать базу данных ссылок на изображения и удалить большие. В результате было найдено решение на Python, которым я поделюсь под хабракатом: