Обработка изображений *

В центре почти каждой галактики находится чёрная дыра. Чем больше галактика — тем больше чёрная дыра и более заметен тот великолепный эффект, который она оказывает на окружающее пространство-время. Сверхмассивные чёрные дыры втягивают в себя материи в миллиарды раз больше по весу, чем наше Солнце, и случайно способствуют возникновению ярких излучателей энергии на свои границах. Обычно эти излучатели не транслируют в видимом диапазоне излучения, но их можно обнаружить с помощью радиотелескопов.

Любой прогноз погоды привлекает внимание огромного количества людей. Не напрасно «погодные» сайты являются одними из наиболее посещаемых сайтов в мире. Для того, чтобы человек знал, какая погода ждет его в ближайшем будущем, производители мобильного и десктопного ПО создают приложения, показывающие температуру, скорость ветра, возможность выпадения осадков и многое другое.

В декабре 2013 завершились ежегодные соревнования по распознаванию визуальных образов ImageNet Large Scale Visual Recognition Challenge 2013 (ILSVRC2013), спонсируемые проектом ImageNet , который представляет собой огромную базу изображений. В настоящее время в базе имеется более 14 миллионов изображений.
Участники соревнований решали три задачи, описанные под катом.

Вы правильно поняли из названия, что это не совсем обычное описание алгоритма JPEG (формат файла я подробно описывал в статье «Декодирование JPEG для чайников»). В первую очередь, выбранный способ подачи материала предполагает, что мы ничего не знаем не только о JPEG, но и о преобразовании Фурье, и кодировании Хаффмана. И вообще, мало что помним из лекций. Просто взяли картинку и стали думать как же ее можно сжать. Поэтому я попытался доступно выразить только суть, но при которой у читателя будет выработано достаточно глубокое и, главное, интуитивное понимание алгоритма. Формулы и математические выкладки — по самому минимуму, только те, которые важны для понимания происходящего.

Знание алгоритма JPEG очень полезно не только для сжатия изображений. В нем используется теория из цифровой обработки сигналов, математического анализа, линейной алгебры, теории информации, в частности, преобразование Фурье, кодирование без потерь и др. Поэтому полученные знания могут пригодиться где угодно.

Если есть желание, то предлагаю пройти те же этапы самостоятельно параллельно со статьей. Проверить, насколько приведенные рассуждения подходят для разных изображений, попытаться внести свои модификации в алгоритм. Это очень интересно. В качестве инструмента могу порекомендовать замечательную связку Python + NumPy + Matplotlib + PIL(Pillow). Почти вся моя работа (в т. ч. графики и анимация), была произведена с помощью них.

Внимание, трафик! Много иллюстраций, графиков и анимаций (~ 10Мб). По иронии судьбы, в статье про JPEG всего 2 изображения с этим форматом из полусотни.

В этой статье пойдет речь о том, как решалась небольшая задачка поиска дубликатов по фрагменту или кропу картинки.

Обычно при использовании какой-либо техники предусмотрены случаи порчи оборудования, выхода из строя с течением времени и прочее. Но никто не закладывает в бюджет исследований убытки от воровства техники животными. И напрасно — на днях стало известно о том, что орел украл у ученых, ведущих постоянную запись жизни австралийских крокодилов, живущих в соленой воде, камеру. Вероятно, птица решила, что камера — нечто вкусное, и унесла технику подальше от места происшествия, решив расклевать ее потом. Камера запечатлела и полет орла, и его разочарованный вид после того, как птица поняла, что поживиться не удастся.

Британский художник Кайл Ламберт потратил более 200 часов на то, чтобы нарисовать удивительно фотореалистичный портрет известного актера Моргана Фримена на своем iPad пальцем.

Весь процесс от начала до конца можно посмотреть в небольшом timelapse-ролике, который сейчас стремительно набирает популярность в сети.



По словам художника, такая идея посетила его после просмотра фильма «Обливион», где одну из ролей и сыграл Морган Фримен. Что интересно, на некоторые детали Ламберту приходилось тратить по 8-10 часов в день, а всего было сделано около 285 тысяч «мазков» пальцем.

Введение

Ранее во вступительной статье я поднимал список проблем, с которыми придется столкнуться разработчику, если он захочет оптимизировать оптимизацию обработки изображения при помощи SIMD инструкций. Теперь пришло время на конкретном примере показать, как указанные выше проблемы можно решить. Я долго думал, какой алгоритм выбрать для первого примера, и решил остановиться на медианной фильтрации. Медианная фильтрация является эффективным способом подавления шумов, которые неизбежно появляются на цифровых камерах в условиях малого освещения сцены. Алгоритм этот достаточно ресурсоемок – так например, при обработке серого изображения медианным фильтром 3х3 требуется порядка 50 операций на одну точку изображения. Но в тоже время он оперирует только с 8-битными числами и ему для работы требуется сравнительно не много входных данных. Эти обстоятельства делают алгоритм достаточно простым для SIMD оптимизации и в тоже время позволяют получить из нее весьма существенное ускорение.

Сегодня – 42 года с момента первой успешной посадки на Марс космического аппарата с Земли – «Марс-3». Известно, что он успешно сел потому, что началась радиотрансляция – он начал передавать первую фотопанораму с поверхности. Антенны могли раскрыться только в случае благополучного примарсения.

Как вы, вероятно, знаете, в этом году о нем снова вспомнили, когда стало известно, что Zelenyikot и подписчики его группы Вконтакте «Curiosity — марсоход» обнаружили «Марс-3» на Марсе.
Через несколько дней после находки «Марса-3», мне стало жуть как интересно, какие виды так и не передал на Землю аппарат. К тому моменту у меня был опыт создания объёмных объектов в Blender 3D на основе снимков Curiosity и приложенных к ним карт высот. Поэтому я подумал – «А не сделать ли то же самое, но с моделью места посадки «Марс-3», поставив камеру от лица аппарата?».

Автор: Виктор Ерухимов, исполнительный директор Itseez, председатель рабочей группы OpenVX

The Khronos Group 18 ноября 2013 года представила предварительную спецификацию стандарта OpenVX 1.0 для компьютерного зрения. Поскольку Itseez был одним из инициаторов этой деятельности и активно участвовал в создании спецификации, мы решили рассказать про этот стандарт аудитории Хабрахабра.

SIMD и обработка изображений

Обработка изображений (здесь мы сознательно ограничиваем в себя только растровыми картинками и опускаем широкий класс векторных изображений), как правило, представляет собой набор простых операций, которые применяются к каждой точке изображения. Если учесть, что цветовые каналы, из которых состоит точка изображения (пиксель) обычно представлены в виде целых чисел небольшой размерности, то обработка изображения сводится к огромному числу однотипных операций над 1-2 байтными целыми числами.

Компания Сиджеко занимается поддержкой сайта организации Реконстрой, которая продаёт и доставляет кирпич, черепицу, архитектурный декор и многие другие строительные материалы в Центральном Черноземье.

В процессе работы над сайтом возникла идея конструктора кладки.

У немецкого концерна «Feldhaus Klinker» существуют модельные ряды кирпича «Vascu Mix» и «Sintra Mix», которые специально предназначены для смешивания в разных пропорциях и создания неповторимого рисунка кладки. К ним существует ряд замазок «Quick Mix», применяемых при замазывании швов кладки между кирпичами. Для демонстрации этого подхода мы решили сделать конструктор кирпичной кладки, аналогов которому в рунете я пока не видел (буду рад примерам).

Чего только не придумают для владельцев самого популярного в США гаджета от яблочной компании: оптика для фотографирования, солнечные батареи на заднюю панель для поборников экологии, портативные микропроекторы и так далее и тому подобное. Для Android гаджетов несколько меньше, а для Nokia так и совсем практически нет. Но учёные из университета Калифорнии (University of California) решили восполнить этот недостаток, не отставать от мира высоких технологий и задались вопросом: а что будет, если скрестить серьёзный прибор (флуоресцентный микроскоп) со смартфоном?!

У меня, как и у многих, к компьютеру подключено 2 монитора. Ранее для обоев я использовал либо одну и ту же картинку на обоих мониторах, либо 2 разные картинки. Но совсем недавно в голову пришла мысль: «А почему бы не использовать 1 большую картинку?». И не просто распилив ее пополам, а чтобы все было «правильно», то есть учитывая разную плотность пикселей мониторов, их расположение, расстояние между активными областями и т.п… Ниже вы видите пример того что у меня получилось. Под «хабракатом» описание как это можно сделать самому с использованием Photoshop'а и линейки.

Порой айтрекеры ставят исследователей вверх тормашками в интересное интеллектуальное положение.

Ниже – фотография Ильи Питалева: Торжественное собрание участников Народной армии КНДР на стадионе имени Ким Ир Сена в честь 100-летия со дня рождения Ким Ир Сена, в Пхеньяне, в апреле 2012 года. Фотография вошла в шортлист 2013 Sony World Photography Awards.



Если вы посмотрите на фотографию 5 секунд, что необычного вы заметите? Сознательно?
А айтрекер тем временем заметит очень интересную особенность человеческого восприятия…

17 марта этого года в небе над Эстерсундом, Швеция, можно было наблюдать шикарное северное сияние, aurora borealis. Конечно, наблюдения можно было вести не только в этом регионе, просто фотограф, находившийся тогда в Эстерсунде, снимал это явление на Nikon D3s. В общей сложности получилось 2400 фотографий. При этом фотограф, Göran Strand, использовал сферические линзы, благодаря чему стало возможным создание панорамы, после обработки всех фото.

Сейчас фотограф выложил все получившееся в Сеть, причем не в виде обычной панорамы, она в виде панорамы, которая все время меняется, то есть, вышло что-то вроде панорамного фильма. При этом, поскольку фильм панорамный, в браузере вы можете вращать изображение на 360 градусов, просматривая любое направление.

Область применения компьютерного зрения очень широка: от считывателей штрихкодов в супермаркетах до дополненной реальности. Из этой лекции вы узнаете, где используется и как работает компьютерное зрение, как выглядят изображения в цифрах, какие задачи в этой области решаются относительно легко, какие трудно, и почему.

Лекция рассчитана на старшеклассников – студентов Малого ШАДа, но и взрослые смогут почерпнуть из нее много полезного.



Возможность видеть и распознавать объекты – естественная и привычная возможность для человека. Однако для компьютера пока что – это чрезвычайно сложная задача. Сейчас предпринимаются попытки научить компьютер хотя бы толике того, что человек использует каждый день, даже не замечая того.

Наверное, чаще всего обычный человек встречается с компьютерным зрением на кассе в супермаркете. Конечно, речь идет о считывании штрихкодов. Они были разработаны специально именно таким образом, чтобы максимально упростить компьютеру процесс считывания. Но есть и более сложные задачи: считывание номеров автомобилей, анализ медицинских снимков, дефектоскопия на производстве, распознавание лиц и т.д. Активно развивается применение компьютерного зрения для создания систем дополненной реальности.

Совсем недавно появился пост про комету ISON, которая, согласно прогнозам, должна быть видна невооружёным глазом в конце месяца. Однако, совсем недавно комета резко увеличила свою яркость, что позволило увидеть её не только многим земным наблюдателям, но и космическим солнечным обсерваториям.

Группа исследователей из Калифорнийского университета в Беркли и Дартмутского колледжа разработали геометрическую технику для выявления физически несовместимых теней на фотографии. Созданная ими программа позволяет спроецировать источник света для каждой тени и обнаружить несоответствие.


^{Фото НАСА, 1969 год. Место общего источника света обведено чёрным контуром.}

На днях на Хабре публиковали заметку с информацией о том, что любознательным любителем астрономии была проведена предположительная реконструкция климатических условий Марса. В той же заметке публиковались скриншоты модели и небольшое видео. Данные для моделирования брались из базы NASA.