Сначала немного общих слов о том, как вообще можно организовывать поиск по изображениям.
В идеале нам бы хотелось иметь систему, которая может анализировать содержимое рисунка, определять, изображен там дом, озеро или кошка с котятами, ну и попутно запоминать разные характеристики обнаруженных объектов — такие как цвет, размер, взаимное размещение — а потом осуществлять поиск по этой информации. Но, к сожалению, на сегодняшний день это решительно невозможно. Как минимум, нет метода, который позволил бы сколько-нибудь надежно выделять объекты реального мира на картинках.
Поэтому любая система вынуждена анализировать менее интеллектуальные признаки, и этих признаков может быть несколько разных типов:

Английская молодёжь громит магазины, а полиция ничего не может сделать, кроме как изучать видео с уличных камер наблюдения (благо, Великобритания занимает первое место в мире по плотности камер наблюдения). Полиция начала выкладывать фотографии хулиганов на Flickr и просит идентифицировать нарушителей. Сами граждане тоже делают фотографии из окон домов, так что на Facebook, Flickr и Twitter уже скопилось немало снимков.

И работа началась. На Google Groups образована группа London Riots Facial Recognition, которая обсуждает технологии автоматического распознавания лиц для обработки массива фотографий из открытых источников. Один разработчик предлагает свою помощь в разработке программы с применением Face.API. Получится у него или нет, но со временем такие технологии наверняка будут созданы.

Некоторое время назад на Хабре появился топик о том, что такой крупный игрок IT-рынка как Google приобрел компанию PittPatt, намереваясь использовать её результаты для распознавания объектов на изображениях. Правда, некоторое время до этого Эрик Шмидт делал недвусмысленное заявление о том, что его компания хотя и обладает всеми техническими возможностями для реализации этой задачи, тем не менее, из-за проблем с законным использованием её возможностей Google пока не будет использовать её в своих продуктах и технологиях.

По всей видимости DARPA (Defense Advanced Research Projects Agency — агентство передовых оборонных исследовательских проектов), являясь агентством Министерства обороны США, не будет иметь таких проблем как поисковый гигант. Несколько дней назад стало известно, что организация, стоящая у истоков создания интернета и BSD-версии UNIX, намерена создать программное обеспечение Visual Media Reasoning (VMR), предназначение которого заключается в исследовании фотографий, распознавании объектов на них и каталогизации по тому или иному признаку. Разработкой будет заниматься подразделение I2O, специализирующееся на информационных системах мониторинга и управления, технологии высокопроизводительных вычислений, интеллектуальном анализе данных, системе распознавания образов. Среди очевидных применений VMR авторы называют использование его в разведке и правоохранительных организациях, которые вынуждены иметь дело с огромными объемами цифровых изображений, нуждающихся в автоматизированном анализе.

В этом эксперименте популярный формат сжатия изображений JPEG2000 будет использоваться для несвойственной ему задачи, хранения звукового файла.

Вообще, звук и изображение очень похожи. Если представлять звук в волновой форме, то мы получим изменение звукового сигнала по времени. Аналогично, если взять одну строку пикселов изображения, то получим изменение яркости по расстоянию.

Чем больше амплитуда колебаний звукового сигнала по времени, тем громче звук. Аналогом для изображения будет увеличение контрастности.

Чем быстрее изменяется звуковой сигнал, тем больше будет высоких частот в звуке. Аналогично, быстрое изменение яркости в строке пикселов, говорит о большом количестве деталей в изображений.

При чем, что звуковой сигнал, что яркость пикселов в ряду изменяются достаточно плавно, чтобы кодек мог использовать это свойство.

По последней статистике, примерно 25% всех фотографий в мире на зеркальных цифровых камерах сохраняются в формате RAW, то есть в несжатом виде с возможностью продвинутого обратимого редактирования. Это самый удобный формат, который используют все профессионалы и многие продвинутые фотографы. Приятной новостью для них будет то, что теперь поддержка RAW от более 120 моделей фотоаппаратов внедрена в фоторедактор Windows Live Photo Gallery 2011 под Windows 7 и Windows Vista. Пользователям этих операционных систем нужно скачать и установить Microsoft Camera Codec Pack, после чего они могут просматривать RAW-фотографии как в Photo Gallery, так и в Проводнике Windows.

Кроме просмотра, в Photo Gallery возможно и редактирование фотографий. При этом RAW-оригинал остаётся нетронутым, а редактор работает с копией фотографии в формате JPEG или JPEG-XR (HD Photo).

Вышеупомянутый пакет добавляет возможность просмотра и редактирования в Windows и других форматов, включая PNG и TIFF.

В нашем офисе мы используем Picasa для обработки множества сканов и фотографий. Мы используем Picasa уже несколько лет и очень довольны. Однако, Picasa не предоставляет всех необходимых нам функций, а некоторые слишком сложно использовать при нашем объеме работ. Чтобы упростить нашим сотрудникам задачу, я решил автоматизировать некоторые процессы, используя два основных компонента: набор консольных утилит ImageMagick, и довольно малоизвестный Picasa Button API.

В качестве примера я опишу небольшое приложение, которое мы используем для совмещения нескольких изображений в одно, одним кликом прямо из интерфейса Picasa. Немного разобравшись с ImageMagick, можно легко модифицировать этот код для других задач.

Компания Intel опубликовала описание алгоритма морфологического сглаживания (MLAA), который предназначен для работы в реальном времени на CPU (демо, исходные коды).

Как и в случае с алгоритмом депикселизации графики в играх, который пару месяцев назад обсуждался на Хабре, алгоритм Intel не выполняет масштабирование изображения, а работает с пикселами в исходном разрешении. Они модифицируются по нескольким простым правилам, которые показаны на диаграмме.



Если вкратце, то фильтр MLAA ищет L-, Z- и U-образные границы пиксельных групп, после чего размывает окружающие пикселы для получения плавных очертаний.

В настоящее время механические способы измерений, в силу своей несовершенности (будь то высокая погрешность или трудоемкость измерений), отходят на второй план, уступая свое место новым методикам, среди которых есть одна — фотограмметрия, о которой хотелось бы рассказать.

Вступление

Фотограмметрия — технология определения форм, размеров и положений объектов по их фотографическим изображениям.
Наиболее широкое распространение фотограмметрия получила в геодезии, картографии, военном деле, космических исследованиях и др. Но мы поговорим о более узком применении технологии, а именно — при исследовании материалов.
Один из экспериментов, проводимых при исследовании свойств материала заключается в измерении деформации под действием различной нагрузки.
В классическом варианте эксперимент проводится вручную: для разной нагрузки определяется значение деформации с использованием механизмов, называемых мессурами. Утомительный процесс, да еще точность мессур в большинстве случаев ограничена 0.01мм. Фотограмметрия в данном случае, позволяет упростить процесс определения деформации, увеличить точность измерений, автоматизировать обработку данных.

Пролог

По ходу своей трудовой деятельности получил задачу придумать и реализовать систему учета рекламной информации. Учет заключался в проверке наличия нужной информации на нужном рекламном щите. Щит и полиграфия пронумерованы.
В качестве исходной информации для системы предлагалось использовать фото. После торговли согласования с дизайнерами было оговорено, что оба номера будут располагаться внутри одной рамки. Единственное, что рамка могла быть в любом месте щита.
Собственно на этом постановка задачи заканчивается и начинается повествование о реализации.
Задача решается в три действия:

1. Нахождение нужного прямоугольника на изображении.
2. Распознавание текста.
3. Проверка правильности распознавания.

Недавно, прочитав пост про голографическое кодирование от eresik, открыл для себя ранее не известную мне вещь, что:

восстановить полное изображение объекта можно по любому кусочку голографического снимка (с ухудшением качества изображения)

Первое что пришло в голову, это «Вау круто! Надо будет поэкспериментировать с этим тоже». Позже забыв про эту задумку наткнулся на очередной топик от Valler, где автор развил идею реализовав кодирование цветных изображений.

Меня очень заинтересовала сама идея восстановление изображения из частично испорченной картинки.

Не секрет, что сейчас, чтобы сделать фото на обычной, так скажем, «мыльнице», нужно немного нажать кнопку, после этого объектив сфокусируется на объекте и потом, когда мы уже видим чёткое изображение в видоискателе (или на экране), нажать кнопку до конца и сделать фото. В принципе, всё просто и понятно.



Но компания Lytro решила изменить этот процесс. Они заявляют, что произведут революцию в мире фотографии. С помощью их фотокамер можно делать фото, не фокусируя камеру на объекте. А настроить резкость можно уже в пост-обработке. Честно, когда я первый раз увидел это, мне казалось, что я сплю.

Введение

Недавно наткнулся на статью, размещенную на Хабрахабре, посвященную сравнению изображений «Выглядит похоже». Как работает перцептивный хэш. Так как я сам достаточно долго занимался этой тематикой (являюсь автором программы AntiDupl), то мне захотелось поделиться здесь своим опытом по данному вопросу. В статье я приведу два варианта алгоритма сравнения похожих изображений — базовый и улучшенный. Все они были проверены автором на практике в рамках указанного выше проекта. Изложение мое будет вестись без строгих доказательств, сложных формул и специальной математической терминологии. Надеюсь, что читатели простят меня за это.

Базовый Алгоритм

Мера схожести изображений

При сравнении похожих изображений первым встает вопрос: что считать мерой схожести изображений? Очевидно, что это величина имеет значение обратное различию изображений друг от друга. Следственно нужно выбрать некую метрику, характеризующую различие изображений друг от друга. Тогда схожими изображениями будут считаться изображения, отличие между которыми меньше некоторого порога. Для изображений с одинаковыми габаритами, обычно такой мерой различия служит среднеквадратическое отклонение пикселей одного изображения от другого. Хотя конечно, нам ни что не мешает выбрать другую метрику, например усредненную абсолютную разность пикселей изображений друг от друга.

Аннотация

Эта статья написана в продолжении первой части статьи про работу с бинарными изображениями, в которой рассказывается как подсчитывать объекты. Однако от одного подсчета толку мало, часто хочется узнать некоторые геометрические параметры распознаваемых объектов. Кажется, что тут считать — узнал количество восьмерок — площадь равна 19, посчитал количество семерок — площадь равна 7 (см. картинку в Аннотации).
Делая так, мы будем вынуждены использовать дополнительный проход по изображению, желательно этого избегать — в пользу повышения эффективности реализации. Как и было запланировано, в этом топике рассказывается о подсчете геометрических характеристик объектов без дополнительного прохода.
А так же: фактор формы и розы Гвидо-Гранди и чем отличается квадрат от прямоугольника, а он от звезды.

За последние несколько месяцев несколько человек спросили меня, как работает TinEye и как в принципе работает поиск похожих картинок.

По правде говоря, я не знаю, как работает поисковик TinEye. Он не раскрывает деталей используемого алгоритма(-ов). Но глядя на поисковую выдачу, я могу сделать вывод о работе какой-то формы перцептивного хэш-алгоритма.

Как-то друг попросил помочь с дипломной работой и дал ссылку на статью, в которой говориться о восстановлении изображения с помощью самоорганизующихся карт Кохонена. Почитав статью, я вначале решил, что это бред какой-то, и что нейросеть к восстановлению никаким боком не стыкуется. Но, я чуток ошибался, оказалось, что этот метод весьма увлекательный, и когда я его таки сделал, не мог набаловаться.

Общее:

Madonnari — один из видов уличного искусства, очень популярного в мире. Рисунки сделаны на тротуаре и искажены таким образом, что появляется иллюзия трехмерного объекта, когда смотришь на рисунок с определенной точки. Многие художники используют методы, разработанные еще в шестнадцатом веке, чтобы делать такие рисунки.

Сотрудник Microsoft Research Йоханнес Копф (Johannes Kopf) совместно с профессором Дани Лисчински опубликовали научную работу (dropbox, narod.ru, depositfiles.com) с описанием нового алгоритма депикселизации, который значительно превосходит все существующие методы. Разница в качестве действительно колоссальна.

Семнадцать новых пирамид обнаружено под землёй благодаря анализу спутниковых фотографий в инфракрасном спектре. На снимках видна даже планировка древнеегипетских городов и все сооружения. Среди них уже удалось распознать более 1000 гробниц и 3000 жилых кварталов.

Сотрудники Лаборатории компьютерной графики и мультимедиа МГУ имени М. В. Ломоносова сегодня опубликовали свое решение для распознавания дефектов дорожного полотна по видео.

UPD. Сделал копию, на случай если сайт ляжет под хабраэффектом.
UPD. И еще одна копия.
PS. Спасибо за инвайт от mihailolenin для участника проекта: semapt

В статье расскажу как достаточно быстро перечислить связные объекты на бинарном растре. Этот алгоритм мы использовали для распознавания изображений и текстов; он отличается от подобных высокой скоростью обработки (на картинках до 3200x2400, с некоторыми оговорками, он отрабатывает за миллисекунды) и доступностью в понимании (при наличии некоторых знаний C++). Отмечу, что исходная картинка будет трактоваться алгоритмом как «только для чтения» (зачем портить то, с чем могут работать другие методы), и в связи с этим, алгоритму потребуется небольшое количество дополнительной памяти. Кроме того, внешние контуры являются полезным объектом для анализа и векторизации изображений.