Готовлю сервис, моделирующий eye tracking по изображению. Ради любопытства: пример нормализации картинки под фовеальное зрение человека:



Чем светлее участок, тем сильнее он воспринимается зрением. Модель — trichromacy (полноценное цветовое зрение). Подсветка участков — логарифмическая.

Ну и модель по данному нормализованному представлению:



Основные участки показаны верно (по тестам), но модель завалена в левый угол: где-то ошибка алгоритма. Будем исправлять)

UPD
После сериии публикаций про моделирование eye-traking у меня есть 8 мишеней с реальными тепловыми картами с тоби реадера, на которых я тестирую свои алгоритмы. Если честно, то мне их нехватает. Если есть возможность провести исследования по этому вопросу — буду рад.

Спешу поделиться с вами своею радостью :) Столкнулся я тут недавно с задачкой — нужно было определить местонахождения лиц на картинке.

Зачем это нужно — другой вопрос: мне, лично, понадобилось для создания модели распределения внимания по картинке, а кому-то, может быть, нужно для того, чтобы людей как в фейсбуке автоматически на групповой фотографии выделять.

Алгоритмы, в принципе, неплохо известны. Одним из лучших является алгоритм Viola & Jones, но поиск готовых имплементаций результатов не принёс. Было расстроился, но обратил внимание на замечательную нативную библиотеку — OpenCV. Библиотека ценна не только реализацией основных алгоритмов компьютерного зрения, но тем, что встречается решительно на всех платформах.

И что же вы думаете? Одним из первых в гугле выпадает вот такой замечательный проект JNI интерфейса к OpenCV!

Несколько минут закачки, десяток минут чтения документации с установкою программы, и ещё десяток — написание теста. А потом, и вот этими четырьмя строчками, просто берём и распознаём на картинке лица!

OpenCV cv = new OpenCV();
cv.loadImage("test.jpg", 300, 400);
cv.cascade("haarcascade_frontalface_default.xml");
Rectangle bounds[] = cv.detect();

Что такое сила цветовосприятия?

Поговорим о силе восприятия цвета. В предыдущих постах я уже рассказывал, что некоторые цветовые тона воспринимаются сознанием как более сильные, яркие, чем другие.

Технически это связано с силой сигнала, поступающего в мозг от S, M и L колбочек: тона, близкие к жёлтому воспринимаются одновременно S и M рецепторами, а тона, близкие к красно-фиолетовому (маженте) – M и L.
Cамым ярким тоном по восприятию является красно-оранжевый, чуть менее яркими воспринимаются жёлто-зелёные и красно-фиолетовые тона. Явными аутсайдерами являются синие и лазурные тона: они по интенсивности в 3,5 и 5 раз слабее, чем самый яркий тон.

Как выяснилось в обсуждении предыдущего поста про дальтонизм, модель зрения с недостатком красных и зелёных колбочек была не слишком точна.

За прошедшие три недели я три раза переписывал алгоритм, моделирующий нарушения цветового зрения, каждый раз проверяя результаты на реальных дейтанопах (недостаток «зелёных» колбочек) и протанопах (недостаток «красных» колбочек). И теперь я готов поделиться с вами результатами своих изысканий. :)

И так, целью моделирования на самом деле было даже не картинка-результат, а создание алгоритма, который позволяет сказать, насколько, скажем, красный цвет воспринимается сильнее синего. Попутно было выяснено, что некоторые сервисы, моделирующие потерю цветового зрения на самом деле просто смещают a-b коэффициенты в CIE Lab модели и проверка на реальных дальтониках показала, что результат, выдаваемый ими далёк от позитива :)

Из-за этого пришлось вернуться к теории и провести детальную работу по моделированию работы сетчатки глаза при восприятии цветов.

Если уж делать алгоритм распределения внимания по изображению, то делать нужно по уму, а значит, жизненно важно становится определять «силу цвета».

Цветовосприятие

Ощущение цвета зависит от сигнала, поступающего в мозг от S, M и L колбочек. Вместе с тем, некоторые цвета, определяемые человеком, ощущают сразу несколько видов колбочек и именно из-за этого некоторые цвета кажутся ярче, чем другие, одинаковые по тону и насыщенности.


^{сone-response}

Интересно, а как выглядели бы цвета, если сила восприятия их была бы одинакова с насыщенностью? Отвечая на этот вопрос, я написал программку, иллюстрирующую взаимоотношения цвета и восприятия. И вот результаты её работы:

Цветовая мишень: оригинал, пост-процессинг.
Другая цветовая мишень: оригинал, пост-процессинг.

Но приведённые изображения показывают результат только для полного цветового зрения. Интересно, а как смотрят на мир дальтоники?

Дальтонизм

А дальтоники бывают разные: дальтонизм возникает в основном из-за нехватки колбочек определённого типа. В случае нехватки колбочек двух типов, цвета вообще не различаются, мир выглядит монохроматическим, как на чёрно-белой фотографии. А вот в случае дефицита колбочек одного из типов S, M или L возникает ситуация неразличимости некоторых цветов.

Попробуем-ка промоделировать, основываясь на данных цветочувствительности колбочек, восприятие дальтоников!

Честно признаюсь, данные модели не калиброваны. В идеале, дальтоник не должен ощущать существенной разницы между оригиналом и результатом моделирования. Но ради того, чтобы представить, как – любопытно же? :)

На картинках – изображения после нормализации силы восприятия цвета. Мишени и скриншоты — мои, а фотографии взяты с сайтов отсюда, отсюда и отсюда.

Оригиналы:

По многочисленным просьбам, связанным с предыдущим постом на тему того, как глаза воспринимают картинку, решил попытаться рассказать о том, как можно производить моделирование технологии eye tracking. За одним получился довольно крупный текст о зрении и восприятии плоских изображений, который я разбил на 6 частей.

Моделирование зрения

Часть первая. Экскурсия в глаз
Чтобы понять то, как человек воспринимает изображение, начать придётся с органа зрения – с глаза. Важным для дальнейшего понимания моментом помимо анатомического строения глаза является ограничения разрешающей способности глаза, которые я тут и опишу. Если это всё вам известно – то можно только бегло просмотреть выделенные куски текста и сразу переходить ко второй части.

Часть вторая. Восприятие
В этом посте рассказывается об некоторых особенностях восприятия человека происходящих ещё на уровне сетчатки глаза (до анализа картинки в мозгу). Полужирным выделены моменты непосредственно связанные с темой моделирования.

Часть третья. Геометрия зрения
Эта часть важна для понимания принципов моделирования eye tracking, а за одним рассказывается кое-какие интересные вещи про угол и чёткость зрения.

Часть четвёртая. Eye tracking
Эта часть рассказывает о том, что такое, собственно, eye tracking, и какие психологические и биологические механизмы лежат за этим определением.

Часть пятая. Как поймать взгляд
Продолжая рассказ, начатый в четвёртой части о саккадах и их моделировании необходимо рассказать о таких феноменах, как ловушки для взгляда и зоны неразличимости. Так же тут рассказывается немножко о том, как привлечь внимание или наоборот отвлечь от каких-оо регионов картинки.

Часть шестая. Моделирование eye tracking
Рассказ непосредственно о принципах и алгоритмах моделирования eye tracking.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Шестая часть, заключительная. Рассказ непосредственно о принципах моделирования eye tracking, а так же как это может быть применимо к реальной жизни. В этой части, наконец-то, пригодятся цифры и принципы, освещённые в третьем, четвёртом и пятом постах.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Продолжая рассказ, начатый в четвёртой части о саккадах и их моделировании необходимо рассказать о таких феноменах, как ловушки для взгляда и зоны неразличимости.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Пост о природе того, что, собственно, моделируется, зачем вообще нужен этот eye tracking и т.д. Если непонятны какие-то термины, то обратите внимание на третий пост про геометрию зрения.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Эта часть важна для понимания принципов моделирования eye tracking, а за одним применяются знания о работе сетчатки из второго поста.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

В этом посте рассказывается об некоторых особенностях восприятия человека происходящих ещё на уровне сетчатки глаза (до анализа картинки в мозгу). Полужирным выделены моменты непосредственно связанные с темой постов. Если непонятны какие-то термины – смотрите первую часть.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Чтобы понять то, как человек воспринимает изображение, начать придётся с органа зрения – с глаза. Важным для дальнейшего понимания моментом помимо анатомического строения глаза является ограничения разрешающей способности глаза, которые я тут и опишу. Если это всё вам известно – то можно только бегло просмотреть выделенные куски текста и сразу переходить ко второй части.

Никогда не задумывались, как глаз считывает картинку? Почему часто смотря на фотографию мы чувствуем, как какие-то части изображения притягивают глаз настолько, что невозможно оторваться, сфокусироваться на других деталях? В качестве попытки ответить на этот вопрос группой психологов и физиологов в 60х годах была создана теория зрительного восприятия. Теория получила развитие: на данный момент существуют как минимум 3 математических аппарата, позволяющих моделировать движение зрачка, считывающего картинку и связывать это движение с концентрацией внимания на определённых частях изображения.

Два-три года назад я плотно занимался моделированием внимания при просмотре изображений, и вот на днях попросили показать работу такой программки. Я полез в пыльный угол за архивами сырцов, распаковал, стал компилировать, решил поправить пару багов в алгоритмах и… увлёкся! Представляю вам плод двухдневных усилий: несколько картинок и два различных способа моделировать то, как человек воспринимает картинку.

Картинки представлены в виде триптихов. Первая часть — это картинка-оригинал. Средняя часть — тепловая карта. Чем интенсивнее зелёное свечение — тем больше вероятность, что этот регион будет притягивать ваше внимание. Последняя картинка — это динамика взгляда. Эта модель показывает, как взгляд скользит по изображению, куда он может следовать дальше. Взгляд более легко движется от светлых частей к более тёмным и наоборот — для того, чтобы переместить фокус внимания с более тёмных на более светлые части, вероятно потребуется некоторое усилие.

При просмотре картинок нужно понимать, что математический аппарат, обеспечивающий моделирование фокусировки внимания человека не учитывает психологические аспекты восприятия, например, вот такие или такие. На картинках отображено как двигается человеческий взгляд, если он не обнаруживет узнаваемые образы на картинке.