Приветствую! Меня зовут Егор Ершов, я руковожу группой «Цветовая вычислительная фотография» в AIRI, а также заведую сектором репродукции и синтеза цвета ИППИ РАН. Область моих научных интересов включает способы регистрации и обработки изображений, что в той или иной степени касается любого человека, кто хоть раз пользовался камерой, монитором или проектором.

Вычислительная фотография лежит на стыке сразу нескольких дисциплин: физики, физиологии, компьютерных наук. Из‑за этого в ней ещё много сложного, но вместе с тем интересного и неизвестного. Я подготовил полноценный курс по алгоритмам вычислительной фотографии для МФТИ и ВШЭ, но мне также хотелось бы поделиться со всеми желающими его материалами в текстовом формате.

Этот курс посвящен как феномену цвета, механизмам его восприятия, исследованию зрительной системы человека, так и непосредственно алгоритмам цветовой вычислительной фотографии. Но в этой статье я бы хотел в общих чертах обрисовать проблему регистрации изображений, а также дать введение в теорию цвета, которая потребуется в дальнейших частях.

Поделиться красотой

Представьте себе, вы, мерно прогуливаясь по красивым улицам вашего города, увидели красивый пейзаж или вид, и вам захотелось сохранить его для себя раз и навсегда. А лучше — получить возможность этим поделиться со своими друзьями и близкими.

Как это сделать? Для того, чтобы это стало возможным, инженерам и ученым нужно полностью повторить тот процесс восприятия окружающего мира, который происходил у вас в голове, после чего воспроизвести его на устройстве, мониторе, проекторе или принтере, да еще и так, чтобы учесть условия наблюдения этого монитора, фотографии или проекции на стену. Всеми этими задачами занимается такая область науки, как цветовая репродукция и колориметрия, и такая область инженерии, как цветовой менеджмент.

Мне хотелось бы поговорить о том, насколько мы приблизились к тому, чтобы хорошо и качественно решить эту задачу. Но начать стоит с базовых вопросов: а что, собственно, снимает цифровая камера или мобильный телефон? Что происходит после того, как мы нажимаем на кнопку затвора, электрического или аналогового?

Для ответа на них попробуем проследить за всем процессом формирования излучения, которые попадают на матрицу камеры. И начинать нужно с освещения.

Камера как прибор

Как только мы направляем на сцену свет, часть его отражается в сторону конкретной камеры или человека. На рисунке ниже излучение от лампы попадает на матрешку и после этого уже на матрицу камеры, где, собственно, формируется какой‑то массив данных, которые мы привыкли называть изображением. Другими словами, сырые изображения — это просто матрица чисел.

Иллюстрация процесса формирования изображения. Конечное цифровое изображение (d) представлено целыми числами, расположенными в матрице. Источник: Kylberg, G. 2014. Automatic Virus Identification using TEM. Image Segmentation and Texture Analysis.

Из этого можно сделать вывод, что мы что‑то измерили, то есть сопоставили наблюдениям числа. Выходит, цифровая камера — это прибор для измерения света! Если это так, то все производители, в сущности, должны стремиться к тому, чтобы сделать этот измерительный прибор как можно лучше. А значит, их изображения должны быть похожи, стараясь объективно отражать наблюдаемую реальность.

Однако, если мы сделаем снимок одной и той же сцены с разных устройств, то мы увидим, что цвета, которые мы наблюдаем, заметно отличаются друг от друга. И тут у нас закрадывается подозрение, что‑либо все эти устройства решают эту задачу плохо, либо они решают какую‑то иную задачу.

Источник: Michael Brown, 2020 LIM2020, Understanding Color and Your Camera

Дальше, приглядываясь всё внимательнее, мы обнаруживаем, что, вообще говоря, даже внутри одного девайса есть множество различных режимов, средств корректировки и стилей для того, чтобы получить некоторый желаемый эффект. А если можно менять желаемый эффект, то становится ясно, что основной целью устройств является не объективное измерение наблюдаемой реальности, а, скорее, формирование изображения, эстетически предпочтительного с точки зрения пользователя.

Это достигается за счет подбора, выдержки, скорости затвора, коэффициента усиления, баланса белого, ну и, конечно же, различных стилей. В частности, на современных мобильных телефонах одно и то же изображение может быть сымитировано под натуральным освещением, под контровым освещением, под искусственным светом или вообще быть представленным черно‑белым.

Строго говоря, то, что выполняют и делают современные мобильные устройства и камеры — это не измерение, а формирование изображений ровно для того, чтобы потом передавать его наблюдателю. И эти устройства изготавливают, чтобы повышать пользовательский опыт, это та часть нашей реальности и рынка, где все производители камер и мобильных телефонов конкурируют, увеличивая количество сенсоров, их качество, их широту и количество пикселей. И, опять же, улучшают алгоритмы обработки цветов для того, чтобы прихвастнуть по отношению к своим конкурентам и завоевать большую часть рынка.

Интерпретировать те картинки, которые находятся у нас в галерее, как результат измерения объективной реальности мы не можем. Эти изображения уже заметным образом искажены, равно как искажена и их способность представлять сцену, что сильно затрудняет использование научного подхода к фотографии. Поэтому, чтобы верно планировать дальнейшие шаги работы с массивом данных, который соответствует изображению, крайне важно понимать, на какой стадии обработки изображения мы находимся.

Для начала мне хотелось бы обсудить самую базовую стадию, на котором отдельному пикселю камеры присваивается какой-либо цвет. Но что вообще это такое — цвет?

Язык цвета

На вопрос о том, что такое цвет, отвечают уже достаточно долго, пару веков точно. Но начну я не с физики, а… с лингвистики!

Все мы для описания окружающей нас реальности используем слова, они — это проекция тех смыслов, которые мы выделяем. К цвету это относится в полной мере. Давайте попробуем проанализировать, какие слова используются для того, чтобы описать цвет, и таким образом мы вычленим какую‑то правду об этом. И на этом пути открылось довольно много удивительного.

Так, многим известно, что в английском языке слово синий и голубой обозначается одним и тем же словом «blue», а до середины прошлого века в японском языке синий и зеленый цвета называли одним словом. Но мало кто знает, что, например, жители Чукотки используют целых 11 различных слов для того, чтобы обозначать оттенки серого! Иными словами, наше умение работать с цветом, определять его, его осознавать, сильно зависит от той культуры и географии, в которой мы находимся.

В попытке исследовать этот феномен в 1960-х годах в Беркли даже связывали количество слов, которые используются для описания цвета, с уровнем культуры и уровнем цивилизации, в которой находится то или иное сообщество. Что интересно, эта гипотеза до сих пор считается не опровергнутой.

Цвет и мозг

А что об этом думают биологи? Используя современные способы анализа активности мозга средствами фМРТ, можно вызывать у испытуемого различные цветовые стимулы и смотреть на то, каким образом происходит активация различных слоев коры и других отделов головного мозга. Так появляется возможность анализировать, как наблюдаемое восприятие различных цветов определяет форму активности нашего мозга, увидеть, где локализовано цветовосприятие, познать и описать его и, как следствие, иметь возможность его моделировать.

Цвет — это реакция человека на визуальный стимул. Стимул от глаз попадает в затылочную долю к первичной коре V1, с которой уже соединены следующие уровни зрительного тракта (V2-V5). Зрительная кора присутствует в каждом из полушарий головного мозга. Источник: Zachary O’Brien et al., 2022

Этот путь не завершен: исследования цветовосприятия с использованием фМРТ пока ещё не исчерпаны, а те, что есть — не идеальны. Есть много белых пятен и точек роста, равно как и много забавных кейсов, которые учат нас осторожному обращению с этой техникой.

Например, однажды проводился эксперимент по анализу способа и вида реакции на зрительные образы у лососёвых с помощью томографов. Авторы нашли корреляцию возбуждаемости коры головного мозга с крестообразными формами. Полномасштабное исследование с хорошим p‑value показало, что, действительно, карповые распознают такого рода геометрические формы!

Это удивительно, ведь под водой крестов особо не встретишь. Однако в самом конце статьи авторы добавили одну незначительную деталь: всё это время они исследовали уже мертвую рыбу! Это значит, что эти исследования не имеют никакого отношения к тому тракту восприятия сцены, которое происходит в реальности у живой рыбы.

Физика цвета

Но самый первый ответ на вопрос, что же такое цвет, дают, конечно же, физики. Большинство из нас знает, что несколько веков назад Ньютон в призме разложил белый свет на составляющие и увидел радугу. И с тех пор укоренилось убеждение, которое нам преподают со школы, что вот, собственно, в призме Ньютона свет разлагается на разные цвета. Давайте об этом поговорим поподробнее.

Из базового курса физики можно узнать, что множество самых разных излучений, которые встречал человек, можно объединить в электромагнитные волны. Их описывают с помощью целого диапазона длин волн. Несмотря на общую природу, диапазоны с разными длинами волн демонстрируют качественно разное поведение.

Тот диапазон электромагнитных волн, которые мы в состоянии воспринимать своими глазами, называется видимой областью. Из диаграммы выше, отложенной в логарифмической шкале, становится ясно, насколько он узок.

Глядя на него, можно увидеть почти все известные нам с вами цвета. Например, на 400 нанометрах мы видим фиолетовый, на 600 — желтый, на 700 — красный. Казалось бы, это означает, что цвет можно задать с помощью одного лишь числа!

К сожалению или к счастью, на этом диапазоне приведены не все цвета. Пурпурных цветов, в частности, здесь нет. А значит, феномен цвета не таким очевидным образом укладывается на параметрическое семейство длин волн — ситуация обстоит несколько сложнее.

Прежде чем двигаться дальше, необходимо отметить, что на практике физики работают со спектром излучения. Эта величина (точнее, функция) характеризует распределение энергии света по длинам волн. В конечном итоге, именно спектральная мощность излучения определяет цвет при нашем восприятии этого излучения.

И хотя цвет — это то понятие, которое неразрывным образом связано с наблюдателем: человеком или камерой, физический подход сейчас является наиболее многообещающим к нашей проблеме. В радиометрии давно умеют описывать спектры, поэтому разумно попытаться приложить её к вопросу цвета.

Именно таким путём пошло развитие цветовой науки в прошлом веке, когда была предложена первая модель формирования изображения. В этой модели предполагается, что воспринимаемый нами свет — это продукт взаимодействия объекта с излучением от произвольного числа источников освещения (в примере на рисунке ниже их два).

Эти источники освещения обладают какими‑то своими спектрами излучения $S_1(\lambda)$ и $S_2(\lambda)$ . Более того, каждый источник излучения можно параметризовать своей диаграммой направленности. Он может излучать свет во все стороны одинаково, может делать это направленно, как фонарики, а может вообще быть лазером, испуская тонкий монохроматический луч.

Двигаясь за векторами излучения, мы приходим к конкретной точке поверхности, где, собственно, и происходит процесс взаимодействия с объектом: красителем, кожей человека, пластиком — чем угодно. Всё, что нас окружает, и всё, что мы с вами в состоянии наблюдать, имеет некоторую отражательную способность, которая описывается с помощью спектральной двулучевой функции $f(\vec{n}_{in}, \vec{n}_{out})$ .

Наконец, сформированный отражением спектр, также называемый спектр‑стимулом, попадает на приёмник: либо человеческий глаз, либо некоторый сенсор или камеру. Каждый приёмник, как правило, можно описать с помощью спектральной функции — кривой чувствительности, которая связывает регистрируемый сигнал с интенсивностью излучения с определенной длиной волны.

Для разговора о цвете нас будет интересовать в первую очередь человеческий глаз, а конкретнее, три вида цветочувствительных клеток, называемых колбочками. Они локализованы в разных местах сетчатки, а также обладают различными кривыми чувствительности (см. рисунок ниже), которые можно объединить в трёхмерный вектор‑функцию $\vec{\chi}(\lambda)$ . По покрываемому диапазону их условно делят на синие, зеленые и красные.

Схема сетчатки и кривые чувствительности трёх типов колбочек. Источник: McGraw Hill, Human Anatomy and Physiology

Модель предписывает перемножить все указанные спектральные функции, просуммировать по источникам и проинтегрировать по длине волны в пределах видимого диапазона:

$\vec{c} = \int_{380}^{730} \sum_{i=1}^n S_i(\lambda) f(\vec{n}_{in}, \vec{n}_{out})\Phi(\lambda)\vec{\chi}(\lambda) d\lambda$

В результате мы получим некоторый вектор отклика размерности три, поскольку у нас три разных светочувствительных колбочки. И именно этот вектор дальше мы будем называть стимулом или тристимулом.

Если взглянуть на происходящее глазами математика, то мы увидим невероятно драматичную сюръекцию, в ходе которой бесконечномерное пространство спектральных функций отображается в трёхмерное евклидово пространство. Проще говоря, человеческий глаз добывает крайне мало информации из света, по сравнению с тем, что в нём заложено. Это приводит к целому ряду сложностей при интерпретации процесса восприятия.

Но подробнее об этих и других трудностях, стоящих на пути цветовой вычислительной фотографии, я расскажу уже в следующий раз.

Цветовая вычислительная фотография. Часть 1: Теория цвета