Что же такое HDR?
Эта сложность возникает не только у вас — HDR сбивает с толку множество людей. В этом посте мы наконец объясним, что же такое HDR, расскажем о проблеме и трёх способах её решения.
В прошлом году мы объявили о добавлении в наше приложение для работы с изображениями фотографий с HDR, или «High Dynamic Range». Большинство пользователей это порадовало, кого-то сбило с толку, а некоторые проявили откровенное беспокойство. Это связано с тем, что HDR может означать два разных, хотя и близких, понятия.
Первый HDR — это «режим HDR», появившийся у камеры iPhone в 2010 году.
Второй HDR касается новых экранов, отображающих более яркие и детализированные изображения. Если вы покупали недавно телевизор, то наверняка видели подобные наклейки:
В этом посте наконец-то представлено объяснение того, что же такое HDR на самом деле, связанные с ним проблемы и три способа их решения.
Что такое динамический диапазон (Dynamic Range)?
Давайте начнём с проблемы, возникающей в реальном мире. До появления смартфонов было невозможно делать снимки закатов простыми камерами-«мыльницами». Как бы вы ни крутили настройки, всё оказывалось или слишком ярким, или слишком тёмным.
На этом фото проблема связана с разными уровнями освещения неба и зданий в тени: первое испускает в тысячи раз больше света, чем вторые. Наши глаза замечательно могут воспринимать и тот, и другой уровень. Камеры же умеют работать с совокупным ярким освещением или с совокупным слабым освещением, но испытывают трудности со сценами, где есть очень тёмные и очень яркие пятна.
Под динамическим диапазоном подразумевается различие между самыми тёмными и самыми яркими частями сцены. Например, это туманное утро — пример сцены с низким динамическим диапазоном, потому что всё в ней имеет сероватый оттенок.
Большинство снимков не настолько уходит в крайности и не состоит только из ярких рассветов или туманных утренних кадров. Мы говорим, что такие сцены имеют «стандартный динамический диапазон» (standard dynamic range, SDR).
Прежде, чем двигаться дальше, стоит подчеркнуть, что проблема HDR затрагивает не только камеры. Даже если бы у нас была идеальная камера, способная полностью передавать то, что видит человек, большинство экранов не обеспечивает достаточного контраста, сопоставимого с реальным миром.
В чём бы ни заключалось «узкое место», если сцена содержит больший динамический диапазон, чем поддерживаемый камерой или экраном, мы будем терять светлые участки, тени, или и то, и другое.
Решение 1: «режим HDR»
В 1990-х исследователи разработали алгоритмы, позволявшие работать с проблемой динамических диапазонов. Сначала алгоритмы делали множество фотографий с разными настройками, чтобы зафиксировать больше ярких пятен и теней:
Затем алгоритмы объединяли всё в единое «фото», соответствовавшее человеческому зрению... бесполезное, потому что экраны компьютеров не могли отображать HDR. Поэтому эти исследователи разработали и алгоритмы для преобразования значений HDR под экран SDR. Они назвали это тональной компрессией (Tone Mapping).
Эти алгоритмы вскоре появились и в коммерческом ПО для фанатов камер.
К сожалению, подобное ПО требовало кучи настроек, а многим фотографам в середине 2000-х, скажем так… не хватало сдержанности.
Даже если не учитывать вкусовщину, среднестатистическому пользователю не хочется возиться с ползунками. Большинству хочется нажать на кнопку и, особо не задумываясь, получить фотографию, похожую на то, что они видят. Поэтому Google и Apple внесли дополнительные изменения в свои приложения камер.
Камера вашего современного телефона сначала делает серию фотографий с различными уровнями яркости, как показано на снимках выше. Из этой серии фото приложение вычисляет HDR-изображение, но, в отличие от старого коммерческого ПО, оно применяет сложную логику и ИИ, чтобы выполнить тональную компрессию за пользователя.
Apple и Google назвали это «HDR», потому что «HDR-воссоздание с последующей автоматической тональной компрессией» звучит не так привлекательно. Но стоит уточнить, что HDR, добавленный в iPhone в 2010 году, не был HDR. Получавшийся JPEG был SDR-изображением, пытавшимся воссоздать то, что вы видите глазами. Возможно, стоило назвать его «режимом фальшивого HDR».
Знаю, это звучит немного по-педантски, но если вы считаете, что ненавидите HDR, то стоит запомнить, что настоящий виновник — это плохая тональная компрессия. Это плавно переносит нас к…
Первой негативной реакции на HDR
С течением лет Apple разрабатывала всё более качественные алгоритмы для своей камеры, в частности, Smart HDR и Deep Fusion. Из-за этого мы опасались, что наше приложение потеряет популярность. Кому нужна ручная настройка, если ИИ может справиться лучше?
Однако, к нашему удивлению, произошло обратное. Телефонные камеры становились всё умнее, а пользователи начали просить нас отключить их возможности. Примером ошибок алгоритмов может стать эта странная кайма вдоль лица моего сына Итана.
Проблемы возникали из-за того, что для работы Smart HDR и Deep Fusion требовалось сделать камерой iPhone серию снимков и объединить их, сохранив лучшие части. Иногда этот процесс даёт сбои. Но даже если алгоритмы справляются хорошо, они имеют свои минусы.
Взгляните на эти фотографии, которые я сделал на Галапагосских островах: версия ProRAW, в которой используются алгоритмы обработки серии снимков, выглядят более размазанными, чем один кадр, который я сделал за несколько секунд до этого.
Что же тут, скорее всего, происходит? Когда элементы кадра перемещаются в процессе съёмки серии фотографий (а это неизбежно происходит при фотографировании с рук), этим алгоритмам приходится слегка сдвигать пиксели, чтобы выровнять кадры. Из-за этого приходится жертвовать детализацией.
Но что, если я скажу вам, что нам не нужно идти на такие компромиссы? Аналоговым фотографам удавалось каким-то образом снимать HDR ещё в 1857 году!
Энсел Адамс, один из самых уважаемых фотографов 20-го века, был мастером съёмки драматичных сцен с высокими динамическими диапазонами.
Ещё больше поражает то, что всё это он делал на бумаге, обладающей ещё меньшим динамическим диапазоном, чем экраны компьютеров!
Изучив эти аналоговые методики, мы придумали однокадровый процесс для работы с HDR.
Как нам удалось сделать это за один кадр? Чтобы ответить на этот вопрос, нужно вернуться назад во времени.
Учимся у аналога
В эпоху негативов фотография была трёхэтапным процессом.
Съёмка сцены на плёнку
Проявка плёнки в лаборатории
Перенос плёнки на бумагу
Эти этапы важно проанализировать, потому что (вот неожиданный поворот!) плёнка — это носитель с высоким динамическим диапазоном. Мы теряем динамический диапазон только при переносе фотографии с негатива на бумагу. Поэтому во времена до появления Photoshop фотографы-умельцы методикой «dodge and burn» сохраняли детали при переносе.
Будет ли искажением фотографии «dodge and burn»? Согласно The Print Энсела Адамса:
Если вы создаёте снимок, то не только создаёте, но и воссоздаёте. Готовое полученное изображение, по словам Альфреда Штиглица, раскрывает то, что вы увидели и почувствовали.
Я склонен с этим согласиться. Не думаю, что люди отвергнут обработку фотографий, будь то «dodge and burn» или настройка алгоритмов со множественными выдержками. Проблема в том, что алгоритмы — это не художники.
ИИ не может читать ваши мысли, поэтому никогда не учтёт ваши устремления. Например, на этом снимке мне хотелось резкого контраста между светом и тенью. ИИ решил, что сделает мне одолжение, утянув все детали в тень, сделав при этом изображение плоским.
Даже когда тональная компрессия может помочь фото, ИИ способен зайти слишком далеко, создавая гиперреалистичные изображения с эффектом «зловещей долины». Машины не могут анализировать ваше видение и не имеют хорошего вкуса.
Мы считаем, что можно использовать другой подход.
Другой подход: однокадровая тональная компрессия
Проведя длительные исследования и эксперименты, мы создали алгоритм тональной компрессии, схожий с «dodge and burn» аналоговой фотографии. В чём его уникальность? Во-первых, он обрабатывает единственный кадр, а не использует решение с множественной экспозицией, при которой теряются детали. Хотя один снимок не может достичь динамического диапазона человеческого зрения, динамический диапазон хороших датчиков камер приближается к диапазону плёнки.
Наш алгоритм не просто заключается в том, чтобы поместить фотографию в редактор и перетаскивать ползунки «тени» и «яркие участки». Он старается максимально сохранить локальную контрастность.
В нашем редакторе есть ползунок выдержки для настройки общей яркости. Но справа есть и единая настройка, уменьшающая или увеличивающая динамический диапазон. Мы считаем. что только фотограф может решать, что ему подходит больше.
Решение 2: настоящие HDR-дисплеи
Я так подробно объяснял разницу между HDR и тональной компрессией, потому что... барабанная дробь... современные экраны имеют HIGHer DYNAMIC RANGE!
Признаю, что лучшие современные экраны всё равно не могут сравниться с динамическим диапазоном в реальной жизни, но они всё равно намного лучше, чем в прошлом. Посмотрите несколько минут завораживающие скринсейверы Apple TV в HDR, и вы поймёте, почему этот переход ощущается столь же значимым, как переход с аналогового телевидения на HDTV. Но почему спустя девять лет после появления HDR-экранов мир всё ещё не перешёл на них?
Серьёзная проблема заключается в том, что для апгрейда инфраструктуры телевидения, кинематографа и фотографии требуются миллиарды долларов (и куча времени). Для сравнения скажу, что для достижения критической массы HDTV потребовалось больше десятка лет.
Ещё одна проблема заключается во вкусе. Как и в случае со специями, которые не должны перебивать вкус блюда, мы не хотим, чтобы HDR забивал всё. Из-за пестроты плохого HDR многие авторы фильмов испытывают смешанные чувства к этой технологии. Совсем недавно кинооператор Стив Йедлин опубликовал двухчасовую лекцию о недостатках HDR в реальном мире.
Если вы хотите увидеть, насколько плохи могут быть HDR-дисплеи, взгляните на авторов онлайн-контента. Когда-то эти жадные инфлюэнсеры поняли, что если сделать видео дискомфортно яркими, люди будут приостанавливаться при просмотре ленты Instagram. Из-за такого злонамеренного использования яркости некоторые люди полностью отключают HDR.
Я считаю, что исходя из всех этих причин, HDR может оказаться ещё одной тупиковой технологией из 2010-х, наподобие с 3D-телевизорами. Однако Apple оказалась лучшим «продажником» HDR, ведь iPhone уже многие годы снимают и отображают HDR.
Вопросы совместимости
Сделав потрясающее HDR-фото, вы, вероятно, задаётесь вопросом, где его сегодня можно посмотреть. Хорошая новость для вас заключается в том. что HDR поддерживают все iPhone, выпускаемые уже в течение долгого времени. Просто он не всегда доступен.
Как мы говорили выше, некоторые пользователи отключают HDR, потому что он их слепит, но даже когда он включен, он включен не всегда. Так как HDR потребляет больше энергии, iOS отключает его в режиме низкого энергопотребления. Кроме того, он отключается при использовании телефона на ярком солнечном свете, чтобы можно было максимально расширить яркость SDR.
Ещё большая проблема заключается в том, где выложить фото онлайн. К сожалению, большинство браузеров не может обрабатывать HDR-фотографии. Даже если вы закодируете HDR в JPEG, браузер может исказить фотографию или снизив контрастность, или сделав всё визуально плоским, или урезав яркие области, превратив снимок в аналог уродливых кадров плохих цифровых камер из 1990-х.
Но как же мне удалось показать эти примеры HDR? На самом деле, это короткие HDR-видео. Чтобы обойти ограничения браузеров, приходится идти на подобные дурацкие хаки.
До недавнего времени лучшим способом просмотра HDR было нативное приложение Instagram для iPhone. Хоть Instagram — это самое популярное место для показа фотографий... это всё-таки Instagram. К счастью, ситуация меняется.
В iOS 18 начали применять подход к HDR компании Adobe, который Apple назвала «Adaptive HDR». В этой системе фотографии хранят в одном файле информацию и SDR, и HDR. Если приложение не знает, что делать с информацией HDR, или не умеет рендерить HDR, то откатывается к SDR. Это работает и с JPEG!
Поддержка браузерами уже на подходе. Google нанесла удар Apple своей собственной версией Adaptive HDR, которую назвала Ultra HDR; её поддерживает теперь Android 14. Разработчики Safari добавили поддержку HDR в свой developer preview, а затем отключили её из-за багов в iOS.
Кстати, о багах в iOS: HDR-фотографии иногда неправильно рендерятся и в собственном приложении Photos компании Apple! При этом странно, что они отлично рендерятся в Instagram и в других сторонних приложениях. Мы отправили Apple отчёт о баге, но из-за специфики процесса выпуска ПО Apple вряд ли увидим исправление раньше iOS 19.
Решение 3: использовать SDR
Как говорилось выше, некоторые пользователи предпочитают SDR, и это вполне нормально. Думаю, это больше связано с эстетикой lo-fi и затрагивает парадоксальность фотографии. Иногда менее реалистичное фото привлекательнее.
Но разве фотографии не должны отражать реальность? Если бы это было так, все бы пользовались пинхол-камерами, обеспечивающими съёмку всего в резком фокусе. Если бы фотография была про реализм, никто бы не снимал на чёрно-белую плёнку.
Возьмём для примера HDR-фотографию моего отца.
Снято в ProRAW
HDR проявляет все морщины и поры кожи на его лице, а яркие участки белого на его бороде привлекают слишком много внимания. Аналогично тому, как можно использовать неглубокий фокус на предмете, в этой ситуации менее динамический диапазон кажется лучше гиперреализма. Рассмотрим версию с отключенным HDR.
Мы считаем, что динамический диапазон — очень важный фактор для передачи красоты аналоговой фотографии в цифровую эпоху.
Мы считаем, что тональная компрессия — бесценный инструмент, возникший сотни лет назад. Мы думаем, что HDR-дисплеи обладают потрясающим потенциалом для создания невиданных ранее изображений. Мы предвидим будущее, в котором SDR и HDR сосуществуют бок о бок. У автора должен быть выбор, использовать ли тональную компрессию, HDR или любое их сочетание. Это художественный выбор, а художник не обязан быть алгоритмом.
Мы думаем, что будущее закатов будет ярким.