"Истинные" фотолюбители и профессионалы все еще ухмыляются при упоминании фотографий, сделанных современными смартфонами. Пока это оправданно, однако разрыв между камерами смартфонов и фотоаппаратами стремительно сокращается в большинстве видов фотосъемки. Особенно впечатляет прогресс в т.н. компьютерной фотографии. Т.е. в методах обработки изображений с помощью продвинутых алгоритмов. Особенно перспективным представляется использование технологий искусственного интеллекта в различных его реализациях. Это может быть нейронная сеть (нейросеть), обученная на массиве актуальных образцов. Так работают, например, плагины Retouch4me. Обучение проводит разработчик, пользователь улучшить модель не может. Значительно интереснее приложения, которые обладают начальными элементами искусственного интеллекта в смысле итеративного улучшения применяемых методов на массиве данных пользователя.
В этом материале я хотел продемонстрировать новые возможности, открывающиеся перед фотолюбителями при использовании приложения Topaz Gigapixel AI. Напомню, AI - это Artificial Intellect, т.е. искусственный интеллект.
На нашем сайте есть публикации, посвященные этому интересному инструменту. Но они в основном об апскейле и улучшении качества видео. Есть специализированные материалы о получении гигантских изображений, пригодных для печати постеров (задников и пр.) огромных размеров. Я же говорю о повседневной практике обычного фотолюбителя с небезграничным бюджетом.
Я использую это программу в различных сценариях. Основным является увеличение небольших фрагментов фотографии.
Вот исходный кадр:
Сделан он на фотокамеру с датчиком 24 мпикс формата APS-C (т.н. "кроп") с объективом 50 мм. Т.е. эффективное фокусное расстояние (ЭФР) составило 80 мм. Я заметил эту сцену, но не имел ни телеобъектива, ни времени подойти поближе. Но я уже держал в голове возможности этой программы, поэтому нажал кнопку "Спуск".
Итак, запускаем программу Gigapixel AI и перетаскиваем из папки исходный файл (в моем случае формата cr2):
Требуемые настройки описаны ниже (на рисунке выше обозначены цифрами):
Zoom (зум, масштаб). Из раскрывающегося списка удобно выбрать опцию Zoom to Fit, фото будет отображено полностью.
Crop (обрезка, кроп), см. ниже.
Scale (масштаб). В нашем случае требуется увеличение, поэтому выбираем 4х. Если требуется повысить качество изображения с многопиксельной матрицы, то можно выбрать 0.5х (т.е. уменьшить). Важно помнить, что пересчет занимает много времени, а файл получается большим (100 мб и более), поэтому не стоит ставить "с запасом". Внизу в желтой рамке показано, что исходный кадр имеет размер 4020х6024 пикселей, после увеличения в 4 раза это составит 16080х24096 пикс. Напомню, на данном этапе еще не выполнена обрезка, поэтому отображается размер исходного файла.
Используемая модель ИИ (AI Model). Опытным путем я пришел к преимущественному использованию модели Low Resolution. Для геометрии (здания, много прямых линий) хорошо подходит модель Lines. Попробуйте различные варианты сами. Программа автоматически подгружает выбранную модель из сети.
Настройки модели (Settings). Я советую использовать режим Auto. При этом если вы вручную измените настройки, режим автоматически переключится в "ручной".
Дополнительные настройки (Additional Settings). Здесь имеет смысл в зависимости от содержания изображения включать/выключать настройку Face Refinement. Опция Reduce Color Bleed у меня включена всегда.
Auto-update preview (автоматическое обновление превью). Если она включена, программа немедленно начнет пересчитывать фото в соответствии с последними использованными настройками на тот фрагмент фото, который отображается на превью сразу после загрузки фото. Это неудобно, поэтому ее лучше сразу отключить. Тогда программа запускается вручную, кнопкой Update.
После всех настроек, перед нажатием на кнопку Update (№7) можно и нужно кадрировать изображение. В т.ч. для сокращения объема вычислений. Для этого необходимо нажать кнопку "Crop" (№2). Откроется окно:
Можно выбрать настройку Aspect Ratio (№1). Я всегда использую опцию Free. Затем обычным порядком необходимо скадрировать требуемый фрагмент (№2). Для завершения настройки нажмите Apply (№3). Откроется основное окно программы:
Достаточно нажать уже упомянутую выше кнопку Update справа вверху (выделена красным), программа начнет пересчет изображения.
После окончания процесса окно приложения примет вид:
Необходимо выгрузить изображение, нажмите кнопку Save Image (выделена красным). Откроется окно настроек сохранения:
Программу можно и нужно использовать для улучшения файлов в формате jpeg, тогда и выгружать лучше в нем же. У меня исходный файл в формате raw, поэтому я использую в данном случае tiff. Можно выбрать глубину цвета, сжатие, имя файла, профиль цвета и папку для выгрузки. В конце нажмите Save. Начнется процедура выгрузки:
Прогресс отображается в виде синей полоски, выгрузка может занимать несколько минут (внизу справа есть кнопка Cancel, на рисунке не показана). Обратите внимание, что указаны уже размеры нашего фрагмента, а не всего фото. Итоговое разрешение 3749х4972, что вполне достаточно для любой дальнейшей обработки в высоком качестве.
Когда процесс выгрузки завершится, экран примет вид:
Можно переходить к следующему кадру. Перед этим удобнее предыдущий кадр закрыть (он будет мешать, вы можете запутаться), для этого нажмите кнопку "-" (выделена красным). Экран приложения примет исходный вид.
После этого полученный файл в папке на диске можно открыть и обработать в привычном для вас редакторе. Я использую Lightroom:
Поскольку изображение высокого качества, а кадрирование было сделано точно, достаточно нажать кнопку Auto (желтым на рисунке выше). Экспортируем изображение в файл jpeg размером 900 пикс по длинной стороне. Ниже показаны варианты этого фрагмента: слева прямо из Lightroom (кадрирование и кнопка Auto, без использование приложения Gigapixel AI); справа - с использованием приложения:
Обратите внимание на структуру волос, железных заграждений желтого и красного цвета, детали здания на заднем плане, структуру камня ступенек, детали обуви и пр.
Важно, что приложение может выполнять пакетную обработку. Для этого достаточно выделить в папке "Проводника" интересующие файлы и перетащить их в окно. (Естественно, вначале на одном снимке нужно выполнить все настройки.) Нажмите кнопку Save Image, программа начнет работу, а на экране будет отображаться список файлов и ход обработки
Сами файлы будут в указанной папке выгрузки. Таким образом я улучшил, например, отсканированные старые фотографии, более 200 шт. Программа отработала без сбоев, но времени уходит порядочно, десятки минут на 40 сравнительно небольших файлов. Подчеркну, что приложение не удаляет дефекты отпечатков, я выполнял процедуру для повышения четкости и увеличения размера одновременно. Даже на 816 файлах (см. рисунок выше) программа работает хорошо.
Кроме увеличения небольших фрагментов, программа показывает хорошие результаты и в других сценариях.
Например, повышение разрешения кадров, сделанных на телеобъектив:
Это снимок Замоскворечья на ЭФР=400 мм, вверху исходный файл из камеры, внизу после обработки. Программа позволяет компенсировать влияние атмосферы.
Еще один сценарий - улучшение шумных кадров, сделанных при недостаточном освещении:
Получить такое разрешение и плотную структуру изображения на ISO=4000 непросто. Заметьте, тут используется не обычный "шумодав", а другой алгоритм.
Изображение можно последовательно обрабатывать в приложении любое потребное число раз до достижения желаемого результата. Я полагал, что это очевидно. И уже описано здесь в другой статье. Но, судя по комментариям, нужно пояснить.
Резюме. Приложение позволяет расширить доступный круг сюжетов. Безусловно, смазанный снимок уже ничто не спасет, поэтому исходник должен быть качественным. Зато теперь
я получаю телеобъектив из "полтинника" (т.е. увеличиваю ЭФР на 50-75-100% без потери качества)
могу снимать не в идеальных условиях прозрачности воздуха (например, в городе летом)
могу поставить более широкую "вилку" автовыбора чувствительности (ISO) в настройках камеры по умолчанию
Снимки на смартфон в формате jpeg также выглядят заметно лучше после такой обработки и все сказанное в предыдущем абзаце также относится и к ним.
Для меня остался открытым вопрос о возможности самообучения программы на моих снимках. С одной стороны, она явным образом загружает модель из сети. С другой, если первые несколько кадров на выбранных настройках она обрабатывает минуты, то затем они появляются практически мгновенно.
Я привел пример лишь одного доступного приложения. Надеюсь, коллеги в комментариях дополнят мое изложение. Тема актуальна для практиков. Ну, и не хотелось бы, чтобы "классическая" цифровая фотография "тормозила" в использовании новых методов обработки/улучшения изображения