Comments 30
Вы не могли бы увеличить вот эту картинку в 4 раза - https://hsto.org/webt/xv/zw/od/xvzwodokw610bekzpw6qfinenqc.jpeg ?
Мне для экспериментов интересно.
Держите, только ради удовлетворения вашего любопытства. (Все в авторежиме).
https://habrastorage.org/webt/9q/_f/gg/9q_fggxif2ctamg883hgp9t_cwc.jpeg
Это использование проги 2 раза последовательно с кропом и увеличением в 4 раза
Не для "улучшения", а для "автоматической дорисовки деталей" только.
Никакой AI не может добавить реально существующие в сцене детали, которые не были зарегистрированы камерой.
Но алгоритм способен спрятать негативные детали, которые заметны глазу и сделать их менее заметными, тем самым улучшить качество фотографии.
Вы еще скажите, что вас RGB кодирование не устраивает, ибо реальный свет растянут по всему спектру. Мол, никакая цифровая техника не сможет сгенерировать цвет, ибо цвет вокргу нас представлен в непрерывном спектре.
"Но алгоритм способен спрятать негативные детали..."
Примеры из статьи и личный опыт этого не показывают. В статье сравнивается "сырое изображение" и доработка программой. Просто lightroom и быстрое редактирование сделает лучше. Причем за время сравнимое с "рендрингом" этой программой.
https://habrastorage.org/webt/ya/st/ml/yastmlswfc6srn3ukdmvrxnmtdq.jpeg
Вот вам пример обработки в lightroom "исходного изображения", причем смею заметить - пережатого jpg, выгруженного из статьи. С исходным raw файлом можно сделать гораздо больше.
Вы, конечно, сравнили. Ручную обработку с автоматической.
Много у вас пользователи будут по лайтруму шарится, прежде чем поделиться с кем-то фоткой?
Во-вторых, фотография -- это уже давно не один снимок, между открытием и закрытием затвора. И там-то уж явно побольше информации, чем в единственной картинке, которую вы в лайтруме будете вытягивать.
Чего гадать, возьмите вытащите с телефона единственный raw и сравните с тем, что сам телефон собирает, когда вы нажимете "сделать фотографию".
Но алгоритм способен спрятать негативные детали, которые заметны глазу и сделать их менее заметными, тем самым улучшить качество фотографии.
Ага
Во-первых, если речь идет об "AI", это не "алгоритм" в классическом смысле слова, потому что он неинтерпретируем. Во-вторых, если вы говорите об устранении шумов или каких-то иных искажений - вместе с ними удаляется и полезная информация (пусть и немного), так что "улучшение" - полностью субъективно. В-третьих, статья рассказывает как раз о "чудесной" дорисовке, а вовсе не о de-noise или о чем-то подобном.
Ваш второй абзац - это классика аргумента подмены тезиса, даже разбирать это смысла нет.
Он не только достраивает. Если исходное фото было очень качественное, и его уменьшила, например, соц сеть, то действительно восстанавливаются детали. А если исходное фото и так маленькое, то при увеличении получится каша
то действительно восстанавливаются детали
Пример, пожалуйста.
Вот
Детали явно восстановил. Это фото было снято на професиональную камеру, но было залито в инстаграм. Понятное дело, что эти детали были в исходном изображении, но человеческий глаз их там никак не воспринимает. Поэтому програма полезная
К сожалению, неудачный пример, где оригинальное фото само по себе плохое, я привести не могу, так как не сохроняю такие фото. Тут выше был пример с машиной, там результат выдает примерно такой
Если надо, могу скинуть полную версию того фото с котом
Да, это очень неудачный и неубедительный пример, потому что добавлено больше мусора чем деталей (цветные пятна на пересечении глаза и усов, например). Если изображение размыто, восстановление деталей, до определенной степени, возможно, потому что функцию размывания можно обратить. Если детали удалены - нет. "Профессиональность" камеры тут не при чем вообще. Но да, в чудеса многим хочется верить.
А так
Неужели все еще не видно деталей? Ну вы раскройте картинку, и посмотрите! Где на второй картинке пара десятков слегка отличающихся по оттенку пикселей, там на первой - полноценная текстура и граница! Например рот, нос, граница глаза и уха. Из далека мозг особо не замечает, но если смотреть на пиксели, то результат на лицо
Конечно не идеально. Но достаточно хорошо. К тому же, мы говорим про то, что идет честное восстановление деталей из уменьшенного изображения, а не только додумка нейронной сети, а не про идеальное качество.
Расскажу, что было бы подтверждением действительного восстановления утраченных деталей.
Берем исходное изображение, уменьшаем его, скажем, в два или четыре раза по длине стороны, сохраняем в JPEG, далее - прогоняем через "чудесный восстановитель деталей" с увеличением до исходного разрешения. А теперь берем и накладываем получившееся на исходное с режимом наложения Difference (в любом граф. редакторе со слоями есть такое) и наблюдаем результат. Если изображение действительно "восстановлено", результатом будет практически сплошное черное поле. Если изображение правдоподобно дорисовано, чтобы имитировать отсутствующие детали, увидим "тени" вокруг контрастных деталей, псевдослучайный шум, "звон" (повторяющиеся периодические тени) и, простите, какое-нибудь лицо обезьяны (как в приведенной по ссылке в другом моем комментарии статье).
Далее, используя сравнение гистограмм и численной статистики получающихся дифференциальных изображений, можно сравнивать, на сколько близко к оригиналу оказалось "восстановленное" изображение. Дополнительной метрикой может служить сравнение такого изображения с тем, которое было использовано, как исходник для восстановления, приведенным к оригинальному разрешению либо без интерполяции, либо с какой-то простой интерполяцией, стандартной для графических редакторов.
Имитация деталей не равна их восстановлению. Чтобы считаться восстановленными, детали должны совпадать с оригиналом. Иначе, они дорисованы.
Немедленно попробовал программу. Ну не знаю...просто в lightroom с помощью резкости и шумодава получается на мой взгляд лучше. Даже ваш пример с девушкой - левой фотографии не хватает немного резкости, на правой же появились артефакты на заднем плане.
Почитал статью и оживился, решив, что это отличный инструмент, чтобы дать вторую жизнь фотографиям снятым на старую мыльницу из 2005 года - низкое разрешение, много шума. По факту просто поменялось расположение шумов.
Пожалуй, дам ссылку на более полезную статью https://habr.com/ru/post/439766/
Ну и на статью, ссылку на которую пора лепить в автоматическое предупреждение от НЛО для статей про "улучшение изображений". https://habr.com/ru/post/490620/
Спасибо всем откликнувшимся (неравнодушным)
*
Возможно, я неточно сформулировал/позиционировал место этого приложения в workflow. Дополню.
*
Приложение не выдает сразу шикарный результат. Это промежуточный этап, который позволяет создать "запас" для дальнейшей обработки без появления неприятных артефактов и шума.
Т.е. я загружаю нужный РАВ в прогу, получаю улучшенный вариант - и уже его загружаю/обрабатываю/храню в Лайтрум. А уже дальше могу делать по желанию, в т.ч. обрабатываю под конкретный замысел другими фильтрами, в ФШ и пр.
Я не говорил и не говорю, что на выходе из этой проги получается "шедевр". Повторюсь, это лишь "запас мощности" на дальнейшую обработку.
*
Лично я вижу проблему в том, чтобы "правильно" скомбинировать инструменты обработки, чтобы они в комплексе давали синергию, а не "спорили" друг с другом. Так вот, на выходе из этого приложения получается полупродукт, который хорошо обрабатывается далее в моем workflow. С моей точки зрения, это значимое улучшение.
*
Ну и не надо, конечно, все кадры гнать через него. Это считанные единицы, особые случаи.
Окей, если "не все" кадры гнать, то возникает вопрос - какие нужно, а какие - нет?
Так художник выбирает, что ему нужно. Это не технарская статья, это заметки фотолюбителя о полезном улучшении его личного workflow.
*
Хороший пример с авто. У меня похожий случай - сделал фото березовой рощи на острове в Измайлово. Более 10 лет назад. Исходник утерял, остался крохотный кадр на flickr. Скачал, пропустил - можно показать онлайн (ессно, на большой формат уже не потянет). Сканы мелких отпечатков типа 9х12 и меньше.
*
Вы посмотрите поиском, здесь для этого приложения был описан прием повторной обработки одного кадра столько раз, сколько нужно. Ну и другие инструменты можно и нужно использовать. Это, повторюсь, лишь "полуфабрикат".
Спасибо и успехов:)
@Moskus говорит правильные вещи. Нейросеть может дофантазировать детали. Это дофантазирование может быть очень убедительным (чем дальше, тем лучше становятся нейросети). Но это именно фантазирование, а не восстановление фотографии.
Я развлекался с GAN сетью цифрового увеличения esrgan, анализировал результаты. Чудес не бывает. К примеру нейросеть "видит" волосы и пытается их прорисовать. И в части случаев их убедительно рисует, но они не точно такие же, как на оригинале (просто похожие). Ещё хуже обстоят дела с мелкими незнакомыми текстурами. К примеру на девушке свитер ручной работы. Фото низкого разрешения и на свитере не видны детали. После увеличения мы можем получить как причудливый узор, так и монотонный участок (всё зависит от кадрирования фото, обучения и настроек нейросети).
@Elpi "Прием повторной обработки одного кадра столько раз, сколько нужно" в подавляющем большинстве случаев многократно усилит артефакты (в фаре мы увидим лицо железного дровосека или что похуже). Если при увеличении классическим бикубиком или сплайнами артефакты минимальны и как бы размазаны по всему фото, то в случае с нейросетевым увеличением какие-то участки фотографии могут быть весьма достойно увеличены, а какие-то жутко искажены (и при беглом просмотре их можно пропустить, не обратить внимание). Для художественной обработки фотографий это подходит. Более того, можно получить необычные забавные эффекты.
Компьютерная фотография для фотолюбителя на примере Gigapixel AI