Pull to refresh

Comments 78

image

Вы шутите так, верно? То, что такое сильное увеличение похоже на оригинал уже чудо.

| На результате от RealESRGAN листья деревьев выглядят не только реалистично, но и более чётко чем в оригинале, что-то необычное.

эмм, чётче, или вы про резкость всё же ?

Оригинал — это оригинальное изображение, т.е. чётче исходного изображения.

Да да, позже дошло, даже отредактировать успел до вашего ответа )

Потрясающее исследование, просто поражает воображение! Хабр торт.
Хочется снять монокль и немного пошутить.

image

Когда немного перебрал :).

А, вот если серьёзно, то всякие истории фильмов, когда в отражении номера видят что-то уже не кажется такой уж глупостью.

Одной из мыслей у меня было, что можно даже из штучных пикселей получить достаточно большое количество информации, а с ИИ можно пойти даже дальше.

Не хотел бы я, чтобы по искуственно увеличеной фотографии меня в ментовку замели, из-за того, что фантазии искуственного интеллекта случайно немного похожи на мою рожу.

И вообще вопрос, насколько изображения полученые искуственным путем могут применяться для сличения. Боюсь тут очень долго не будет нормального законодательства. Или до громких прецедентов.

в целом с плохим законодательством фантазии сотрудника полиции для вас страшнее фантазий нейросети.

из-за того, что фантазии искуственного интеллекта случайно немного похожи на мою рожу.

Самое интересное, что большинство людей поверит компьютеру и *в принципе* не поймёт, где здесь "ха-ха"

Причем, в принципе, в основном будут склонны верить всякие.... кхм... гуманитарии. От судьи и прокурора до постовых полицейских.

увы эта информация будет недостоверной. номерок телефона с салфетки отражённой в пуговице вы так не восстановите.

нельзя тут не вспомнить фильм «Бегущий по лезвию» (1982).

но вы можете восстановить информацию какого номера там точно нет. И этим очень сильно сузить список возможных вариантов номеров. И если у вас есть ещё какие-то данные про этот номер, то в итоге вполне возможно что и восстановите.

некоторые варианты с некоторой степенью достоверности.. но только если от этого номера вообще хоть что-то осталось, я скорее про случай где номер превращается в пару пикселей неотличимых от артефактов сжатия.

Да, но не забывайте, что чтобы получить номер, нам не нужно восстанавливть изображение цифры. Нам достаточно восстановить саму цифру.
Если упрощая не нужно восстанавливать шрифт, которым написана эта цифра. Т.е. количество информации необходимое для восстановления номера сильно ниже, чем кажется на первый взгляд. из пары пикселей конечно не восстановить... но вот 4 пикселя на цифру может уже и достаточно.

номерок телефона с салфетки отражённой в пуговице вы так не восстановите.

Зависит от качества исходного изображения.

ну если номерок в пуговице на исходном фото кое как видно без апскейла то да поможет угадывать что там написано.

Если нейросеть обучать по голливудским фильмам, то первые три цифры (555) она будет восстанавливать достаточно хорошо.

А еще, она всегда будет знать, что на салфетке либо написан номер телефона, либо просьба о помощи, либо секретные данные, которые шпион вынужден передавать связному таким образом, но никак не каляка-маляка и не подсчет стоимости ужина в ресторане.

Так тут была статья с чудесными результатами восстановления строк символов низкого качества.

Проблема ИИ в том, что он "додумывает" недостающие детали, основываясь на своём "опыте", полученном при тренировке на эталонных изображениях". Это хорошо работает, когда эти детали просто создают атмосферу. Но если вам нужно получать информацию из этих деталей, то тут уже много вопросов возникает.

Как я понимаю, эти апскейлы можно представить, как работу художника, которому показали размытую картинку и попросили нарисовать на её основе чёткую. Он вполне может нарисовать очень красивую картинку, но какая надпись была на размытой дощечке, он не поймёт. Зато он каждый день ходит мимо бара с похожей надписью и воспроизведёт её.

Или другой пример - фотография человека с орденами. Апскейл вполне может поставить какой-нибудь случайный орден, похожий на исходный. Или художник, который не слишком разбирается во всём этом. Вот историк, который знает, когда эта фотография была снята, какие в то время были ордена, какие происходили события, может сделать более осознанную догадку. Но это уже не уровень текущих ИИ.

Да, на примере фотографии стены каменного дома очень хорошо видно, что алгоритм придумал текстуру.

Плюс за использование HTML таблиц с маленькими жипегами, вместо неприлично больших png картинок

Благодарю-с, загрузить 840 картинок — это было весело

Понимаю вашу боль. У меня в посте про вертолет была всего сотня картинок, но они все были относительно крупные, и к середине поста habrastorage через раз отказывался загружать картинку из редактора (а через свой веб интерфейс отказывался с самого начала).

Статья была сверстана с локальными картинками.
Потом картинки из каждой папки загружались в сторадж, ссылки сохранялись для каждой папки.
Потом скрипт по ссылке картинки определял нужный комплект и по индексу подменял на ссылку в сторадже.
Боль была в создании мотивации так заморочиться. Подействовал аргумент «иначе, всё поперепутаешь и будешь переделывать минимум дважды и перепроверять 10 раз»

картинки из каждой папки загружались в сторадж

Вот на этом этапе меня ждала самая большая боль, потому что пачка в N картинок обычно переставала загружаться на 2-3.

А вы не думали опубликовать этот скрипт?

И статья и скрипт живут внутри эзотерического редактора Leo Editor, код привязан к дереву статьи внутри редактора, так что никому это не пригодится)

p.s. Очень много и подробно писал про редактор тут

но иногда интересно косячит! из ваших же примеров, посмотрите на лица:



странно как-то

image

Господа! Те маленькие картинки в каждом примере это исходник с которого я увеличивал. Это невероятно малый размер. Лицо — это 12 на 12 точек. Потерпите еще два года, тогда будет уже чёткое лицо.

тогда будет уже чёткое лицо

Один вопрос - чьё?

А какая разница? Из 150 пикселей-то?
UFO landed and left these words here
А он точно нашел человека, а не оригинал картинки?
UFO landed and left these words here

такой сервис натренирован сильно в пользу лучше найти лицо там где его нет, чем пропустить там где оно есть, у апскейл сетки такой приоритет считается ошибочным, но да потенциал в улучшении определения лиц есть.

1. Он закрыт
2. Люди пилят и выкладывают свои версии, но без обучения на промышленных мощностях, это не имеет ценности для использования
С аниме, имхо, вайфу справилась лучше. RealESRGAN даёт слишком жесткие линии, что особенно заметно на лице Мотоко.

Я бы ещё сказал, что RealESRGAN старается везде подрисовать черные границы, даже там, где их нет.

Ценителям конечно виднее.

А если не ультрамаленький размер в нормальный, а нормальный в 4K?

image

Комикс в 1 Мб весом и кодировкой jpeg превращается в 80+ мегабайт png. Чуда не происходит, но качество значительно возрастает в основном за счёт удаления jpeg-шумов. Я ожидал, что будет значительно больше артефактов.

UFO landed and left these words here
Несколько моделей
Исходник -> upsc -> downsize (кроме модели x2)
Cпойлер
image
UFO landed and left these words here

Овершарп и в кадрах кино видно, а тут ИМХО самое показательное это машинки на трассе, чётко видна потеря детализации, и это плохо...

Женщину в красном можно было просто скачать из Матрицы в виде детализированной модели.
Остальное впечатляет — результаты, объём проведённых исследований, настойчивость и методичность при публикации.

Повышение качества изображения ведь кроме улучшения восприятия даёт возможность улучшать степень сжатия, устраняя шумы, занимающие в сжатом изображении большую долю. Особенно велик выигрыш будет для рисованных фильмов.

А если в видео восстановить модель заднего фона по всей сцене (газоны, дороги, стены и прочее преобразовать в «текстуры» и «градиенты»), то можно несущественный для восприятия сцены фон сжать значительно сильнее, чем с помощью традиционных алгоритмов, без существенного ухудшения качества результата.

Контрастные же объекты на переднем фоне после восстановления формы так и просятся быть векторизованными (сразу в 3D?), тогда последующий апскейл будет неактуален.
О, классно! Ссылка на тысячи статей про «Super resolution». Спасибо!

Интересно, как оно отработает на восстановлении видеофрагментов.

также как и все апскейлеры не учитывающие предыдущие и последующие кадры.

Хотелось бы больше примеров с темнокожими, мне показалось, что он слабо справляется с темной кожей. А у африканских лиц и биометрия другая. Вообще интересно насколько маленьким должна быть фотография чтобы ИскИн начал менять биометрию африканского лица на биометрию европеоида.

Спасибо. Мне кажется, или у лица появляются монголоидные черты?
Так и есть. При сильном недостатке информации алгоритм часто уходит в Азию. Разработка китайская, можно поспекулировать, что у них перекос в наборе обучения, но это мои домыслы, может это на самом деле приближение с наименьшей ошибкой.
Есть такое. А у Морфеуса — волосы на макушке:)

Все эти алгоритмы - хорошая вещь, но далеко не все справляются хорошо. Тот же Topaz Gigapixel меня не удивил, хотя я перебрал много алгоритмов. Но прогресс есть и это не может не радовать. Спасибо за статью.

Самая мощная модель, аналогичная той, что использовалась в данном сравнении, лежит почему-то в другом месте:
models-DF2K — это «official ESRGAN_x4»

Что-то у меня с этой моделью каша получается из картинки. Где бы взять модель которую Вы использовали?
мой результат
image
Ваша картинка сжата больше некоторого порога, который недоступен для программы, видно сетку сжатия, она начинает воспринимать её как информацию. Попробуйте models-DF2K_JPEG, но чуда не будет.
Эта картинка из архива realesrgan-ncnn-vulkan-20210901-windows.zip, на который ведёт ссылка из статьи. Конечно я пробовал и другие фото с этим модулем, результат один — такое вот крошево из кубиков. Если я использую другие модели, то всё получается хорошо (с разной степенью качества). Но мне хочется попробовать модель, которую вы использовали. Об этом и вопрос :)
Понятия не имею что было в голове у тех кто паковал этот exe. Но это возмутительно! Нашел исходник этой картинки, уменьшил до такого же размера. Вот.

Спойлер
image
image

Как можно заметить, текстуры в тему получаются только для кожи и волос. Остальное или замазывает градиентом или крупнозернистым шумом, который на вид хуже, чем если вообще не применять. Итого: лучше, чем Topaz Gigapixel, но смысла для чего-то, кроме lineart, не вижу. Думаю даже лучше было бы, если алгоритм сложные места не трогал, а работал только по четким участкам без текстур

У меня есть старая фотография куска газеты. Плёночная ещё. С очень нечётким текстом. Возьмётесь улучшить? Хочется прочесть если не текст, то хотя бы дату выпуска и заголовок.

Алгоритмы из статьи превратят всё в нечитаемую кашу, вам нужно смотреть в сторону deblur

Собственно, примерно этого я и ожидал. Но хотелось услышать подтверждение.

Подтверждаю, точное восстановление информации делается другими алгоритмами.

Попробуйте программу хабраавтора отсюда habr.com/ru/post/180393
smartdeblur.net

Будет ли работать RealESRGAN с изображениями большого разрешения ?

Например сделать из картинка 1920*1080 изображение 3840*2160 ?

Собственно в этом весь смысл. Если алгоритм справляется с низким разрешением, то с высоким подавно справится. На высоких разрешениях обычно возникает загвоздка с требованиями к видеопамяти, но в
алгоритм встроена хитрость: он может разбивать картинки на кусочки и обрабатывать их раздельно. Поэтому ничего не мешает сделать 4K.

А алгоритм запустится на процессорах M1 Max или требует отдельного GPU? У м1 как раз 64 гига видеопамяти.

Алгоритмы может и хороши, но перешарп итогового результата дикий. Вопрос только один. Авторы кода подслеповаты?!

Я все жду когда уровень сжатия видео дойдет до того что фильм скажем будет сжиматься в некий скрипт, где будет тайминг, описание движения объектов, их класс, движение камеры, описание эффектов и прочее. Чтобы приложив к такому фильму свой любимый набор актеров ,предметов, текстур подстроить его под себя. Хотят чернокожие фильм "властелин колец" с черными актерами - пожалуйста, а я например только с белыми, и сам выберу какой актер будет эльфом и т.п.

Да и в принципе книгу тоже ИИ сможет когда то превращать в фильм.

Это еще далекое будущее, но не нереальное.



Хм. А что, технология виртуальной камеры на Аватаре и Гравитации отработана, пора в «матрёшку» добавлять потоки геометрии сцены, перемещения камер и света, физики и т.д.

Как обошлась статья про работу с изображениями без нестареющей классики?

Кто то сам пробовал уже, действительно ли реально получить такое качество на выходе при увеличении? Сейчас очень надо как раз…

В статье только мои личные эксперименты.

Only those users with full accounts are able to leave comments. Log in, please.