Comments 79
Статья, развивающая поднятую тему.
А также анимация от Google Brain Team:
В sample 03 совсем другая эмоция на губах. Какой-то Сильвестр Сталоне проявился. А вообще шикарная статья на тему достоверности восстановления https://habr.com/ru/post/490620/
| На результате от RealESRGAN листья деревьев выглядят не только реалистично, но и более чётко чем в оригинале, что-то необычное.
эмм, чётче, или вы про резкость всё же ?
Хочется снять монокль и немного пошутить.
Когда немного перебрал :).
А, вот если серьёзно, то всякие истории фильмов, когда в отражении номера видят что-то уже не кажется такой уж глупостью.
Одной из мыслей у меня было, что можно даже из штучных пикселей получить достаточно большое количество информации, а с ИИ можно пойти даже дальше.
Не хотел бы я, чтобы по искуственно увеличеной фотографии меня в ментовку замели, из-за того, что фантазии искуственного интеллекта случайно немного похожи на мою рожу.
И вообще вопрос, насколько изображения полученые искуственным путем могут применяться для сличения. Боюсь тут очень долго не будет нормального законодательства. Или до громких прецедентов.
увы эта информация будет недостоверной. номерок телефона с салфетки отражённой в пуговице вы так не восстановите.
но вы можете восстановить информацию какого номера там точно нет. И этим очень сильно сузить список возможных вариантов номеров. И если у вас есть ещё какие-то данные про этот номер, то в итоге вполне возможно что и восстановите.
некоторые варианты с некоторой степенью достоверности.. но только если от этого номера вообще хоть что-то осталось, я скорее про случай где номер превращается в пару пикселей неотличимых от артефактов сжатия.
Да, но не забывайте, что чтобы получить номер, нам не нужно восстанавливть изображение цифры. Нам достаточно восстановить саму цифру.
Если упрощая не нужно восстанавливать шрифт, которым написана эта цифра. Т.е. количество информации необходимое для восстановления номера сильно ниже, чем кажется на первый взгляд. из пары пикселей конечно не восстановить... но вот 4 пикселя на цифру может уже и достаточно.
номерок телефона с салфетки отражённой в пуговице вы так не восстановите.
Зависит от качества исходного изображения.
Если нейросеть обучать по голливудским фильмам, то первые три цифры (555) она будет восстанавливать достаточно хорошо.
А еще, она всегда будет знать, что на салфетке либо написан номер телефона, либо просьба о помощи, либо секретные данные, которые шпион вынужден передавать связному таким образом, но никак не каляка-маляка и не подсчет стоимости ужина в ресторане.
Так тут была статья с чудесными результатами восстановления строк символов низкого качества.
Плюс за использование HTML таблиц с маленькими жипегами, вместо неприлично больших png картинок
Понимаю вашу боль. У меня в посте про вертолет была всего сотня картинок, но они все были относительно крупные, и к середине поста habrastorage через раз отказывался загружать картинку из редактора (а через свой веб интерфейс отказывался с самого начала).
Потом картинки из каждой папки загружались в сторадж, ссылки сохранялись для каждой папки.
Потом скрипт по ссылке картинки определял нужный комплект и по индексу подменял на ссылку в сторадже.
Боль была в создании мотивации так заморочиться. Подействовал аргумент «иначе, всё поперепутаешь и будешь переделывать минимум дважды и перепроверять 10 раз»
картинки из каждой папки загружались в сторадж
Вот на этом этапе меня ждала самая большая боль, потому что пачка в N картинок обычно переставала загружаться на 2-3.
А вы не думали опубликовать этот скрипт?
p.s. Очень много и подробно писал про редактор тут
но иногда интересно косячит! из ваших же примеров, посмотрите на лица:
странно как-то
Господа! Те маленькие картинки в каждом примере это исходник с которого я увеличивал. Это невероятно малый размер. Лицо — это 12 на 12 точек. Потерпите еще два года, тогда будет уже чёткое лицо.
Я бы ещё сказал, что RealESRGAN старается везде подрисовать черные границы, даже там, где их нет.
А если не ультрамаленький размер в нормальный, а нормальный в 4K?
Овершарп и в кадрах кино видно, а тут ИМХО самое показательное это машинки на трассе, чётко видна потеря детализации, и это плохо...
Остальное впечатляет — результаты, объём проведённых исследований, настойчивость и методичность при публикации.
Повышение качества изображения ведь кроме улучшения восприятия даёт возможность улучшать степень сжатия, устраняя шумы, занимающие в сжатом изображении большую долю. Особенно велик выигрыш будет для рисованных фильмов.
А если в видео восстановить модель заднего фона по всей сцене (газоны, дороги, стены и прочее преобразовать в «текстуры» и «градиенты»), то можно несущественный для восприятия сцены фон сжать значительно сильнее, чем с помощью традиционных алгоритмов, без существенного ухудшения качества результата.
Контрастные же объекты на переднем фоне после восстановления формы так и просятся быть векторизованными (сразу в 3D?), тогда последующий апскейл будет неактуален.
Интересно, как оно отработает на восстановлении видеофрагментов.
Хотелось бы больше примеров с темнокожими, мне показалось, что он слабо справляется с темной кожей. А у африканских лиц и биометрия другая. Вообще интересно насколько маленьким должна быть фотография чтобы ИскИн начал менять биометрию африканского лица на биометрию европеоида.
Все эти алгоритмы - хорошая вещь, но далеко не все справляются хорошо. Тот же Topaz Gigapixel меня не удивил, хотя я перебрал много алгоритмов. Но прогресс есть и это не может не радовать. Спасибо за статью.
Самая мощная модель, аналогичная той, что использовалась в данном сравнении, лежит почему-то в другом месте:
models-DF2K — это «official ESRGAN_x4»
Что-то у меня с этой моделью каша получается из картинки. Где бы взять модель которую Вы использовали?
Как можно заметить, текстуры в тему получаются только для кожи и волос. Остальное или замазывает градиентом или крупнозернистым шумом, который на вид хуже, чем если вообще не применять. Итого: лучше, чем Topaz Gigapixel, но смысла для чего-то, кроме lineart, не вижу. Думаю даже лучше было бы, если алгоритм сложные места не трогал, а работал только по четким участкам без текстур
У меня есть старая фотография куска газеты. Плёночная ещё. С очень нечётким текстом. Возьмётесь улучшить? Хочется прочесть если не текст, то хотя бы дату выпуска и заголовок.
Собственно, примерно этого я и ожидал. Но хотелось услышать подтверждение.
Попробуйте программу хабраавтора отсюда habr.com/ru/post/180393
smartdeblur.net
Будет ли работать RealESRGAN с изображениями большого разрешения ?
Например сделать из картинка 1920*1080 изображение 3840*2160 ?
алгоритм встроена хитрость: он может разбивать картинки на кусочки и обрабатывать их раздельно. Поэтому ничего не мешает сделать 4K.
Алгоритмы может и хороши, но перешарп итогового результата дикий. Вопрос только один. Авторы кода подслеповаты?!
Надеюсь, сегодня усну ночью после этого
Я все жду когда уровень сжатия видео дойдет до того что фильм скажем будет сжиматься в некий скрипт, где будет тайминг, описание движения объектов, их класс, движение камеры, описание эффектов и прочее. Чтобы приложив к такому фильму свой любимый набор актеров ,предметов, текстур подстроить его под себя. Хотят чернокожие фильм "властелин колец" с черными актерами - пожалуйста, а я например только с белыми, и сам выберу какой актер будет эльфом и т.п.
Да и в принципе книгу тоже ИИ сможет когда то превращать в фильм.
Это еще далекое будущее, но не нереальное.
Как обошлась статья про работу с изображениями без нестареющей классики?
Вообще RealESRGAN наиболее нереалистично выглядищие картинки рисует. Добавляет детали, которых нет, морщины лишние, глаза навыкат и т.д.
И вроде бы чётче, но глазу неприятно становится. Картинка в заглавии вообще лощёная какая-то, неживая.
Апскейл, который смог