Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 67
Очень интересно! Хотелось-бы подробностей.
По видео сложилось субъективное ощущение что для HD надо апскейлить до UHD с помощью машинного обучения, а потом делать даунскейл до HD.
По видео сложилось субъективное ощущение что для HD надо апскейлить до UHD с помощью машинного обучения, а потом делать даунскейл до HD.
Хотелось-бы подробностей.Да, поддержу. Потому что кроме нагрева компьютера не увидел сложностей. То есть, например у меня есть желание что-то апскейлить, то загрузка компьютера — не самая большая сложность. Давно было, но когда я исходники ужимал, то настроек было более чем достаточно.
Перевод жи, это вам сюда писать: captrobau.blogspot.com/2019/03/remastering-star-trek-deep-space-nine.html
Или одному парню с Хабра, который Рика и Морти до 4к улучшал.
Или одному парню с Хабра, который Рика и Морти до 4к улучшал.
Скорее всего, это связано с компрессией видео.
Qapla'! Отличная штука. Интересно, а с рисованной анимацией она так же хорошо справляется?
С анимацией всё ещё проще. Там нет шумов на фоне, обширные области заполнены чаще одним цветом или понятным переходом, а разделительные линии отлично векторизуются.
Вот, например, недавно же было: Морти, мы в UltraHD!
Вот, например, недавно же было: Морти, мы в UltraHD!
По моим ощущениям, с анимацией лучше справляется Wifu2x. Ai Gigapixel — с фотографией и реальными изображениями. Видимо, сказывается то, на чём тренировали сеть.
Я один не заметил особой разницы?
Вижу только еле заметное увеличение резкости, что и без всяких AI было доступно ещё 10 лет назад?
Вижу только еле заметное увеличение резкости, что и без всяких AI было доступно ещё 10 лет назад?
Это как с теплым ламповым звуком — замечают не только лишь все.
Но есть люди, которым это важно.
Я, к примеру, разницу вижу.
Жаль, для личных целей апскейлить пару-тройку фильмов из детства не получится — цифромощь не тех порядков.
(Интересно, а как с такими задачами справилась бы ферма?)
Но есть люди, которым это важно.
Я, к примеру, разницу вижу.
Жаль, для личных целей апскейлить пару-тройку фильмов из детства не получится — цифромощь не тех порядков.
(Интересно, а как с такими задачами справилась бы ферма?)
Полностью согласен.
Сидя за 24" монитором ПК разница едва уловима. И то выискиваешь где же она. Диагональ не как у ТВ, но расстояние то вытянутой руки.
Это при том, что действительно давно есть множество плееров с фильтрами, которые в реальном времени дают однозначно ощутимый результат.
Сидя за 24" монитором ПК разница едва уловима. И то выискиваешь где же она. Диагональ не как у ТВ, но расстояние то вытянутой руки.
Это при том, что действительно давно есть множество плееров с фильтрами, которые в реальном времени дают однозначно ощутимый результат.
Не знаю как можно не видеть разницы, она ясно видна.
После обработки картинка гораздо лучше.
После обработки картинка гораздо лучше.
Не для всех.
Попробую объяснить — если я читаю книгу, где часть страниц, к примеру, зеленые — я этого просто не замечу. На содержание книги, которое я получаю через текст это не влияет.
Так и с высоким качеством изображения. Какая разница, какого качества картинка — если её все равно достраивает мозг?
При этом — нужно знать, что тут большая часть картинки полна мусорной информацией — это, если называть вещи своими именами, телевизионный спектакль. С предельно простыми декорациями и резиновыми масками актеров.
Это не мешает быть этому сериалу шедевром — я смотрел его 10 лет, и буду смотреть еще очень долго (Я не люблю когда сериалы заканчиваются — и ближе к концу начинаю смотреть их по одной серии сначала в месяц, потом в полгода, потом в год — так сериал для меня субъективно не закончится в ближайшие лет 20). Персонажи этого сериала стали для меня почти родными.
Но, но… хорошая картинка этот сериал только портит. Разрушает ту условность, некоторую театральность происходящего. И возможно поэтому, потому что у меня уже сформировались детальные образы героев — я не особо замечаю разницы в качестве.
Но, так-же я прекрасно понимаю, что есть люди, которым это важно. Не так давно, восхищенный Зельдой на Свитче, я попробовал поиграть в ранние игры этой серии. И тупо не смог — слишком плохое качество картинки.
Так что я допускаю, что человеку, привыкшему к ультра ХД разница действительно бросается в глаза. Является для него значимой и колоссальной.
Единственное, что я скажу — качество в глазах смотрящего. Мы, люди, очень по разному смотрим на мир, помните об этом.
Попробую объяснить — если я читаю книгу, где часть страниц, к примеру, зеленые — я этого просто не замечу. На содержание книги, которое я получаю через текст это не влияет.
Так и с высоким качеством изображения. Какая разница, какого качества картинка — если её все равно достраивает мозг?
При этом — нужно знать, что тут большая часть картинки полна мусорной информацией — это, если называть вещи своими именами, телевизионный спектакль. С предельно простыми декорациями и резиновыми масками актеров.
Это не мешает быть этому сериалу шедевром — я смотрел его 10 лет, и буду смотреть еще очень долго (Я не люблю когда сериалы заканчиваются — и ближе к концу начинаю смотреть их по одной серии сначала в месяц, потом в полгода, потом в год — так сериал для меня субъективно не закончится в ближайшие лет 20). Персонажи этого сериала стали для меня почти родными.
Но, но… хорошая картинка этот сериал только портит. Разрушает ту условность, некоторую театральность происходящего. И возможно поэтому, потому что у меня уже сформировались детальные образы героев — я не особо замечаю разницы в качестве.
Но, так-же я прекрасно понимаю, что есть люди, которым это важно. Не так давно, восхищенный Зельдой на Свитче, я попробовал поиграть в ранние игры этой серии. И тупо не смог — слишком плохое качество картинки.
Так что я допускаю, что человеку, привыкшему к ультра ХД разница действительно бросается в глаза. Является для него значимой и колоссальной.
Единственное, что я скажу — качество в глазах смотрящего. Мы, люди, очень по разному смотрим на мир, помните об этом.
Какая разница, какого качества картинка — если её все равно достраивает мозг?Интересно, а почему люди ходят в кинотеатры, а не смотрят фильмы на экране мобильного телефона? А разница в качестве большая. Просто взять и «увеличить резкость» раньше было нельзя. В чём-то картинка становилась лучше, в чём-то хуже, и в итоге с увеличением резкости только хуже (даже aWarpSharp2 имеет значительные недостатки). А тут честный апскейл, без недостатков.
Слово «честный» применительно к апскейлу всё-таки странно звучит. Хотя, судя по картинкам (видео не видел) — очень даже неплохо. Хоть я и из тех, кто иногда и на мобиле смотрит — с таким исходным разрешением даже там разница должна быть заметна.
Интересно, а почему люди ходят в кинотеатры, а не смотрят фильмы на экране мобильного телефона?
Потому что поход в кино — это социальное действие. Если мне интересна именно история — я как раз смотрю её на телефоне.
Да и определенное натягивание совы на глобус у вас тоже есть — от сериала, с довольно бедной картинкой вы совершили прыжок к фильмам. Не спорю, среди них тоже есть экземпляры с говорящими головами, но как правило, картинка фильма полна деталей, которые интересно рассматривать.
Из примеров могу привести Прометей с Аватаром. В них фул хд оправдан.
Когда у меня появился комп, способный играть FullHD, то я решил для примера глянуть первого «Шрека» и очень разочаровался. Живой и красивый мультик превратился в картонку с текстурами недостаточного разрешения и бедной детализацией. И это при том, что там не апскейл, а реальное разрешение, которое было при выпуске мульта. Просто полное разрешение вскрыло бедность графики тех годов, которая была не заметна в более низких разрешениях.
Нет, не один. Классные фильтры, которые проделывали подобные вещи (не просто ползунок «резкость»), были в фотошопе в ещё в 2006м году. Ничего особенного это «нейросети» не демонстрируют. Вот если бы там появлялись новые детали, которых раньше не было, в зависимости от контекста вокруг (больше кораблей, мебель, улучшенный грим на актёрах вместо этой безжизненной маски) — вот тогда можно было бы это назвать достижением нейросетей.
Разница есть, но совсем другого типа чем если бы было реальное FullHD, не говоря уже про 4K.
Несуществующие детали, увы, никакой AI не додумает, да и чёткость не увеличивается. Чуть резче, да, но не более того — эффект примерно похожий на sharpening.
Несуществующие детали, увы, никакой AI не додумает, да и чёткость не увеличивается. Чуть резче, да, но не более того — эффект примерно похожий на sharpening.
Почему же нет разницы, я сразу ее заметил, но выглядит это для меня примерно так:
Сразу ощущается что то-то не так и смотреть это не очень приятно все равно.
Сразу ощущается что то-то не так и смотреть это не очень приятно все равно.
А можно семплы на яндекс диск например, особенно 4k интересует.
отличная идея, ждём с нетерпением.так же и Вояджер было бы не плохо обработать
Это реально круто. Разница колоссальная. Я прям вижу как лет через 5-7 подобная технология будет в обычных программных плеерах, с ремастерингом на лету. И вместо того чтобы хранить свою библиотеку в 8к, или что там нас ждет, достаточно будет HD или около того. Кстати вы не курсе случайно как это сейчас в современных телевизорах реализовано? Я сомневаюсь что там только интерполяция применяется.
Я прям вижу как лет через 5-7 подобная технология будет в обычных программных плеерах, с ремастерингом на лету.Я бы не надеялся. Дешевле делать более объемные накопители, чем в рилтайме 320р перекодировать в 4к.
У товарища орлиное зрение, что вы понимаете.
Колоссальный — большой/огромный. Ответа на вопрос «колоссальный это сколько?» не существует, насколько я знаю. Считаю что выразился корректно. Имею ввиду что вместо пикселизации и мыла, есть более-менее четкие границы у деталей. Разница хорошо заметна, деталей больше не стало, но они лучше прорисованы. Попробуйте тот-же пример с мячом растянуть оригинал по размеру экрана и сравнить с улучшенным файлом. Боке стало похоже на боке. Попробуйте обратить внимание на область с проксимальной фалангой указательного пальца — морщины кожи стали четче, при этом боке на фоне этого пальца замылилось. Посмотрите на край ногтевой пластины и ее блеск.
Лучше Вавилон 5 обработать… Жду — не дождусь.
Ссылочку на мяч с рукой поправьте. Она, похоже, ведет на превьюшку для статьи.
И сразу видна проблема — фликинг, особенно на 4К видео. Из-за того, что каждый кадр увеличивается независимо, он достраивается нейросеткой по-разному.
Алгоритмы для улучшения видео тоже существуют, но их намного меньше, и они имеют существенно более высокую сложность.
Алгоритмы для улучшения видео тоже существуют, но их намного меньше, и они имеют существенно более высокую сложность.
У меня одного все видео с движением — рывками?
Так же это может пригодится для личных фото\видео снятых в 80х\90х.
Очень интересно какое нибудь простое решение, типа на входе дал авишку в 640x480, на выходе получил в 1080.
Очень интересно какое нибудь простое решение, типа на входе дал авишку в 640x480, на выходе получил в 1080.
Судя по imdb снято было на пленку, откуда ваша информация?
Патентовать использование topazlabs.com/ai-gigapixel? Риали?
Я правильно понял, что каждый кадр обрабатывался независимо, а потом из них собирался видеопоток? Если да, то есть существенный резерв для улучшения — анализ нескольких кадров с выделением смещений объектов, поскольку на каждом кадре размытие случайное, а если сформировать несколько «статических фотографий» одного и того же объекта (убирая смещения, повороты и масштабирования) то можно именно рассчитать оригинальные пикселы. Нейросеть же скорее их «придумывает» исходя из того, что она видела на похожих фрагментах.
>Так же, как Final Fantasy 7, где я делаю апскейл фонов, текстур и видео в моде Remako
А для каких игор ещё такое счастье есть?..
А для каких игор ещё такое счастье есть?..
Попробовал 4К версию на ноутбуке с 4К. Особого смысла в таком апскейле нет, в 480р не хватает информации и картинка иногда немного напоминает ротоскопию. Но, думаю, если апскейлить 1080р или даже 720 до 4К, то результат будет очень хорошим.
Для Deep Space Nine наверно хорошо подойдёт технология DeepHD.
даёшь «Волга-Волга» remastered и в цвете!
Очень интересно! Скажите, на каком железе это все гонялось и сколько времени занял процесс?
А разве последние модели телевизоров не делают то же самое? LG вот выпустил недавно линейки 2019 года — там тоже «AI улучшайзинг»… без всяких модных кастомных нейросетей и спаленного железа.
Я не утверждаю… просто мысли. У меня вообще старый самсунг FullHD без улучшалок ))
Я не утверждаю… просто мысли. У меня вообще старый самсунг FullHD без улучшалок ))
Жаль, что пост — простой перевод, хотелось бы сравнения с чем-нибудь бесплатным, вроде того же waifu2x. Полагаю, разницу найти будет очень сложно, даже несмотря на то, что waifu2x предназначена для анимации.
Странно, что никто не обратил внимания на огрехи «улучшения». Местами стало заметно хуже. И не только рывки изображения, которые видно в видео.
Давайте посмотрим на примере представленных в статье скриншотов. Сравнивать их лучше всего в одном окне, чтобы глазу было проще увидеть различия. Есть сервис, позволяющий сравнивать по наведению мыши.
Добавил в него скриншоты для сравнения:
Давайте посмотрим на примере представленных в статье скриншотов. Сравнивать их лучше всего в одном окне, чтобы глазу было проще увидеть различия. Есть сервис, позволяющий сравнивать по наведению мыши.
Добавил в него скриншоты для сравнения:
- Скрин с кораблём резче, но сильные огрехи, черный цвет космоса какими-то обрывками стал светлее
- Скрин с мячем резче и, вроде бы лучше, но вот ранее артефакты фона сохраняли неравномерную структуру, позволяя нашему мозгу что-то в картинке додумать. В «улучшенной» же версии нас встречает ровное мыло
черный цвет космоса какими-то обрывками стал светлееВы уверены? Специально проверил в редакторе — как был #000, так и остался #000. Это обман зрения.
Это обман зрения.
Перепроверил. С фоном действительно нет проблем (точнее масштаб их не так велик, как кажется). Но вот в чём сомневаться точно не приходится, так это в том, что звёзды стали ярче из-за шарпа (отдельно увеличил одинаковые фрагменты в 5 раз).
Потому что гамма.
Если размывать яркую точку без гамма-коррекции, то полученное пятно будет значительно темнее. И наоборот, при повышении резкости яркость будет возрастать.
С этим эффектом можно бороться, но нужно ли? Ведь исходное видео низкого разрешения тоже вряд ли было получено без правильной гамма-коррекции.
Если размывать яркую точку без гамма-коррекции, то полученное пятно будет значительно темнее. И наоборот, при повышении резкости яркость будет возрастать.
С этим эффектом можно бороться, но нужно ли? Ведь исходное видео низкого разрешения тоже вряд ли было получено без правильной гамма-коррекции.
m1rko
Есть следующие вопросы о методе — исходный тип материала для сравнения (DVDRip, DVD и т.д. (прогрессивный или чересстрочный)), каким образом извлекали видеокадры — видно смещение в сторону красного и были ли к исходному материалу применены доп. фильтры.
diff.pics/lHRLGXfZRhUK/1 вижу пример и понимаю, что в AviSynth можно было сделать это и раньше.
Есть следующие вопросы о методе — исходный тип материала для сравнения (DVDRip, DVD и т.д. (прогрессивный или чересстрочный)), каким образом извлекали видеокадры — видно смещение в сторону красного и были ли к исходному материалу применены доп. фильтры.
diff.pics/lHRLGXfZRhUK/1 вижу пример и понимаю, что в AviSynth можно было сделать это и раньше.
Нейросети могут помочь при деинтерлейсе?
Теперь надо то же самое, но с Вавилоном 5.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ремастеринг «Звёздного пути» нейросетями до 1080p и 4K