Comments 29
Стоит ли поменять модель waifu2x на другую? CUnet?
Я пользую только CUnet. Гораздо лучше чем другие методы в waifu: выше чёткость, больше деталей, лучше удаление артефактов. Плюс включена опция TTA, хоть и жутко медленно, но чуть качественней.
Опция удаления артефактов даже на первом уровне настройки — очень сильная, годится лишь для аниме/комиксов, для нормальных фоток не применимо т.к. удаляет слишком много деталей, только для пережатых в хлам.
Ну и размытость, если она присутствует на исходнике, waifu не устраняет. И текстуры не дорисовывает. По моему так и должно быть. Вообще, это инструмент не для фоток и видосов, а для анимешных картинок.
Плюс включена опция TTA, хоть и жутко медленно, но чуть качественней.Да, эта опция на самом деле не стоит того времени, что добавляет к времени обработки.
Опция удаления артефактов даже на первом уровне настройки — очень сильная, годится лишь для аниме/комиксов, для нормальных фоток не применимо т.к. удаляет слишком много деталей, только для пережатых в хлам.Если я правильно помню, то этот шумодав рассчитан на удаление шумов сжатия JPEG, поэтому может странно работать с кадрами, где их нет в принципе, например — кадрами из видео. Кроме того, не совсем понятно, что делает «Авто-убрать шум», и как работает с видео. Изучу этот вопрос перед следующей статьей.
Ну и размытость, если она присутствует на исходнике, waifu не устраняет. И текстуры не дорисовывает. По моему так и должно быть.Я тоже так думал до Topaz, теперь уже и не знаю…
Я не понимаю вот чего, если каждый кадр обрабатывается независимо, то возможна их нестыковка во времени, например, на кадрах 1 2 3 6 7 нейросеть решает дорисовать тень, а на 4 5 — нет.
Есть еще одно замечание. 1080->4к похоже на сравнение MP3 256 и 320, которые большинство людей на слух не чувствуют. Вот у меня и мониторы full hd. Вот 360->full hd было бы интереснее
Вот у меня и мониторы full hd. Вот 360->full hd было бы интереснееСдается мне, что здесь Topaz будет вне конкуренции, потому что он единственный, кто «додумывает» картинку и убирает блочность. Photoshop тоже пытается, но расплачивается резкостью изображения.
На мониторах FullHD тоже можно увидеть разницу, по крайней мере у Topaz и Instant 4K, да и есть люди, которые качают 4К ради повышенной четкости изображения на тех же 1080P мониторах\телевизорах.
Но я не сомневаюсь, что «не вижу разницы» это вполне легитимная реакция после изучения всех материалов. Часть с гайдами все равно прекрасно распространяется на любые разрешения.
В вашем случае – да. Хотя можно немного комфортней смотреть 1920x960 -> 4k -> "Fill Screen" (1920x1080)
Но бывает же и такое, когда в некоторых кадрах присутсвуют поля из соседних, актуально для старых вещей
не фиксится. в одном кадре каждое из полей содержит смешанные поля из соседних кадров. Восстановить оригинальный кадр существующими методами (да и в перспективе) невозможно. Можно только минимизировать количество таких кадров применением существующих деблендеров на участках с реальными 12 кадрами в секунду.
Из этих троих кадров
Скрытый текст
получить нормальный кадр невозможно, только что-то такое, после топорного наложения
Заголовок спойлера
Скрины с предыдущего рипа за неимением таких двд, но концепцию иллюстрируют.
Ловите задачу, из видео 4:3 дорисовкой полей получить 16:9. Очень актуально для старых фильмов
Если при апскейле ИИ работает с тем, что в кадре есть, то догадаться, что будет там, где есть лишь черное поле — на данный момент невозможно. Нужно как минимум понимать, что ты дорисовываешь — толпу, стены, деревья…
Есть пример обученной сетки, расширяющей (тривиально, но весьма неплохо) изображения.
kingdomakrillic.tumblr.com/post/178254875891/i-figured-out-how-to-get-esrgan-and-sftgan
Хотя на видео будет а) очень долго (как раньше качали с торрентов — так сейчас придётся ставить на ночь дорисовывать) и б) нестабильно работать на соседних кадрах
Вообще-то можно и даже без машинного обучения. Для статичных изображений называется Seam Carving (liquid rescaling). Для видео тоже есть, но в качестве "швов" там выступают целые двухмерные поверхности, а не одномерные линии. Смотри также: Improved Seam Carving for Video Retargeting.
Увеличение видео 1080P до 4K, или Как я научился не волноваться и полюбил апскейл с помощью нейросетей