Комментарии 18
Я игрался с апскейлерами, но пришел к выводу, что использование их для апскейла цел-анимации не дает приятного результата. В сравнении со старым двд с аналогово мастера на магнитной пленке и блюрей сделанный с современного скана оригинальной кинопленки это небо и земля. Апскейл же ни туда ни сюда - у него вид слишком чисто цифровой и вызывает диссонанс с рисованной картинкой. Но вот апскейлинг анимации после 00х, когда пошел мастеринг в цифре, уже не вызывает диссонанса.
Можете более конкретно о том что вы использовали? Я например пробовал использовать Iris и Gaia ранее, и в сравнении с более старым Anime Video V3, они просто ужасны в апскейле рисованной анимации. Картинка теряет детали, вместо четких линий, у персонажей, всё абсолютно размыто, что уже и можно назвать зловещей долиной.
Помимо апскейла и подбора нужных инструментов, также следует проводить и другие работы. Если апскейлер не предполагал обработку картинки с шумами, определенными артефактами и прочим, то и апскейл будет происходить с ошибками, что в результате может сделать для вас картинку которая и будет вызывать диссонанс. И во многих случаях доступ к самой киноплёнке вам как такового лучшего результата далеко не всегда даёт. Те результаты что вы видели, это также реставрация. Сама кинопленка как и любые физические носители - портится. Их надо восстанавливать. И зачастую помимо физических методов обработки пленки(с дисками вообще ничего не поделаешь в этом плане), используются и компьютерные методы обработки. И у вас почему-то от этого никакого диссонанса не происходит, несмотря на то что картинка в обоих случаях и близко не оригинальная. Компьютерная обработка тоже может быть выполнена плохо, я сам видел разницу между хорошей работой по реставрацией и не очень. Царапинами обмазаться можно, а выцветание картинки сразу бросается в глаза. А что уж говорить о случаях когда даже современного скана как такого нет? Как показала моя практика, а я в этом варюсь уже полгода, в 50-60% случаев даже у самых популярных произведений, никакого blu-ray издания в сети нет. А сканы кинопленки производят либо онлайн кинотеатры, по типу Amazon prime, либо энтузиасты на patreon. Релизы не частые, скорее местечковые. Энтузиастов немного, подписки все денег стоят. Так что ваше предложение мне кажется весьма неразумным, даже без рассмотрения самого апскейлинга. А насчёт, апскейлинга исключительно того что было после 00-х, то это и так большинство медиа на двд были выпущены в это время, точнее перевыпущены. А насчёт цифры, то опять же такой перевыпуск задело далекооо не большинство произведений.
Эксперементировал с топазом, ну и смотрел результаты того что там другие делали.
Разумеется скан с пленки реставрируют, и тоже не всегда хорошо. Основная проблема - давят вусмерть зерно кинопленки вместе с деталями. И это выглядит даже хуже простого апскейла. Хотя новые трансферы демонстрируют отличное удаление зерна без потери деталей, видимо в сканерах появились какие-то аппаратные способы вычесть зерно из картинки.
В чем основная - заметная разница между цел-анимацией и анимацией в цифре, (особенно в начале ее становления) заливки краской кисточкой и заливки полигонов одинаковым цветом, линии карандашные и линии от цифровых перьев, все это различается. Апскейлер же делает рисованную на бумаге анимацию похожей на рисованную в цифре, и мне это не нравится.
В этом плане я уже могу вас понять, хотя я сам не имею такого большого опыта в сравнении подобного. Однако по сути вы тоже не имеете, я же в самом начале статьи освятил что апскейл анимации с топазом - ужасен.
Может апскейлеры на ESRGAN дотянут до вашей планки качества? Кто знает. Но если вам и это не угодит, то ну могу только сказать что вы человек с весьма исключительным видением на данный счёт. Как раз апскейлер Anime Video V3 от самого создателя архитектуры ESRGAN-compact и ставит перед собой цель, передать на выходе картинку такой же естественной, какой она была и в оригинале. Ведь апскейлер можно на разном материале обучать. Многие датасеты, как вы ранее отметили, содержат в себе много цифровой анимации, а по итогу их используют на "целевой анимации". Но даже в данном случае всё не так однозначно, ведь если апскейлер не был переобучен, то он и тут с заметной регулярностью не искажает стилистику оригинала.
Но мы с вами скорее немного расходимся в интересах. Мой основной нарратив идёт даже в статье, а не только в моей деятельности, на "целевую анимацию". Цифровую анимацию скучно реставрировать.
Сравнение качественного хд трансфера с кинопленки с тем что было ранее в тв качестве, показывает количество утерянных деталей изображения при трансфере в те времена с пленки в ТВ. Если только ИИ не начится понимать что нарисовано и рисовать это заного в ХД, как художник, то все и останется на уровне, подавили шум, как-то сгладили ступеньки на линиях.
Вот жаль что темпоральных шумодавов для анимации нет, картинка то по большей части статична, можно кучу настекать и шум в ноль задавить.
Кстати не целевая, а целлулоидная анимация "cel/film based"
Честно говоря, у вас довольно таки странное представление о сегодняшних ИИ апскейлерах, в частности о тех архитектурах что я привел в статье. Про трансфер картинки с носителя на носитель... Ну я не вижу целесообразным вообще поднимать эту тему далее, мы ведь это уже давно закрыли. И вообще при чём это здесь?
И темпоральные шумодавы вообще-то есть, понятия не имею откуда вы взяли это. Тот же мой апскейлер для шумодава(снова утверждаюсь в том что вы не читали статью), обучен на архитектуре esrgan compact и что угодно обученное на нём является темпоральным апскейлером. То есть данные берутся также и о соседних кадрах, для стабильного результата на картинке. Так и есть традиционные шумодавы, как тот же Neat Video который я использовал для создания моего апскейлера. Он выдает более точный и стабильный результат, однако требует каждый раз ручной настройки.
Знаете, словно мы говорим не об этой статье, а посвящённой какому-нибудь FSR. Апскейлеры на нейросетях не занимаются только подавлением шума и сглаживанием изображения. Есть же куча специализированных апскейлеров, для устранения например ореолов, линий сканирования и прочего. Также я в статье давал ссылку на самый лучший пример того насколько умными апскейлеры могут быть. Sudo Inpaint PartialConv2D. Буквально технология inpaint без промта, на той же архитектуре что и обычные апскейлеры видео ESRGAN.
А мощности GPU влияют как-то именно на качество преобразования видео?
У себя на RTX 4060 8Gb перегоняю 4К 2D видео в 4К 3D (на выходе Full SBS, 7680x2160) через готовую модель Deep Anything V2 Large. В среднем фильм конвертируется 15-20 часов. Думал, переезд условно на RTX 3090 24Gb при тех же настройках всего лишь сократит время конвертации втрое. Или наличие бОльшего vram также может и улучшить качество дополнительно?
Нет, мощность как правило не влияет на качество преобразование видео. В вопросе нейросетей, наибольшую роль как раз влияет количество VRAM на качество(но меньше чем скорость) и скорость её работы. Также если объём входных данных достаточно велик, то действительно объём VRAM может повлиять на качество кадров. Ведь если на данный момент видеопамяти не хватает, то её увеличение, может положительно сказаться на картинке, так как у модели будет больше информации из соседних кадров.
В ходе моего недавнего проекта я вручную обработал 124 серии из разных мультфильмов в качестве Blu-ray с помощью алгоритма устранения шума (Neat Video).
В свое время фильтры Virtual Dub и Neat сам по себе справлялся шумами неплохо. Единственное, что я не делал бы в VD - апскейл.
Фильтры VirtгalDub из начала 2000-х.
Так вы говорите о каком-то филтьре из 2000-х, а я о довольно современном алгоритме Neat Video v5 из 2019 года.
После прогонки через wavelet color fix, так и вообще загляденье
Выглядит как улучшение DVD исходника, а в случае 2000-х исходниками были телеэфир и магнитофоны. Несколько разные по природе шумы и не факт, что Neat 2019 учитывает VHS шумы как это делал Neat из 2000х.
PS как пример качества, с которым приходилось иметь дело в 2000-х - https://multiki.arjlover.net/info/korablik.avi.html
https://multiki.arjlover.net/info/krot.i.shtanishki.avi.html
Эм, это blu-ray исходник в 1080p, и я не совсем понимаю зачем вы так зацикливаетесь на определенном материале, какое это вообще имеет отношение к вашему первоначальному циттированию? И VHS шумы как правило безумно разнятся по своей убитости от одной кассеты к другой, так что не думаю что вообще целесообразно пытаться иметь с этим дело.
Есть редкие вещи только в VHS/352*288.
Вот пример найден на магнитной ленте утерянный мультфильм по сценарию М.Вольпина «Девочка и Тигр».
Судьба этого мультфильма такова: у нас копии нет ни в каком виде, в Госфильмофонде запись тоже осуществить не могу, так как негатив изображения и фонограмма оригинала перезаписи на магнитной ленте имеют дефекты
@Realife кто вас так покусал, что весь текст утыкан словами с жирным шрифтом? Это же читать больно. В Вашей первой статье такого не было.
Как самому обучить апскейлер на Real-ESRGAN Compact, и как правильно реставрировать старую анимацию с нейросетями