Нет, мощность как правило не влияет на качество преобразование видео. В вопросе нейросетей, наибольшую роль как раз влияет количество VRAM на качество(но меньше чем скорость) и скорость её работы. Также если объём входных данных достаточно велик, то действительно объём VRAM может повлиять на качество кадров. Ведь если на данный момент видеопамяти не хватает, то её увеличение, может положительно сказаться на картинке, так как у модели будет больше информации из соседних кадров.
Честно говоря, у вас довольно таки странное представление о сегодняшних ИИ апскейлерах, в частности о тех архитектурах что я привел в статье. Про трансфер картинки с носителя на носитель... Ну я не вижу целесообразным вообще поднимать эту тему далее, мы ведь это уже давно закрыли. И вообще при чём это здесь?
И темпоральные шумодавы вообще-то есть, понятия не имею откуда вы взяли это. Тот же мой апскейлер для шумодава(снова утверждаюсь в том что вы не читали статью), обучен на архитектуре esrgan compact и что угодно обученное на нём является темпоральным апскейлером. То есть данные берутся также и о соседних кадрах, для стабильного результата на картинке. Так и есть традиционные шумодавы, как тот же Neat Video который я использовал для создания моего апскейлера. Он выдает более точный и стабильный результат, однако требует каждый раз ручной настройки.
Знаете, словно мы говорим не об этой статье, а посвящённой какому-нибудь FSR. Апскейлеры на нейросетях не занимаются только подавлением шума и сглаживанием изображения. Есть же куча специализированных апскейлеров, для устранения например ореолов, линий сканирования и прочего. Также я в статье давал ссылку на самый лучший пример того насколько умными апскейлеры могут быть. Sudo Inpaint PartialConv2D. Буквально технология inpaint без промта, на той же архитектуре что и обычные апскейлеры видео ESRGAN.
В этом плане я уже могу вас понять, хотя я сам не имею такого большого опыта в сравнении подобного. Однако по сути вы тоже не имеете, я же в самом начале статьи освятил что апскейл анимации с топазом - ужасен.
Может апскейлеры на ESRGAN дотянут до вашей планки качества? Кто знает. Но если вам и это не угодит, то ну могу только сказать что вы человек с весьма исключительным видением на данный счёт. Как раз апскейлер Anime Video V3 от самого создателя архитектуры ESRGAN-compact и ставит перед собой цель, передать на выходе картинку такой же естественной, какой она была и в оригинале. Ведь апскейлер можно на разном материале обучать. Многие датасеты, как вы ранее отметили, содержат в себе много цифровой анимации, а по итогу их используют на "целевой анимации". Но даже в данном случае всё не так однозначно, ведь если апскейлер не был переобучен, то он и тут с заметной регулярностью не искажает стилистику оригинала.
Но мы с вами скорее немного расходимся в интересах. Мой основной нарратив идёт даже в статье, а не только в моей деятельности, на "целевую анимацию". Цифровую анимацию скучно реставрировать.
Можете более конкретно о том что вы использовали? Я например пробовал использовать Iris и Gaia ранее, и в сравнении с более старым Anime Video V3, они просто ужасны в апскейле рисованной анимации. Картинка теряет детали, вместо четких линий, у персонажей, всё абсолютно размыто, что уже и можно назвать зловещей долиной.
Помимо апскейла и подбора нужных инструментов, также следует проводить и другие работы. Если апскейлер не предполагал обработку картинки с шумами, определенными артефактами и прочим, то и апскейл будет происходить с ошибками, что в результате может сделать для вас картинку которая и будет вызывать диссонанс. И во многих случаях доступ к самой киноплёнке вам как такового лучшего результата далеко не всегда даёт. Те результаты что вы видели, это также реставрация. Сама кинопленка как и любые физические носители - портится. Их надо восстанавливать. И зачастую помимо физических методов обработки пленки(с дисками вообще ничего не поделаешь в этом плане), используются и компьютерные методы обработки. И у вас почему-то от этого никакого диссонанса не происходит, несмотря на то что картинка в обоих случаях и близко не оригинальная. Компьютерная обработка тоже может быть выполнена плохо, я сам видел разницу между хорошей работой по реставрацией и не очень. Царапинами обмазаться можно, а выцветание картинки сразу бросается в глаза. А что уж говорить о случаях когда даже современного скана как такого нет? Как показала моя практика, а я в этом варюсь уже полгода, в 50-60% случаев даже у самых популярных произведений, никакого blu-ray издания в сети нет. А сканы кинопленки производят либо онлайн кинотеатры, по типу Amazon prime, либо энтузиасты на patreon. Релизы не частые, скорее местечковые. Энтузиастов немного, подписки все денег стоят. Так что ваше предложение мне кажется весьма неразумным, даже без рассмотрения самого апскейлинга. А насчёт, апскейлинга исключительно того что было после 00-х, то это и так большинство медиа на двд были выпущены в это время, точнее перевыпущены. А насчёт цифры, то опять же такой перевыпуск задело далекооо не большинство произведений.
Вообще после прочтения множества комментариев, я довольно сильно переосмыслил поход к работе. Конечно данный комментарий ничего кроме мнения автора его написавшего не имеет. Но в целом есть много прям очень полезных касательно технической стороны вопроса. Следующий проект в силу на удивление хороших исходников не будет в полной мере отражать это, но в целом выходит интересно.
Последующий после проекта который уже в работе, будет более тяжёлым со стороны апскейла. Но в нём я скорее всего смогу пересилить себя и возьмусь за изучение reaper, хоть на него я больших надежд не возлагаю.
С новой приобретенной информацией по поводу софта, действительно можно было сделать прям гораздо лучше. Но все мы с чего-то начинаем, и это не исключение.
После анализа всего связанного с кодированием видео, на него теперь уходит астрономическое количество времени при соблюдении всех тех параметров что я считаю необходимыми (+-неделя без малого, может больше).
Начал сбор на сервер для подобного вида обработки видео. Без вашей поддержки я вряд-ли смогу начать новый проект по апскейлу Скуби-Ду 1970х годов. Никого не заставляю, донаты только от сердца. Заказы не принимаю.
вообще-то нет, апскейлер с невероятной силой ощищает шум у картинки и артефакты. Без этого у вас будут пляски на картинке. Вы хоть сравнения мои смотрели перед тем как писать про "эффект зловещей долины"? Хотя некоторым и это не помогает. https://ibb.co/BZNwwKv https://imgsli.com/MjI4NDk0/0/1 https://imgsli.com/MjI2NDc0
Оригинальная пленка в совершенно ужасном состоянии, тут ничего не может, вот например HBO max относительно недавно делали свою реставрацию. https://imgsli.com/MjI4NDk0/0/1
Я 6 серию после топаза никак не трогал, кроме перекодирования с handbrake для сжатия. Как раз вот handbrake и дел натворил, я не знаю как образом он DAR считает, но это надо вручную поправлять. А промежуточных серий у меня ну совсем мизер. https://habr.com/ru/articles/784648/#comment_26342730
Думаю на Скуби-Ду 70х, самому понравилось после просмотра в осознаном возрасте, поэтому и пал глаз на него. Хотел ещё дикого койота или Том и Джерри в детстве, но всё это уже самому неинтересно смотреть, собственно мотивации такие проекты тянуть - нет.
1) Вы так и не написали в чём именно состоит моё "непонимание работы с видео", так что здесь у меня как и у вас, комментариев по теме нет. Аналоговое зерно там это что-то с чем-то, если не брать тот же самый пережатый в 480р формат. https://imgsli.com/MjI4NDk0/0/1 А на счёт шума - надо будет посмотреть и попробавать, насколько это реально меняет восприятие от картинки в данном случае. У всех "зловещие долины" самые разные. Один хочет чтобы вообще ничего не меняли, оставили как есть и растянули изображение до 1440р, другой ищет какой-то "эффект рисовки". Короче, сложная тема, угодить всем более чем невозможно.
2) У меня было видео с битрейтом 24 мб/с, тут хоть 4 раза перекодируй - ничего плохого с ним не случится, учитывая до какого потом битрейта handbrake их сжал и никаких артефактов после не прослеживалось.
3) Не умею пользоваться. В примьере хоть примерное понимание было, а так по новой с нуля изучать программу - желания было никакого.
Если ты про то что в активном действии может персонаж изменить свой тон цвета - так и в оригинале было. А так разницы без прямого сравнения вы не заметите при просмотре.
Нет, мощность как правило не влияет на качество преобразование видео. В вопросе нейросетей, наибольшую роль как раз влияет количество VRAM на качество(но меньше чем скорость) и скорость её работы. Также если объём входных данных достаточно велик, то действительно объём VRAM может повлиять на качество кадров. Ведь если на данный момент видеопамяти не хватает, то её увеличение, может положительно сказаться на картинке, так как у модели будет больше информации из соседних кадров.
Честно говоря, у вас довольно таки странное представление о сегодняшних ИИ апскейлерах, в частности о тех архитектурах что я привел в статье. Про трансфер картинки с носителя на носитель... Ну я не вижу целесообразным вообще поднимать эту тему далее, мы ведь это уже давно закрыли. И вообще при чём это здесь?
И темпоральные шумодавы вообще-то есть, понятия не имею откуда вы взяли это. Тот же мой апскейлер для шумодава(снова утверждаюсь в том что вы не читали статью), обучен на архитектуре esrgan compact и что угодно обученное на нём является темпоральным апскейлером. То есть данные берутся также и о соседних кадрах, для стабильного результата на картинке. Так и есть традиционные шумодавы, как тот же Neat Video который я использовал для создания моего апскейлера. Он выдает более точный и стабильный результат, однако требует каждый раз ручной настройки.
Знаете, словно мы говорим не об этой статье, а посвящённой какому-нибудь FSR. Апскейлеры на нейросетях не занимаются только подавлением шума и сглаживанием изображения. Есть же куча специализированных апскейлеров, для устранения например ореолов, линий сканирования и прочего. Также я в статье давал ссылку на самый лучший пример того насколько умными апскейлеры могут быть. Sudo Inpaint PartialConv2D. Буквально технология inpaint без промта, на той же архитектуре что и обычные апскейлеры видео ESRGAN.
В этом плане я уже могу вас понять, хотя я сам не имею такого большого опыта в сравнении подобного. Однако по сути вы тоже не имеете, я же в самом начале статьи освятил что апскейл анимации с топазом - ужасен.
Может апскейлеры на ESRGAN дотянут до вашей планки качества? Кто знает. Но если вам и это не угодит, то ну могу только сказать что вы человек с весьма исключительным видением на данный счёт. Как раз апскейлер Anime Video V3 от самого создателя архитектуры ESRGAN-compact и ставит перед собой цель, передать на выходе картинку такой же естественной, какой она была и в оригинале. Ведь апскейлер можно на разном материале обучать. Многие датасеты, как вы ранее отметили, содержат в себе много цифровой анимации, а по итогу их используют на "целевой анимации". Но даже в данном случае всё не так однозначно, ведь если апскейлер не был переобучен, то он и тут с заметной регулярностью не искажает стилистику оригинала.
Но мы с вами скорее немного расходимся в интересах. Мой основной нарратив идёт даже в статье, а не только в моей деятельности, на "целевую анимацию". Цифровую анимацию скучно реставрировать.
Можете более конкретно о том что вы использовали? Я например пробовал использовать Iris и Gaia ранее, и в сравнении с более старым Anime Video V3, они просто ужасны в апскейле рисованной анимации. Картинка теряет детали, вместо четких линий, у персонажей, всё абсолютно размыто, что уже и можно назвать зловещей долиной.
Помимо апскейла и подбора нужных инструментов, также следует проводить и другие работы. Если апскейлер не предполагал обработку картинки с шумами, определенными артефактами и прочим, то и апскейл будет происходить с ошибками, что в результате может сделать для вас картинку которая и будет вызывать диссонанс. И во многих случаях доступ к самой киноплёнке вам как такового лучшего результата далеко не всегда даёт. Те результаты что вы видели, это также реставрация. Сама кинопленка как и любые физические носители - портится. Их надо восстанавливать. И зачастую помимо физических методов обработки пленки(с дисками вообще ничего не поделаешь в этом плане), используются и компьютерные методы обработки. И у вас почему-то от этого никакого диссонанса не происходит, несмотря на то что картинка в обоих случаях и близко не оригинальная. Компьютерная обработка тоже может быть выполнена плохо, я сам видел разницу между хорошей работой по реставрацией и не очень. Царапинами обмазаться можно, а выцветание картинки сразу бросается в глаза. А что уж говорить о случаях когда даже современного скана как такого нет? Как показала моя практика, а я в этом варюсь уже полгода, в 50-60% случаев даже у самых популярных произведений, никакого blu-ray издания в сети нет. А сканы кинопленки производят либо онлайн кинотеатры, по типу Amazon prime, либо энтузиасты на patreon. Релизы не частые, скорее местечковые. Энтузиастов немного, подписки все денег стоят. Так что ваше предложение мне кажется весьма неразумным, даже без рассмотрения самого апскейлинга. А насчёт, апскейлинга исключительно того что было после 00-х, то это и так большинство медиа на двд были выпущены в это время, точнее перевыпущены. А насчёт цифры, то опять же такой перевыпуск задело далекооо не большинство произведений.
Вообще после прочтения множества комментариев, я довольно сильно переосмыслил поход к работе. Конечно данный комментарий ничего кроме мнения автора его написавшего не имеет. Но в целом есть много прям очень полезных касательно технической стороны вопроса. Следующий проект в силу на удивление хороших исходников не будет в полной мере отражать это, но в целом выходит интересно.
Последующий после проекта который уже в работе, будет более тяжёлым со стороны апскейла. Но в нём я скорее всего смогу пересилить себя и возьмусь за изучение reaper, хоть на него я больших надежд не возлагаю.
С новой приобретенной информацией по поводу софта, действительно можно было сделать прям гораздо лучше. Но все мы с чего-то начинаем, и это не исключение.
У меня появился бусти https://boosty.to/realife
После анализа всего связанного с кодированием видео, на него теперь уходит астрономическое количество времени при соблюдении всех тех параметров что я считаю необходимыми (+-неделя без малого, может больше).
Начал сбор на сервер для подобного вида обработки видео. Без вашей поддержки я вряд-ли смогу начать новый проект по апскейлу Скуби-Ду 1970х годов. Никого не заставляю, донаты только от сердца. Заказы не принимаю.
вообще-то нет, апскейлер с невероятной силой ощищает шум у картинки и артефакты. Без этого у вас будут пляски на картинке. Вы хоть сравнения мои смотрели перед тем как писать про "эффект зловещей долины"? Хотя некоторым и это не помогает. https://ibb.co/BZNwwKv
https://imgsli.com/MjI4NDk0/0/1
https://imgsli.com/MjI2NDc0
Оригинальная пленка в совершенно ужасном состоянии, тут ничего не может, вот например HBO max относительно недавно делали свою реставрацию. https://imgsli.com/MjI4NDk0/0/1
Мой телеграм канал с анонсами https://t.me/Realifeeeeeee
Я 6 серию после топаза никак не трогал, кроме перекодирования с handbrake для сжатия. Как раз вот handbrake и дел натворил, я не знаю как образом он DAR считает, но это надо вручную поправлять. А промежуточных серий у меня ну совсем мизер. https://habr.com/ru/articles/784648/#comment_26342730
Такое кто-то вообще практикует?
Мыльненко, даже при учёте что в данном примере у waifu2x разрешение в 1.5 раза выше чем у Ириса. https://imgsli.com/MjMxNDA4
Осталось откатить время на 20-30 лет назад) Она практически вся уже испаганена в труху.
Думаю на Скуби-Ду 70х, самому понравилось после просмотра в осознаном возрасте, поэтому и пал глаз на него. Хотел ещё дикого койота или Том и Джерри в детстве, но всё это уже самому неинтересно смотреть, собственно мотивации такие проекты тянуть - нет.
Жду пока модератор проснётся
Она сейчас вообще на премодерации, проблемная категория "видео", каждый раз при перезаливе походу так будет, ужас одним словом.
1) Вы так и не написали в чём именно состоит моё "непонимание работы с видео", так что здесь у меня как и у вас, комментариев по теме нет.
Аналоговое зерно там это что-то с чем-то, если не брать тот же самый пережатый в 480р формат. https://imgsli.com/MjI4NDk0/0/1 А на счёт шума - надо будет посмотреть и попробавать, насколько это реально меняет восприятие от картинки в данном случае. У всех "зловещие долины" самые разные. Один хочет чтобы вообще ничего не меняли, оставили как есть и растянули изображение до 1440р, другой ищет какой-то "эффект рисовки". Короче, сложная тема, угодить всем более чем невозможно.
2) У меня было видео с битрейтом 24 мб/с, тут хоть 4 раза перекодируй - ничего плохого с ним не случится, учитывая до какого потом битрейта handbrake их сжал и никаких артефактов после не прослеживалось.
3) Не умею пользоваться. В примьере хоть примерное понимание было, а так по новой с нуля изучать программу - желания было никакого.
И там в одном из первых комментариев человек таки нашел где скачать.
Если ты про то что в активном действии может персонаж изменить свой тон цвета - так и в оригинале было. А так разницы без прямого сравнения вы не заметите при просмотре.
Выше в комментариях вроде человек упомянал