Сервис стриминга аниме Crunchyroll начал апскейлить мультфильмы нейросетями

    В плеере стриминговой аниме-платформы Crunchyroll появилась опция апскейлинга картинки до разрешения 2160P (4K). Повышение качества достигается с помощью использования двух сервисов — Waifu2x и Anime4k.

    «Каталог Crunchyroll охватывает большое количество видеоконтента, включая аниме, которое распространялось на DVD или транслировалось по телевидению стандартной четкости с разрешением 480P вплоть до современного аниме с разрешением 1080P. Однако современные экраны могут работать с более высоким разрешением, а потоковые платформы поддерживают высокую скорость интернета. Таким образом, аниме на телевизорах и мониторах 4K масштабируется с исходного разрешения (максимум 1080P) до разрешения дисплея пользователя. Если скорость интернета ограничена или если пользователь хочет сохранить отдельный эпизод, ему будет доступно аниме с более низким разрешением, которое потом также будет увеличено до разрешения монитора или телевизора с помощью декодирования и рендеринга видео», — сообщает Crunchyroll.

    Сервис предлагает пользователям возможность апскейлинга картинки, используя два способа масштабирования — на собственной платформе (до того, как файл будет доступен для потоковой передачи) и динамическое масштабирование, которое происходит в режиме реального времени во время потоковой передачи.

    Для масштабирования самого файла Crunchyroll использует программное обеспечение Waifu2x. Например, аниме Naruto Shippuuden вышло в феврале 2007 года, и его разрешение на Crunchyroll изначально составляет 480P. При помощи Waifu2x видео апскейлится до 720p и даже до 2160P (4K).

    Для масштабирования в реальном времени используется GPU Anime4k, созданное пользователем GitHub bloc97. Сервис представляет собой «современный алгоритм повышения качества аниме в реальном времени».

    «Многие алгоритмы масштабирования не подходят для работы в реальном времени из-за множества факторов. Результаты работы таких алгоритмов, как Bicubic или xBR, неудовлетворительны. Эти алгоритмы были созданы для другого контента и смягчают границы рисунка, что недопустимо для аниме. Подходы, основанные на машинном обучении (такие как waifu2x, VDSR, EDSR и т.д), слишком медленные для работы в реальном времени, особенно с разрешением UHD», — указывают разработчики Anime4k.

    Авторы алгоритма отмечают, что, как правило, кадры аниме не содержат много текстур. В основном, они состоят из плоских заштрихованных объектов и линий. Таким образом, зритель может быстро заметить низкокачественную картинку, поскольку заметна даже небольшая размытость.

    «Поэтому мы решили найти хороший алгоритм уточнения границ. Четкие края важнее для масштабирования аниме, чем восстановление мелких деталей, таких как текстура. Как правило, чем менее размыто изображение, тем тоньше линии границ рисунка. Наш алгоритм пытается минимизировать толщину линии. Цель состоит в том, чтобы модифицировать LR_U (размытое изображение), пока его границы не станут самыми тонкими, что даст нам HR (чёткое) изображение».

    Кроме того, в плеере Crunchyroll также доступен апскейл субтитров.

    «Благодаря тому, что Crunchyroll использует субтитры, которые накладываются на видео, а не встроены в исходный видеофайл, мы масштабируем видео и субтитры отдельно там, где это возможно», — указывает сервис.

    Включить фильтр апскейлинга пользователь может по желанию. Применять функцию можно ко всему контенту, который воспроизводится с помощью проигрывателя Crunchyroll Velocity. Чтобы воспользоваться функцией, необходимо загрузить видео на сайте Crunchyroll, кликнуть правой кнопкой мыши на плеере и включить функцию Advanced Quality Controls. Далее необходимо выбрать раздел Advanced Controls и включить Anime4k.

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 27

      +2
      очень круто, ютуб бы так
        +3
        ещё увидим подобную опцию на ютюбе
          +6
          Но сначала это появится на pornhub
            +4
            С разными интересными артефактами от нейросетей, всё как полагается? :-)
              0
                +17

                Палка о двух концах в контексте порнхаба звучит волнующе.

                  0
                  Палка будет с двумя концами после нейросетей?
                    0
                    разг. экспр. то, что может повлечь за собой как положительные, так и отрицательные последствия
        +3
        Учитывая, что кранчи на этом бабло делают — авторам либ хоть что-то задонатят, интересно?
          +5
          Либы опенсорсные, потому не обязаны. Вообще, лучше бы закупали лицензии для показа большего количества тайтлов в европейских странах, чем заниматься угадыванием пикселей, которые мало кто заметит, а если заметит, может даже и не оценит.
          +8
          Когда уже мультики будут в векторной форме хранить, чтобы не требовались все эти танцы с кодеками…
            +17
            Так работал Adobe Flash.
              +2
              Когда уже мультики будут в векторной форме хранить

              Тогда же когда в векторе начнут хранить фотографии, я думаю. Мультфильм не создается векторе (если мы про аниме). Да и вектор для значительной части анимации не очень подходит. А так векторный формат мультфильмов есть, называется swf
                +13
                В этом смысле Масяня надолго опередила своё время.
                  +1
                  А теперь она на ютубе(
                  +6

                  И музыку когда-то в "векторе" хранили, под названием MIDI (и частично MOD). Да и, в общем-то, до сих пор хранят.

                    +3
                    И не только музыку, а все события, точно привязанные ко времени — от лазерных шоу до пиротехнических представлений.
                      +1
                      И текстовый файл — «векторный» по отношению к озвучивающему его синтезатору речи.
                        +1
                        Верно, его удобно хранить, можно в любой момент озвучить нужным голосом, слегка механистическим, но некритично, к тому же, живые интонации хорошо подходят для чтения художественной литературы, а вот при обучении излишняя артикуляция совершенно неуместна.
                        К тому же, в текстовом файле легко осуществлять поиск, находя нужный фрагмент, строить глоссарий, находить все вхождения, осуществлять поиск по связанным текстам и т.д.
                        Вероятно, в ближайшем будущем будет широко доступен софт для производства интерактивных аудиокниг, начитанных профессиональными дикторами, позволяющий на выходе получить и текст, и голос диктора, с тем, чтобы эту или любую другую книгу можно было бы воспроизвести этим голосом.
                    +6
                    Современное анимэ уже по большей части давно рендерится из вектора. Правда там до сих пор часто делают задники прорисованные вручную. А так — хитрый шейдинг и характерный стиль изрядно скрывают это. Хотя порой пролёты камеры палят, что окружение явно 3D
                      +1
                      Современное анимэ уже по большей части давно рендерится из вектора.

                      Там много 3Д-графики. ДУмаю также используют какие-то анимационные программы с удобным вектором. Но это не значит, что их целиком делают в векторе или, что их можно удобно хранить в векторе. Вектор не очень удобный формат для таких вещей, он довольно сильно ограничивает художника. Векторная перекладка существует, но это всегда там где нужно сделать быстро и соответственно дешевле.
                        0
                        Вспомнилась довольно своеобразная
                        анимация
                          0
                          такое часто делают. Собственно это разновидность stop motion анимации
                  +2
                  Ещё бы совместить это с увеличением частоты кадров, вообще бомбически будет.

                  Пробовал использовать SVP для аниме, но там возникает такая ситуация, что видео в формате 30 кадров в секунду, а анимация, скажем, 10 кадров в секунду, то есть один кадр повторяется три раза. Из-за этого достройка промежуточных кадров не работает.
                  Но иногда очень хорошо сглаживается движение фонов, которые анимируются на все 30 кадров в секунду. Оказывается, разные части картинки движутся с разной частотой перерисовки.
                    +2

                    А мне вот интересно, кого-нибудь занимается улучшением четкости сканов книг с помощью нейросетей? Часто даже в хороших сканах они смотрятся неочень при масштабировании.

                      0
                      Причины этого — сканирование с низким разрешением (поправимо), при плохом освещении (хуже) и артефакты jpg сжатия (самое печальное, особенно при высоком сжатии).
                      Wavelet артефактов лишён, но дорога ложка к обеду.
                        +1

                        А если взять выше — увеличение объёма книги путём вплетения в основную канву произведения второстепенных персонажей и сюжетных линий… Минутку… ЛЕВ ТОЛСТОЙ??? ТЫ ЗНАЛ!!!

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                      Самое читаемое