Комментарии 30
По его словам, исходный файл высокого разрешения трансформируется в скетч-видео, в котором разрешение становится ниже, сам ролик превращается в чёрно-белый, а исходные метаданные записываются отдельно
И картинка будет такая же пластилиновая, как сейчас если смотреть SD телевидение на 4K телевизоре с апскейлом?
Кстати, они не первые кто додумался использовать апскейл с нейросеткой. Nvidia уже внедрила апскейл видео с использованием нейросетки в свои драйвера. И работает очень даже хорошо, 360p видео хорошо восстанавливается увеличивая разрешение и убирая артефакты низкого битрейта. Но картинка все равно получается довольно пластилиновой.
Hidden text
Следующий шаг - скармливать нейросети описание фильма из википедии, пусть сама кино генерирует.
Нейросеть смотрит фильм - описывает его словами, при просмотре по описанию генерирует.
Старая шутка про новый видеокодек и Санта-Барбару становится реальностью.
Старая шутка про новый видеокодек и Санта-Барбару
Напомнило анекдот про тех, кто ссылается на анекдот, но не даёт его полный текст, и отдельные котлы...
@RichardMerlock напишите уже её!
Это у Яндекса вроде есть уже.
Руслан Пермяков говорит, что в основе существующих кодеков лежит принцип кодирования с целью уменьшения количества данных.
В основе большинства проприетарных существующих кодеков лежит принцип наживы.
О, не прошло и 3х недель
хм, а где ссылка на материалы для сравнения? недавно Дюну. Часть 1 сжал в AV1, исходник сугубо видеовидеопоток BD 4K h256 весил более 60ГБ, конвертировал в 2560 по горизонтали, сохранив HDR10+, видеопоток вышел 1.1ГБ, отличия вижу только из-за разницы в разрешении, все малейшие детали во всех сценах сохранились, ИИ из 1ГБ сможет воссоздать настолько то, что в H265 весит в 30-50 раз больше? если да, поздравляю с удачей, но всё равно не нужно, если классический способ достаточен.
Как-то очень подозрительно хороший результат получился. Из 60 гигов в 1 гиг без заметной потери качества.
Давайте сравним https://www.diffchecker.com/image-compare/
через VLC сделал скриншоты в PNG, на дифчекере из-за разницы разрешений сведение до отражения отличий показывало ломаную картину. Скрин со сжатого в AV1 видео был в разрешении 2560х1439 почему-то, а скриншот с оригинального видео пришлось изменить до 2560х1440 ровно. В итоге нижняя полоска при сведении в один пиксель толщиной как разницу показывает, самый край зубов у актера, и совсем немножко на линиях между шарфом-повязкой и шеей. Нарочно подобрал кадр, где близко лицо и одежда полная деталей, там человек близко в кадре укутан чем-то, напоминающим кучу марлевых повязок, длинные растрепанные волосы.
Со слайдером я вижу ту разницу, которую говорил, в 4К было разумеется побольше деталей, которые неизбежно подрастерялись, но незначительно, при изменении размера кадра в меньшую сторону
А можете поделиться софтом\конфигами для повторения эксперимента?, мне очень любопытно ?
Примерно так, точно не вспомню:
Кодирование видеопотока (crf 18 из-за стремления сохранить максимум качества, обычно в AV1 кодирую от 20 до 28, сравнивал разницу между 18 и 19, она есть. Желательно preset делать равным 3, но у меня не очень мощный процессор, обошелся 4):
nice -n 15 ffmpeg -i Дюна.2021.Hybrid.UHD.Blu-Ray.Remux.2160p.mkv -vf scale=2560:1072 -c:v libsvtav1 -crf 18 -preset 4 -g 120 -svtav1-params tune=0:film-grain-denoise=0:film-grain=10:enable-overlays=1:scd=1:scm=2:transfer-characteristics=16:matrix-coefficients=10:color-primaries=9 -pix_fmt yuv420p10le -an Dune_crf18_preset4_g120_grain10.mkv
Извлёк сначала звуковую дорожку через MKVToolNix (хотя можно было и сразу), она была в 5.1(side), поэтому произвел манипуляции с порядком каналов (но тут мог и ошибиться)
nice -n 15 ffmpeg -i Dune-eac3.ac3 -c:a libopus -filter:a "channelmap=FL-FL|FR-FR|FC-FC|LFE-LFE|SL-BL|SR-BR:5.1" -ac 6 -b:a 192K Dune-opus-6c-192.opus
Копирую видео из полученного файла на шаге 1, аудио из шага 2 и забрал субтитры из оригинального файла, сконвертировав их в формат webvtt, на выходе медиафайл в контейнере webm
nice -n 15 ffmpeg -i Dune_crf18_preset4_g120_grain10.mkv -i Dune-opus-6c-192.opus -i Дюна.2021.Hybrid.UHD.Blu-Ray.Remux.2160p.mkv -map 0:v -c:v copy -map 1:a -c:a copy -map 2:10 -c:s webvtt Dune_av1.webm
Единственное, можно было бы приподнять гамму сразу, очень темный фильм в оригинале кажется стал чуточку ещё темнее, притом без потери деталей.
ffmpeg умеет парсить HDR10+?
AV1 как формат сам по себе умеет и в HDR10+ и в DolbyVision, svt-av1 как заявлено, поддерживает HDR10+, но на практике реализации пока не нашёл, надежда на dovi_tool и hdr10plus_tool. Я ошибся, говоря, что AV1 кодировал в HDR10+, это проделывал с кодеком x265 (вроде), только в HDR10 (которое обычно идёт отдельным "слоем" рядом с материалом в DolbyVision)
небольшое исправление/дополнение к первому пункту, нашёл в истории bash использованную команду, matrix-coefficients был равен 9, была включена поддержка hdr, и указаны параметры mastering-display исходя из оригинала (в интернете лежит скрипт ffmpeghdr.py чтобы получить строку параметров для x265 и svt-av1):
:enable-hdr=1:matrix-coefficients=10:mastering-display=G(0.265,0.69)B(0.15,0.06)R(0.68,0.32)WP(0.3127,0.329)L(4000.0,0.005):content-light=1804,501
С момента появления автоенкодеров было интересно, почему они не получили широкое распространение в задачах сжатия данных. С тех пор прошло много времени и ничего особо не поменялось.
Что-то одна вода. Вот же была нормальная статья о реалиях ИИ кодеков https://habr.com/ru/companies/ruvds/articles/744436/
в сферах телевещания, видеонаблюдения, распознавания лиц
Точно не получится так, что нейросеть нарисовала какое-то лицо, а потом его и распознала?
Мламламла, аналоговнет. Ни цифр, ничего
Зачем писать статьически если можно налить водически
Невольно вздрагиваешь от заголовка "В России разработали...". И действительно: чтобы хранить охрененную массу материала с камер видеонаблюдения.
В России разработали алгоритм сжатия видео с помощью нейросетей