Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 25
Интересное исследование, про такое бы прям большую статью на Хабре от авторов. Я что-то похожее видел (про методики сравнения), но тут еще и на практике. Интересно чем вызвана такая разница - что у Netflix продвинутые алгоритмы, или просто остальные экономят и включают профили попроще.
Еще интересно такое же по аудио. У меня, например, есть ощущение, что Яндекс.Музыка уступает Apple Music и Spotify по качеству кодирования. Хотя интересно мнение ребят из Я.М - какие профили они используют и вообще, может это у меня эффект плацебо.
У меня такое же мнение по отношению Яндекса к спотифай..
Для моего уха Яндекс музыка не нравится.
Думаю что для объемов нетфликса ему критически важно уметь качественно и эффективно сжимать. И на достижение этого не жалели ни сил, ни времени, ни денег.
У Netflix очень серьезный подход к качеству, включая качество медиаконтента.
Вот статья как они анализируют качество видео (2016г) https://netflixtechblog.com/toward-a-practical-perceptual-video-quality-metric-653f208b9652
Вот основной инструмент для объективного анализа
https://github.com/Netflix/vmaf
Т.е. в свободном доступе есть и методология и инструменты.
Основная причина, почему получилась такая вот таблица с качеством -нет системы контроля у отечественных медиасервисов (из тех, которые видел на нашем рынке)
Да у всех серьезный подход к качеству медиа контента. Youtube, ФБ, Amazon, Netflix - все этим занимаются и непрерывно улучшают. Только российские сервисы что-то расслабились.
А ведь там прямая финансовая мотивация! На 30% лучшее сжатие - это на 30% меньше дискового пространства (но это неточно), и на 30% меньше трафик из датацентра (а это точно), и уменьшение расхода электричества (основной лимитирующий фактор для больших ДЦ).
С экономией дискового пространства сложно потому, что для каждого видео хранятся с дюжину копий в разных разрешениях и с разным кодированием. А нужная копия выбирается в зависимости от возможностей клиентского устройства, поддерживаемых кодеков (мобильные устройства могут иметь причудливый список кодеков поддерживаемых аппаратно), скорости канали связи и общей нагрузки (под рождество, новый год, день благодарения и т.п. все снижают предлагаемый битрейт чтоб выстоять под нагрузкой). И добавление нового, прогресивного метода сжатия скорее всего выльется в добавление еще одной копии (если это не банальный тюнинг профиля сжатия).
Правда и бюджет на R&D тоже идет приличный. Ну и код компессии видео используется который еще не вошел в FFMPEG stable версию.
Только российские сервисы что-то расслабились. А ведь там прямая финансовая мотивация! На 30% лучшее сжатие - это на 30% меньше дискового пространства (но это неточно),
В кулуарах по сути все инженеры российских сервисов довольно дружно жалуются, что на технические задачи не выделяются бюджеты.
Как озвучил публично представитель одного из онлайн кинотеатров - измерение качество (и вообще оптимизация сжатия) это совершенно лишние операции. У них бизнес. А в бизнесе есть одна главная метрика - деньги. Если люди не отписываются, значит качество всех устраивает. Вот так все ясно и просто.
А всякие рассуждения про VMAF - это ненужное умничание))) Как-то так счастливые обладатели MBA, принимающие решения в российских компаниях мыслят, судя по отзывам непосредственных свидетелей)))
Как-то это странно! То есть стоимость задержания датацентров и счета за электричество их не особо волнуют.
Эти метрики они же тоже все про деньги. Как заставить меньше железа делать ту-же работу. Как тратить меньше трафика выдавая зрителю примерно то-же качество.
Нет, не странно. У любой коммерческой компании цель - заработать. И это нормально. Сокращение издержек на инфраструктуру может не давать столько выигрыша, сколько развитие продуктового направления. Пока с потребителя можно будет стрясти деньги, бизнес и дальше это будет делать. Поэтому, увы, желание сделать по-нормальному, так и останется розовой мечтой для инженера.
Однако, я как-то общался на тему сокращения издержек на инфраструктуру с одним менеджером из компании, которая в последнее время взялась делать всякого рода мессенджеры, и он сказал хорошую фразу: Не все компании умеют правильно тратить деньги.
У Netflix очень серьезный подход к качеству, включая качество медиаконтента.
Все так. Они в свое время были известны тем, что хантили специалистов на х2 от рынка)
Т.е. в свободном доступе есть и методология и инструменты.
К несчастью (или счастью для нас) там все намного сложнее (и интереснее). Т.е. просто взять из коробки и чтобы получилось хорошо, не получится. И на последнем VideoTech компании после моего доклада с представлением этого и предыдущего отчетов это дружно в кулуарах подтвердили.
Ну х2 - это конечно преувеличение. У узких специалистов (а видео стриминг - это достаточно узко) там свой рынок, и он сильно повыше чем "в среднем по IT". Но бонусы у них хорошие были.
Про "из коробки" - это точно. Оно вроде из коробки. Но то что у них (да и у остальных) работает в production, в стабильную версию из коробки попадет где-то через полгодика. А многое обратно в open source вообще не контрибутится. В частности: управление трафиком, распределение нагрузки, оптимизация пресетов для энкодеров, ну и архитектура их облака никогда наружу не уйдут. О них будут только немного говорить на презентациях.
Именно эти "внутренние детали реализации" и добавляют им 30%-50% к эффективности.
Кстати, VMAF то открыт. Но там нужно модель загружать. И даже есть публичная. Но вот у серьезных людей используются custom модели. А как их тренировать и на чем - это уже интеллектуальная собственность компании.
Интересное исследование, про такое бы прям большую статью на Хабре от авторов.
Раз есть запрос, придется сделать)
Интересно чем вызвана такая разница - что у Netflix продвинутые алгоритмы, или просто остальные экономят и включают профили попроще.
Это даже в отчете по ссылке есть.
1. Использование новых стандартов (которые практически никто в России не использует)
2. Очень грамотное сжатие в них (что весьма нетривиально)
3. Есть вообще говоря много просто багов при кодировании, которые (если были не фатальны) ушли в релиз
Еще интересно такое же по аудио.
Мы хотим сделать видеоконференции (условно сравнить зум с российскими решениями). Там звук (голос) будет.
Мы хотим сделать видеоконференции (условно сравнить зум с российскими решениями). Там звук (голос) будет
О, кстати в Телемосте есть интересная особенность - плохо смешиваются голоса нескольких людей. Не знаю что именно на это влияет, но в Зуме и Мите ты различаешь отдельные голоса, а там каша получается.
Хм... Мы планируем сначала только точка-точка (там даже с ними работы много, а платежеспособного спроса на такого рода анализ в России в принципе слабый (мы ранее работали только по зарубежным). Но за наводку в любом случае спасибо! Думаю, что там будет много разных открытий) У нас с кинотеатрами их было много, опубликовали сильно не все. Очень сильно, я бы даже сказал.
Для видео конференций появляется еще важный аспект latency. И тут помимо сжатия вылезает еще архитектура сети и управление трафиком. А это у больших вендоров замедомо сильно лучше.
Хотя если смотреть только во внутрироссийском масштабе, то возможны нюансы. А если брать мировой масштаб, то как тестировать? Без интеграции с сетью вендора это сложно!
Нет там Лордфильма.
Интересно было бы сравнить ютуб и нетфликс по качеству сжатия
Я когда-то пробовал скачивать фильм с Netflix и загружал его на Youtube. При сравнимом качестве Youtube потреблял больше трафика, на 20-30%, может быть, уже не помню точно.
Все так, но у YouTube разные настройки кодирования для видео с 3 просмотрами и с 3 миллионами. Изначально они кодируют быстрым пресетом (что логично), но если видео набирает популярность, они его перекодируют более эффективно.
Любопытно, что они улучшают сжатие. И этим летом оно у них было несколько эффективнее, чем то, что мы видели зимой.
Интересно было бы сравнить ютуб и нетфликс по качеству сжатия
Это немного теплое с мягким, поскольку на видеохостингах используются по умолчанию на порядок более быстрые пресеты (как минимум).
Но если интересно сравнение видеохостингов мы делали и в начале этого сравнения на него ссылка есть)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Исследователи из МГУ сравнили 15 разных видеосервисов, кодирующих одинаковые фильмы и сериалы