Использование СХД в работе с медиа контентом

    Современный мир уже сложно представить без обилия медиа контента, представленного, в том числе, в виде аудио и видео данных. Казалось бы, еще совсем недавно пределом мечтаний была коллекция MP3 файлов. А сегодня видеофайлы с разрешением 4K уже воспринимаются как нечто обыденное. Весь этот медиа контент нужно создать, где-то разместить и затем предоставить к нему доступ. Современные системы хранения данных (и Qsan в том числе) как нельзя лучше подходят в качестве одного из основных инструментов по работе с контентом.



    Разумеется, основными потребителями емкости и полосы пропускания каналов связи являются видеоданные. Постоянный рост разрешения видеокадра повышает требования к «железу». В результате чего еще актуальное вчера оборудование стремительно устаревает. Ведь типичный переход к следующему поколению разрешающей способности влечет увеличение количества точек в кадре в четыре раза. В результате всего лишь одна минута видео с разрешением 8K в несжатом виде занимает более 100ГБ.


    Сегодня профессиональная работа с видеоконтентом высокого разрешения уже не является прерогативой только крупных студий. Возрастающая популярность сериалов, стриминга и телевидения высокой четкости привлекает в этот бизнес все большее количество игроков. Все эти студии постоянно генерят огромное количество «сырого» материала, требующего последующей обработки.



    Так уж повелось, что основная масса работников индустрии по производству контента – люди творческие. И среди них основной подход для решения технических вопросов по работе с дисковой емкостью заключался в приобретении новых внешних накопителей. Как правило в их роли выступали настольные модели NAS на 2-5 дисков. Выбор NAS обусловлен простыми и понятными процедурами по их эксплуатации среди нетехнических специалистов. Скорость же работы является вполне приемлемой при индивидуальном использовании в качестве DAS (особенно при наличии интерфейсов типа Thunderbolt или USB 3.0). При необходимости совместного доступа к данным, такой NAS (он же DAS) просто подключается к другой рабочей станции.


    При возрастающем объеме исходного материала и увеличении количества работников, задействованных в его обработке, такой подход (назовем его «традиционным») вовсю показывает свою несостоятельность. Мало того, что число «коробок» резко возрастает (а вместе с тем и расходы на их приобретение), также резко падает удобство в доступе к данным. А уж при совместной работе проблемы лезут, как из рога изобилия: конфликты доступа к данным, недостаточная скорость и пр. Поэтому «традиционный» подход все чаще сменяется более современными решениями на базе централизованного хранилища (или нескольких хранилищ) и организации совместного доступа к контенту.


    Разумеется, просто приобретением СХД переход на новую концепцию работы с контентом не заканчивается. Также потребуется организовать совместный доступ к данным и обеспечить высокоскоростной обмен между хранилищем и узлами обработки контента. Примеров построения инфраструктуры по обработке контента может быть несколько. Основные из них следующие:


    1. Простейший случай для небольших студий. Для организации доступа к данным используются файловые протоколы, работа которых обеспечивается функционалом самой СХД.



    2. Студии средних размеров, на которых параллельно идет работа с несколькими проектами. Здесь разумным выбором будет организация доступа к данным через пул серверов. В таком случае имеется возможность реализовать отказоустойчивый доступ к контенту в режиме 24/7 за счет дублирования всех ключевых компонентов: серверы, каналы связи, коммутаторы и контроллеры СХД. Постоянный доступ к данным крайне важен при длительной обработке видеоматериала, ведь никому не хочется терять огромное количество времени, например, из-за сбоя в процессе рендеринга. Также при наличии пула серверов имеется возможность обеспечить балансировку нагрузки для рабочих станций с целью повышения общей производительности.



    3. Крупные студии, в том числе нацеленные на широкое вещание. В таких проектах отказоустойчивость за счет дублирования компонентов уже must have. Также для ускорения все основные ресурсоемкие процессы по рендерингу и пост обработке вынесены с рабочих станций на специальные серверы, которые имеют максимально быстрый доступ к СХД с контентом. Более того, часто применяется разноуровневое хранение данных. Т.е. используются медленные, но емкие HDD для хранения исходных материалов и архива, а также быстрые SSD для оперативной работы и/или кэширования. В рамках единой СХД для этого создаются несколько пулов из разных типов носителей, а также используются автоматизированные средства типа AutoTiering и SSD Cache. В реально масштабных проектах многоуровневое хранение достигается за счет использования нескольких СХД, каждая из которых хранит определенный тип данных.




    В качестве примера реализации работы медиа студии хотим привести организацию процесса обработки контента на одной из телевещательных станций Тайваня. Здесь применяется разумно достаточная схема построения системы, описанная в пункте 2.


    Весь медиа контент хранится на СХД Qsan XS5224-D и полке расширения JBOD XD5324-D. В шасси и полку установлены по 24 диска NL-SAS объемом 14ТБ каждый. Конфигурация дискового пространства:


    • СХД — пул 24х RAID60
    • Полка расширения – пул 22х RAID60. 2 х hot spare

    Пул серверов для обеспечения доступа к данным – кластер из 4-х серверов на базе Windows Server. Доступ к контенту организуется через протокол CIFS. Физически все 4 сервера имеют подключение к СХД через Fibre Channel 16G без использования коммутаторов, благо портов у СХД для этого хватает. Доступ клиентов к пулу серверов осуществляется через сеть 10GbE. На клиентах используется ПО Edius v9 в среде Windows. Типы нагрузок:


    • Работа с видео 4K на 7 потоков – 2 клиента
    • Работа с видео 2K на 13 потоков – 10 клиентов

    В итоге при указанных нагрузках система обеспечивает стабильную суммарную производительность 1500 МБ/с, которая является комфортной для текущей работы телестанции. В случае необходимости увеличения дискового пространства, заказчику всего лишь достаточно добавить дополнительные полки и расширить существующий массив на новые диски. Разумеется, все эти операции можно произвести в режиме online, не прерывая рабочие процессы.


    Медиа всегда играли важную роль в жизни общества. Сегодня это как никогда ранее заметно в связи с развитием стриминга и индустрии развлечений. «Тяжелый» контент требует серьезного подхода при построении решений по его обработке. И одним из немаловажных элементов в таком решении является дисковая подсистема. Система хранения данных идеально вписывается в эту роль, обеспечивая надежный и высокоскоростной доступ, а также легкость расширения и наращивания производительности.
    Skilline
    Компания

    Комментарии 6

      0

      А почему не ceph? С учётом, что в разных пулах можно использовать разный уровень redundancy (и даже erasure coding), одновременно имея и файловый и объектный доступ, ceph выглядит как очень разумное решение.


      При некотором размышлении, можно даже придумать cost-effective migration path из thunderbolt-коробочек в ceph-cluster, без потери оборудования.

        0
        Да, собственно, идеи к построению инфраструктуры, приведенные в статье, не являются абсолютными. И ваш подход тоже имеет право на жизнь. Но в реальной жизни грамотные IT спецы в медиа студиях (особенно в малых) встречаются не так уж и часто. Поэтому реализовывать (и поддерживать в последствии) сложные схемы с использованием SDS банально некому. Проще нажать пару кнопок в интерфейсе NAS.
          0

          Вы уверены, что ваши nas'ы так уж просты в администрировании? Каким образом сохранность данных обеспечивается? Во времена thunderbolt-коробочек довольно просто — каждая коробочка автономная, и если её уронить из окна, остальные уцелеют. А теперь все данные складывают на одно хранилище, где одно неловкое движение — и вся студия без контента. Полностью.


          А защита от неловкого движения… Ну, расскажите мне про disaster recovery с помощью пары кнопок в интерфейсе.

            0
            Если студия маленькая и все свои IT проблемы решают сами, то чаще всего используют «коробки» либо централизованный NAS. Вопросы резервирования решают в соответствии со своими «представлениями о прекрасном». Да, NAS Qsan имеют ряд функций, помогающим в работе бэкапа. И, да, большинство такого функционала настраивается парой кнопок.
            А вот если студия уже заметных размеров, то и подход в организации IT инфраструктуры доверен соответствующим специалистам. Вариант может быть и как вы предлагаете, и как мы описываем — с участием СХД.
              0

              У вас есть какое-нибудь по на железо, без железа
              Аля vsa, scaleio, xpenology?

                0
                Нет. ПО привязано к «железу».

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое