Загрузка видео «без единого разрыва»

[Demetros]

240 серверов для хранения пользовательских видео. Дисков там более 7000 — суммарно около 30 петабайт;
метаданные и кэш развёрнуты еще на 36 машинах;
за трансформацию видеороликов в наш внутренний формат отвечают еще 150 серверов;
наконец, ещё 36 машин используются для раздачи и загрузки видео.

Почему нельзя конвертировать видео на 240 стороджах? На сторадже всегда CPU загружен минимально и было бы логично конвертировать именно там.
И почему нельзя загружать файлы и раздавать файлы опять таки напрямую со стороджей? Насколько я понимаю, канал наружу — это 36 серверов? Они наверняка часто втыкают по диску из-за загрузки?

[alatobol]

Сервера отвечающие за трансформацию имеют специфичное для этого железо, которое делает трансформацию видео на порядок быстрее чем у конкурентов. Попробуйте залить 1080 или выше в другие соц сети :)
Обязательно раскроем все секреты трансформации в следующей статье.

Раздавать со стораджей мы пробовали, и потом быстро отказались, ибо замена диска может ребут требовать, а это уже даунтайм.

[igordata]

Специфичное железо это те самые красивые дорогие серверные видеокарты без видеовыходов?

[alatobol]

пока нет, хотим в будущем заменить эти 150 серверов, на 15 но с GPU
пока пробовали резать на Tesla K40, используя ffmpeg 2.6 со свежей реализацией кодека nvenc. производительность параллельной нарезки видео 2160р в 8 качеств вышла такая же, как у процессора E5-2643

[igordata]

Т.е. пока выигрыша нет? А что за железо тогда там специфичное?

[AterCattus]

Кстати, про K40:
habrahabr.ru/post/262507/#comment_8534399
habrahabr.ru/post/262507/#comment_8536797

[alatobol]

Канал на отдачу видео это 30 серверов и на каждом 40Гбит/сек сеть — они имеют 2 уровня кэша 256Гб рама и 10Тб SSD дисков.
Они не втыкают, они умеют менять контейнер видео на лету (mp4, dash, hls) и про это тоже в следующей статье.

[IlyaPodkopaev]

картинка с матом для привлечения внимания морально деградировавшей части аудитории?

[KvanTTT]

Я тоже считаю, что такие картинки не к месту к техническим статьями.

[immaculate]

А по-моему смешная картинка. Мат тоже не люблю, но данная надпись как мат не воспринимается.

[bertmsk]

Слы-ы-ыш, мля! Ты чё на ОК гонишь, поцанчек? С кокова раёна? Сюда иди, ёмана!

[zarin]

для лучшего баланса между производительностью и кроссбраузерностью имеет смысл менять размер чанка в зависимости от клиентского браузера. Дефолтный размер чанка — 2 Мб, но есть проблемные браузеры, для которых этот размер нужно уменьшать до 500 Кб, а то и до 100 Кб

А можно поподробней? В каких браузерах возникают проблемы?
Почему вы привязывайтесь к весу чанка а не к частоте кейфреймов?