Кодирование видео в реальном времени во время загрузки

[wiiio]

Думаю что на YouTube такое не очень скоро появится, слишком большой объем видео загружается ежеминутно чтобы выделить процессорные мощности под реалтайм обработку.

[lashtal]

дык кодировать на клиенте надо, и одновременно аплодить

[Stamm]

На YouTube ещё идёт проверка музыки внутри ролика и самого видеоряда. Наверное, из-за этого тоже замедляется обработка или проверка проводиться уже после полной загрузки ролика?

[phillennium]

Думаю, они могли бы внедрить такое для роликов с низким разрешением (их и кодировать проще, и количественно они только часть от всех составляют). Тогда можно было, находясь на каком-то мероприятии и сняв что-то важное на смартфон, быстрее выложить это на ютюб. А всякие тяжелые 1080p-ролики могли бы по-прежнему ждать — обычно это те, у которых на съемку-монтаж куча времени уходит, так что там задержка на обработку большой роли не играет.

[ixside]

Дык запустят потихоньку.

[eRaider]

Ну, теперь-то мы точно узнаем, что дешевле — процессорные мощности или место на диске.

[webxed]

С кодированием видео в любом случае нужны очереди и контроль рессурсов.
Как не крути процесс жимканья съедает много всего и проца и места на диске. Не зря за Carbon Coder просят 150 тыщ рублей — самый дорогой пакет из всех инструментов в видеопроизводстве.

Еще бы придумали, как фотки ресайзить во время загрузки, цены бы не было ;)

[jj_killer]

Далеко не самый, MainConcept SDK с лицензиями и ускорением CUDE/OpenCL подороже будет, фотки можно флешем ресайзить.

[webxed]

MainConcept специфичная вещь, я имел ввиду ПО необходимое большей части телестудий.
По поводу флэша спасибо за подсказку — надо подумать, как раз решаю задачу ресайза большого кол-ва файлов.

[kurokikaze]

Ресайзить фотки можно вроде canvas'ом.

[SovGVD]

а то что будет если процессорной мощности не хватит для кодирования в реалтайме всем и сразу?

[bagger]

неверное будет медленно загружаться…

[SovGVD]

тогда как то фишка теряется, одно дело загрузить за пару минут и потом чуток подождать и получить результат, а другое дело грузить по паре часов и ждать когда же там остальные накачаются
в общем если юзеров мало или вычислительные мощности не ограничены, тогда хорошее решение =)

[bagger]

если они используют, например, Amazon EC2 для перекодирования, то вполне реально обеспечить приемлемую скорость загрузки+перекодирования. Достаточно интересное решение, возьму на заметку :-)

[baxtep2]

просто кодирование закончится позже загрузки, но начнется то оно одновременно с загрузкой, значит закончится раньше чем в классическом варианте.

[skiedr]

Transloadit работает в облаке.
Так что ресурсов должно хватить.

[metakey]

> С технической точки зрения функция realtime-кодирования Transloadit сделана с помощью парсера загрузчика файлов. В процессе загрузки > парсер записывает на диск маленькие кусочки файлов, которые «скармливаются» ffmpeg. Системы Transloadit базируются на node.js.

А как вы справляетесь с тем, можете получить разрезанные на части фреймы? Если справляетесь, то нет ли такого, что если у нас была медленно меняющаяся сцена, которую загрузчик разорвал посередине, то в результирующем файле будет заметно различаться качество изображения?

[metakey]

> А как вы справляетесь с тем, можете получить

с тем, что можете

[mraleph]

А как вы справляетесь с тем

Я думаю автор топика никак не связан с авторами transloadit.

Захотите их спросить: вот твиттер Феликса twitter.com/felixge, или на канале #node.js в FreeNode его всегда модно выцепить.

[metakey]

ага, я ступил. спасибо за ссылку.

[kurokikaze]

Возможно парсер разрезает поток по key frame'ам. Не зря же это именно парсер, а не простой «обрезатель».

[metakey]

Как бы извлечение структуры аудио и видео потоков из того же mp4-контейнера — очень сложная задача. А там не только mp4 поддерживается. Потому и интересуюсь.

[seriyPS]

с помощью парсера загрузчика файлов. В процессе загрузки парсер записывает на диск маленькие кусочки файлов, которые «скармливаются» ffmpeg. Системы Transloadit базируются на node.js.

Йомае

Да тут делов на 10 минут. ffmpeg поддерживает кодирование на лету через pipe. Т.е. можно сделать например
cat original.avi | ffmpeg -i - encoded.avi
А сделать веб-сервер который умеет на лету парсить multipart/formdata запрос и писать результат в пайп ffmpeg-а тоже элементарно.

В том, что их сервер действительно «записывает на диск маленькие кусочки файлов» я ооочень сомневаюсь. Если прям так где-то написано у них на официальном сайте — ткните носом.

Основная проблема тут именно в правильном распределении ресурсов т.к. кодирование видео просит много CPU. Соответственно, если сразу много клиентов к ним начнут загружать видео, придется неплохо разориться на EC2 или какая там у них инфраструктура…

[Kano]

Видимо вы толком кодирование не занимались. Поэтому так говорите.
На самом деле подобным образом можно декодировать далеко не все видео файлы.
Например mp4 контейнер некоторую важную информацию хранит в конце файла.

[seriyPS]

Вы правы, плотно не занимался.
Стало быть mp4 потоково невозможно кодировать на этом сервисе?

[Kano]

Некоторые можно, а некоторые нет.
Есть хаки для mp4, которые переносят важную инфу в начало файла что бы осуществлять потоковое вещание, но по умолчанию все основные конвертеры формируют эту информацию в конце файла.

[Arceny]

$ cat /mnt/Films/Fast_Five_trailer_1.mp4 | ffmpeg -i — -acodec libfaac -ar 44100 -ab 128k -vcodec libx264 -s 640x272 -threads 0 -vpre fast -b 2048k out.mp4
// поскипано
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x19a0510] stream 1, offset 0x24: partial file
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x19a0510] Could not find codec parameters (Video: h264, 9305 kb/s)
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x19a0510] Could not find codec parameters (Audio: aac, stereo, s16, 152 kb/s)
pipe:: could not find codec parameters

Вот что бывает :)

[aib]

А чего так дорого то — $4 за гигабайт это вообще нереально.

[aefimov]

Как потом склеивать кусочки и что делать со звуком этих склеек? Что делать если в середине куочек не захочет конвертироваться? Многопоточная обработка видео лучше, чем такой псевдо-рилтайм. К тому же если аплод быстрый, то вас не спасет и пиление по кусочкам, только замедлит всё.

[CoF]

Технологические монстры уже давно кодируют видео во время загрузки, например ютуб — habreffect.ru/files/5b5/f9657a3da/111111111111111.png
(картинкой вставить карма не позволяет)

[CDN]

На свой CDNvideo написали API для конвертации на лету при загрузке файла в CDN. Может формировать сразу несколько выходных форматов и разрешений. Возможности аналогичны brightcove. Удобно для SVoD. Может использоваться в пакетном режиме для массовой конвертации с опросом статуса.