Обработка «видео 360», очистка изображения: алгоритм и его реализация на C#

[Eternalko]

Коммент про 360, не совсем относительно статьи.

Сферическая проекция это ужасное решение.
Выглядит плохо, много весит и еще куча мелких, но важных минусов.

Вид

Сферические видео имеют ужасные искажение на "полюсах". И даже качество картинки на "экваторе" тоже оставляет желать лучшего.
Мир с перспективы мухи смотрящей через замочную скважину это сомнительное удовольствие.

Энкодинг

В связи с тем, что даже малейшие изменения на полюсах приводят к изменению кадра на 30% поверхности ("верх" и "низ" занимают примерно по 30% вертикального разрешения), в результате весь битрейт занимают векторы движения на полюсах которые мало того что ужасно выглядят и на них никто не смотрит, так они еще и занимают половину "файла". В результате все CBR профили превращают видео в "мыло"

Если кто-то занимается 360 видео, бегите от сферической проекции как можно быстрее.

[Denis_Stolyarov]

Все верно. Однако по факту все видео 360 сейчас в сфере — камеры сшивают именно в сферу, а также YouTube и Facebook поддерживают именно сферическую развертку.
Почему именно так получилось — вопрос для размышлений.

[Eternalko]

Фейсбук куб. Не сфера.

Кто-то начал делать по тупому и yt пришлось это г. поддерживать.

[Denis_Stolyarov]

Спасибо, насчет фейсбука не знал.

[Eternalko]

Относительно задачи. Попробуйте перевести проекцию в куб и повторить задачу :)

[Denis_Stolyarov]

Разумеется, в кубе гораздо проще, т.к. нет сферических искажений. В этом случае задача сводится к относительно стандартному трекингу объектов на видео.

[Eternalko]

Тогда стоит вопрос: к чему эти извращения?)

[Sinucs]

А кто может объяснить, почему качество готовых видео уже присутствующих на youtube такое низкое?
В развёртке вроде очень даже ничего, а вот сшитое в сферу сразу пикселизированное получается у многих.

[Eternalko]

Все просто.

Пиксели

• Field of view на YT примерно 65° по "горизонтали" и примерно 60° по вертикали
• Возьмем видео из варкрафта которые автор дал выше.
• Самое большое разрешение это 2560 х 1440
• Следовательно реальная картинка которую "видно за раз" 2560 / 360 65 x 1440 / 180 60 ~~~> 460 x 480
• 80% скачанного и декодированного (попробуйте открыть видео 8k, процессор умрет) видео идет в мусорку
• 240p! Here we meet again!!!

Энкодинг

• Писал выше
• Профили на YT делают энкодинг под конкретное значение битрейта. Это условие стандарта MPEG-DASH
• Большинство байт в видео "уходит" на идиотский "верх" и "низ".
• В связи с этим на середину, гда обычно все самое интересное и происходит остается и того меньше.
• Результат мыло

Картинко для куба

[Inco]

Задачу можно решить геометрически: матрицу искажения мы знаем, рассчитываем обратную матрицу проектирования (узнаем радиус сферы, если не знаем). Трекая точки на последовательности, находим положение камеры в каждый момент. Итого, найдя 3д координаты углов таблички, мы на каждом кадре знаем, где она и её искаженная поверхность.