Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 58
Не совсем понятно, как оно 360 если оно только стерео. Или формат предполагает ИЛИ 360 или стерео? В стерео же головой крутить не получится и оно не совсем ВР. Или я вообще ничего не понял…
По поводу автоматической коррекции цвета — в последнем примере исправлено небо, а вот дерево по прежнему мигает. Визуально — там ошибка экспозиции и надо было глобально править, а не локально.
Пример с пешеходами — это вообще общая проблема самоделок, которые сложно синхронизировать. Хотя гопра, кажется, умеет синхронизироваться с соседями, но нужен спец-кабель. Мыльницы же ± пол-кадра фиг сведёшь.
По поводу автоматической коррекции цвета — в последнем примере исправлено небо, а вот дерево по прежнему мигает. Визуально — там ошибка экспозиции и надо было глобально править, а не локально.
Пример с пешеходами — это вообще общая проблема самоделок, которые сложно синхронизировать. Хотя гопра, кажется, умеет синхронизироваться с соседями, но нужен спец-кабель. Мыльницы же ± пол-кадра фиг сведёшь.
Если уменьшить диапазон камер с 360 до 150 и количество до пары камер, то получите вот эти вот самые проблемы левого/правого глаза. C 360 эта проблема только усиливается
у нас тут две широкоугольные камеры захватывающие 180 градусов, в обычном стерео вы захватываете кажется 120 градусов или вообще 90. поэтому некуда вращать головой. в 360 вы захватываете сразу всю панораму… и не обязательно в стерео… на самом деле большинство 360 видео пока плоские…
проблемы синхронизации никуда не денутся пока обе матрицы не будут распаяны на одной плате с паралельной синхронизацией частот питания и опроса данных.( тоесть у них должен быть один тактовый генератор)
проблемы синхронизации никуда не денутся пока обе матрицы не будут распаяны на одной плате с паралельной синхронизацией частот питания и опроса данных.( тоесть у них должен быть один тактовый генератор)
Т.е. там можно не крутить башкой, а так… покручивать слегка?
360 в стерео разве есть? IMHO это нереально. Хотя… если сделать блин, на котором закреплены камеры достаточно большим, и поставить много камер, то можно будет использовать не ту камеру, которая направлена в нужную сторону, а 2 смещённые от неё в разные стороны. Но хз что там будет с качеством, да и при повороте головы параллакс будет плавать.
По поводу синхронизации — гопра (вроде как) умеет работать по внешней синхре с помощью своего хитрого кабеля. Подробностей, к сожалению, не знаю.
360 в стерео разве есть? IMHO это нереально. Хотя… если сделать блин, на котором закреплены камеры достаточно большим, и поставить много камер, то можно будет использовать не ту камеру, которая направлена в нужную сторону, а 2 смещённые от неё в разные стороны. Но хз что там будет с качеством, да и при повороте головы параллакс будет плавать.
По поводу синхронизации — гопра (вроде как) умеет работать по внешней синхре с помощью своего хитрого кабеля. Подробностей, к сожалению, не знаю.
360 в стерео есть, но я видел только синтетику на Unreal Engine:
www.unrealengine.com/en-US/blog/capturing-stereoscopic-360-screenshots-videos-movies-unreal-engine-4
Там хитрый способ рендера узкими вертикальными полосками для левого и правого глаза. В IRL этому действительно могут соответствовать плотно расположенные по кругу камеры с узким горизонтальным (~5°) и широким вертикальным (180°) полем зрения.
Но опять же, стоит наклонить голову на бок…
www.unrealengine.com/en-US/blog/capturing-stereoscopic-360-screenshots-videos-movies-unreal-engine-4
Там хитрый способ рендера узкими вертикальными полосками для левого и правого глаза. В IRL этому действительно могут соответствовать плотно расположенные по кругу камеры с узким горизонтальным (~5°) и широким вертикальным (180°) полем зрения.
Но опять же, стоит наклонить голову на бок…
есть кстати надежда что с появлением четырёхкамерных квадратов у нас и по вертикали будет строится «стерео»… но вероятно для отображения этого понадобится новый способ рендера… без нейросетей точно не разберёмся… ну хоть пригодятся тензорные блоки в видеокартах…
Это т.н. разреженный световой поток — Sparse Light Field. Эта тема сейчас довольно глубоко прокапывается, там много интересного можно делать даже просто с фотографиями.
Именно так и делается — если расстояние между камерами по периметру равно стереопаре, то будет стерео во всем диапазоне 360 по горизонтали.
Будет. Но как быть с промежуточными положениями головы?
Да так же как и в предложенном VR 180… там же тоже стереопара камер не крутится при повороте головы, и фактически при виртуальном повороте на 90 вырождается в 0. Или достраивать алгоритмически, или перескакивать на следующую стереопару при угле зрения больше порога.
Т.е. запасаться аспирином. Понятно :(
Профессиональный способ решения проблем — это по горизонтали ставится минимум 16 камер. При этом «перескок» становится меньше, а значит кардинально меньше артефактов. И меньше аспирина )
Любители снимают с 2-мя fisheye — там только моно, но проблемы со стичингом только в 2 местах (правда большие)).
Любители снимают с 2-мя fisheye — там только моно, но проблемы со стичингом только в 2 местах (правда большие)).
Вот, кстати, проблемы со сведением мне непонятны. Камеры же зафискированны друг относительно друга. Почему нельзя их один раз откалибровать по сетке и дальше морфить геометрию под эту калибровку? Небольшая проблема с параллаксом у ближних объектов — это да, но часто видны явные перекосы.
Попробуйте снимать в суровой реальности. Камеры роняют, их неравномерно нагревает солнце, иногда что-то умудряется надавить на объектив, когда камера в сумке и т.д. и т.п. А разрешение большое и сдвиг на доли градуса — это уже пиксели, при том, что глаз может видеть даже сдвиг на полпикселя. По факту необходимо регулярно делать калибровку (что и делается с профессиональными камерами).
А это обязательно :) Очень уж много артефактов будет, которые тут описаны, так что обмануть зрение не получится. Да даже если ВСЕ решить — откуда взять параллакс при микроперемещениях головы в пространстве? В 3D очках его хоть достраивают, а тут взять неоткуда. Хотя, если будут использовать алгоритмы декомпозиции в карту глубин по стереопаре, оттуда до псевдо 3Д уже недалеко. Но блин это все сложно, не вяжется с любительским VR 360
Хотя, если будут использовать алгоритмы декомпозиции в карту глубин по стереопаре, оттуда до псевдо 3Д уже недалеко. Но блин это все сложноСейчас алгоритмы построения карт диспаритета (откуда строятся карты глубины) очень быстро прогрессируют. Фактически в каждом двуглазом (многоглазом) телефоне у вас строится карта диспаритета, причем для случая, когда расходятся и цвета, и резкость, и яркость. Технически там большая сложность в том, что очень многое патентуется, но алгоритмически конечные пользователи прогресс заметят очень быстро. (Профессиональные пользователи по крайней мере, обычные — не заметят.)
Всё, что сейчас «любительское» когда-то было очень дорогим и сложным, так что ждём :)
Кстати подумалось тут, что проблему наклона головы можно частично решить если сделать круговую матрицу с массивом линз. А лучше сферическую. Этакий глаз стрекозы. Не знаю, на сколько это реалистично и на сколько возрастёт сложность вычислений, но потенциально это может дать возможность совершать любые повороты.
Кстати подумалось тут, что проблему наклона головы можно частично решить если сделать круговую матрицу с массивом линз. А лучше сферическую. Этакий глаз стрекозы. Не знаю, на сколько это реалистично и на сколько возрастёт сложность вычислений, но потенциально это может дать возможность совершать любые повороты.
Всё, что сейчас «любительское» когда-то было очень дорогим и сложным, так что ждём :)Работаем над этим )
Кстати подумалось тут, что проблему наклона головы можно частично решить если сделать круговую матрицу с массивом линз. А лучше сферическую.Попыток было много, пока это слишком сложно и технически, и алгоритмически.
Захват светового поля (как у Litro), но равномерно размазанный по сфере — ну технически возможно, только ОЧЕНЬ дорого. А формат хранения страшно даже представить. Думаю, пока революции тут ждать не стоит. Google молодцы, выбрали самый нормальный вариант из легко осуществимого и продвигают его. А за счет своих алгоритмов и нейросетей могут попытаться вытянуть и более-менее правильный параллакс.
360 в стерео разве есть? IMHO это нереально.Video-360 в стерео конечно бывает, но очень редко. Слишком сложно снимать и исправлять потом (например, места стичинга в 360 выглядят на порядок хуже в стерео, чем в моно).
Но и эффект погружения больше. Поэтому при рендеринге часто делают в Video-360 стерео, лично видел как люди заморачивались с экскурсиями video-360 стерео (больше эффект погружения) и т.д.
Профессиональное Video-360 в стерео конвертируют, это дороже, но сегодня конвертация довольно неплохо отлажена и то качество, которое еще недавно было только в блокбастерах, сегодня стало вполне доступно.
проблемы синхронизации никуда не денутся пока обе матрицы не будут распаяны на одной плате с паралельной синхронизацией частот питания и опроса данных.( тоесть у них должен быть один тактовый генератор)К счастью такая точность синхронизации не нужна. По нынешним временам если расхождение будет меньше 1/100 cекунды — уже жить можно (в суровой реальности расхождение часто больше), поэтому производители интерфейс синхронизации предусматривают. Гуглится легко.
180 же, не 360.
А вот такой ламерский вопрос: а что бы не взять, например, матрицу, увеличить ее в 2 раза по, например, ширине, и не пускать на нее изображения с правой и левой линзы? Таким образом, не надо будет а) синхронизировать кадры между камерами, не будет расхождения между цветами(если срабатывает автокоррекция)?
Собственно так работают некоторые плёночные стереокамеры. Но вообще тут можно и просто 2 матрицы поставить. Дешевле будет.
Для стерео решает база — меж«зрачковое» расстояние. Пускать изображения на одну матрицу с разных оптических осей при большой базе — задача с одной стороны тривиальная (стереотруба), а с другой готовых таких матриц нет широких, и призм под это дело тоже нет.
А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.
А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.
А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.Вопрос, какое количество проблем каждым инженерным решением решается и сколько привносится )
А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.
Здравствуй, построчный перенос!
А вот такой ламерский вопрос: а что бы не взять, например, матрицу, увеличить ее в 2 раза по, например, ширине, и не пускать на нее изображения с правой и левой линзы? Таким образом, не надо будет а) синхронизировать кадры между камерами, не будет расхождения между цветами(если срабатывает автокоррекция)?Если вы погуглите Stereo 70, то даже существовали даже профессиональные подобные аналоговые системы и специальные объективы для них.
Вполне возможно через какое-то время развитие пойдет по спирали и мы увидим что-то подобное в цифре )
Плюсов одной матрицы действительно довольно много.
в том что для синхронизации нам нужно будет считывать с матрицы данные левого верхнего пикселя для одного глаза одновременно с левым верхним пикселем для другого… ЕМНИП матрицы сейчас всё ещё опрашивают пиксели по порядку, поэтому нам проще иметь две идентичные синхронизированные на уровне тактового генератора и симметричной топологии пути сигнала по плате матрицы( хотя возможно это уже перебор и заметно будет только на высокоскоростной съёмке но вроде как устраняет потенциал разрыва полностью)
К счастью сегодня эта инженерная проблема уже решена )
вот я тоже подумал что вроде нет никакой сложности это сделать… просто большинство даже не осознало что это нужно делать.
Вы обижаете производителей ).
Сейчас проводится очень много разных экспериментов, в т.ч. весьма прикольных (буквально сегодня общался коллегами, работающими в крупном производителе смартфонов), просто чтобы технология выстрелила должно сойтись довольно много звезд. Большинство технологий морозятся и остаются максимум патентами. Это нормально.
Сейчас проводится очень много разных экспериментов, в т.ч. весьма прикольных (буквально сегодня общался коллегами, работающими в крупном производителе смартфонов), просто чтобы технология выстрелила должно сойтись довольно много звезд. Большинство технологий морозятся и остаются максимум патентами. Это нормально.
я скорее про тех кто контенткриэйтит чем про тех кто для них делает инструменты… у создателей инструментов всегда понимание нужд на три шага вперёд…
Создателям контента, особенно если это пользователи (да и профессиональным, если честно), нужно довольно много условий, чтобы процесс был достаточно простым и проходимым (для профессиональных). В этом плане гугл с поддержкой VR180 на YouTube очень сильный шаг сделала. Дальше железо и софт. Возможно с софтом гугл поможет.
Большое спасибо за статью, заждался от вас статей.
Планируете ли статьи модных нынче технологий улучшения изображений HDR, HDR+, Dolby Vision?
Планируете ли статьи модных нынче технологий улучшения изображений HDR, HDR+, Dolby Vision?
Большое спасибо за статью, заждался от вас статей.Приятно слышать)
Планируете ли статьи модных нынче технологий улучшения изображений HDR, HDR+, Dolby Vision?Мы все больше про видео. И там есть о чем писать. Например, о том, как пленоптическое видео пробивает себе дорогу в жизнь. Или про камеры глубины. И еще много интересного. Надеюсь, дойдут руки. )
А мне кажется, или прямо верхний кадр приведённый в статье стереокартинки, уже расплывшийся? Я если развожу глаза чтоб совместить кадры, результат мерцает аж мама не горюй…
Большинство кадров можно открыть в полный размер.
Проверять стерео разведением глаз крайне не рекомендуется ) (это как расхождение по цвету оценивать в анаглифе))). Лучше посмотрите видео по ссылке через google cardboard, благо они недороги (особенно на алиэкспресс).
Проверять стерео разведением глаз крайне не рекомендуется ) (это как расхождение по цвету оценивать в анаглифе))). Лучше посмотрите видео по ссылке через google cardboard, благо они недороги (особенно на алиэкспресс).
Почему не рекомендуется? Для стереокартинок же работает :D
я понимаю, что искажения по углам не выровнены и тд… А cardboard на работе валяется, дома нету =)) пытался посмотреть что там
я понимаю, что искажения по углам не выровнены и тд… А cardboard на работе валяется, дома нету =)) пытался посмотреть что там
Тут картинка будет странная. Это же fisheye, у него у стерео максимальная стереобаза в центре и она сходит на ноль к краям кадра, при этом на краях довольно сильные искажения. Когда вы смотрите это все в кардборде, вам вырезается кусок кадра, который примерно соответствует привычному углу зрения, при этом если вы смотрите ближе к краю — края начинают стробить и вы интуитивно смотрите вперед и вокруг и все ок. А когда смотреть на стерео fisheye как на кадр, это слишком необычно для мозга )
Т.е. основное — угол зрения.
Т.е. основное — угол зрения.
Масса вариантов ). Начиная от аккомодации глаз по цвету (зависит даже от того, насколько разное время вы держали глаза закрытыми), через варианты дальтонизма и далее дейтераномалия, протаномалия… Точно может сказать окулист. Но наиболее вероятно, что просто разное время держали глаза закрытыми или они были уставшими )
Конечно подобные вещи делали еще с аналоговыми фотоаппаратами. Суть в том, что гугл уже поддержал этот формат на YouTube, а Xiaomi уже выпустила недорогую камеру, т.е. потенциально возможно создание достаточно массового формата.
У 3D телевизоров шансов по нескольким причинам практически не было (подробно писал в комментариях тут). Контент для их размера диагонали почти не снимался.
А так — каждая технология проходит несколько этапов. В VR сейчас многое делается столь же ужасно, как в стерео-3D. Поэтому эта попытка гугла вполне может быть неудачной, но последней она точно не будет ) И скорость совершенствования технологий очень неплохая.
А так — каждая технология проходит несколько этапов. В VR сейчас многое делается столь же ужасно, как в стерео-3D. Поэтому эта попытка гугла вполне может быть неудачной, но последней она точно не будет ) И скорость совершенствования технологий очень неплохая.
То, что я вижу — компании активно развивают сразу несколько направлений объемного захвата и воспроизведения видео. Это и пленоптика, это и мощнейшая реинкарнация стерео на мобильниках (пока используется для вытягивания максимума из 2D фото, но они все строят карту глубины, которая критически полезна для AR), это и новые эксперименты с лентикуляром и параллаксным барьером. Другое дело, что видят это все пока в основном на выставках и в лабораториях компаний. И чтобы технология стала массовой — нужно решение пачка инженерных и алгоритмических задач. Что не быстро. А так — несколько революций готовятся )
Возможно ли получить всеракурсное стереоизображение от камер светового поля вроде Lytro? Принцип построения картинки там схож с голограммой, на готовом снимке возможно фокус менять например.
Да, конечно. Насчет всеракурсности там ограничения, конечно, но тем не менее.
Google купила Lytro примерно полгода назад. И очень хороший вопрос, как гугл технологии Litro использует.
Там много интересного.
Google купила Lytro примерно полгода назад. И очень хороший вопрос, как гугл технологии Litro использует.
Там много интересного.
Похоже с камерами в смартфонах та же история как в своё время с лезвиями у бритвенных станков: два, нет три, нет пять, кто больше ??? Размер дисплея упёрся в фронтальный размер лопатофона, а тот в свою очередь в то что руки пользователей не так быстро эволюционируют как бредни дизайнеров и минетжеров. Похоже кол-во камер тоже упрётся в размер тыльной стороны лопатофонов… Ох, не хотелось бы…
Очень приятно, что вы вернулись!
И вдвойне приятно, что новая статься такая же интересная, как и старые-добрые.
Надеюсь, что впредь интервалы между статьями будут поменее, чем между последней и предпоследней. =)
И вдвойне приятно, что новая статься такая же интересная, как и старые-добрые.
Надеюсь, что впредь интервалы между статьями будут поменее, чем между последней и предпоследней. =)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Будущее VR видео — VR180 от Google