Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 30
Навскидку могу придумать следующий способ получать качественный 3d контент:
— снять контент с N камер. Цветопередача, яркость, сдвиги и повороты в итого не будут иметь значения.
— построить некую (не обязательно 100% полную) единую 3d модель, с учетом материалов, бликования etc (да, очень-очень сложно, но в принципе — решаемо).
— отрендерить полученную модель для нужных позиций камер (хоть 100 пар — для разных размеров экранов).
— снять контент с N камер. Цветопередача, яркость, сдвиги и повороты в итого не будут иметь значения.
— построить некую (не обязательно 100% полную) единую 3d модель, с учетом материалов, бликования etc (да, очень-очень сложно, но в принципе — решаемо).
— отрендерить полученную модель для нужных позиций камер (хоть 100 пар — для разных размеров экранов).
С многокамерными системами и многоракурсными дисплеями уже около 20 лет идет плотная работа и довольно хорошее развитие. Серийно выпускаются 24- и 96-ракурсные проекционные системы, есть 200-ракурсные экспериментальные. Мы, непосредственно работаем с 28-ракурсным дисплеем (вот только не проекционным и потому там не совсем 28 ;).
Короче, работы в этом направлении идут, вот только с решением проблем там не все волшебно. И сдвиги-яркость там имеют большое значение, и достаточно даже небольшой полупрозрачности (например motion blur при движении), как качественный рендеринг с другой позиции станет очень сложным. Можете погуглить про видеоматтинг.
А в целом — да, развитие в этом направлении идет, только намного медленнее, чем кажется по рекламным материалам.
Короче, работы в этом направлении идут, вот только с решением проблем там не все волшебно. И сдвиги-яркость там имеют большое значение, и достаточно даже небольшой полупрозрачности (например motion blur при движении), как качественный рендеринг с другой позиции станет очень сложным. Можете погуглить про видеоматтинг.
А в целом — да, развитие в этом направлении идет, только намного медленнее, чем кажется по рекламным материалам.
Проходя мимо просто спрошу: а в 3d анимации, к примеру в мультиках таких проблем нет?
Если кратко — есть. Хотя бы, как ошибки, от которых никто не застрахован.
Даже в «Аватаре» есть сцена на Пандоре, где оптические оси виртуальных камер не лежат в одной плоскости. Да, это рендеринг, да, у кого-то дрогнула мышка, а это не заметили. Бывает. Но, конечно, на порядок-другой реже, чем при съемке.
Даже в «Аватаре» есть сцена на Пандоре, где оптические оси виртуальных камер не лежат в одной плоскости. Да, это рендеринг, да, у кого-то дрогнула мышка, а это не заметили. Бывает. Но, конечно, на порядок-другой реже, чем при съемке.
Блин, ребята, проблема не в фильмах, а в технологии, с помощью которой человек воспринимает 3D-эффект.
Смотрел фильм Tekken еще пару лет назад — в полном 3D без очков на нинтендовской 3DS: ничего не болит, голова не кружится, кровь носом не идет. Не говоря уж о сотнях часов проведенных в играх (Monster Hunter, например).
На хендхелде сотни игр, миллионы пользователей. И насколько знаю из общения с другими геймерами, с 3D плохо только у тех, кто уже имеет нарушение зрения (близорукость, дальнозорскость, астигматизм и т. д.)
Название статьи категорично — «Почему от 3D болит голова». «Почему голова МОЖЕТ болеть у НЕКОТОРЫХ пользователей» ближе к правде. А текущим названием вы отпугиваете людей от клевой технологии и классных ощущений. В общем, 3D бояться не надо — это отличная вещь.
Смотрел фильм Tekken еще пару лет назад — в полном 3D без очков на нинтендовской 3DS: ничего не болит, голова не кружится, кровь носом не идет. Не говоря уж о сотнях часов проведенных в играх (Monster Hunter, например).
На хендхелде сотни игр, миллионы пользователей. И насколько знаю из общения с другими геймерами, с 3D плохо только у тех, кто уже имеет нарушение зрения (близорукость, дальнозорскость, астигматизм и т. д.)
Название статьи категорично — «Почему от 3D болит голова». «Почему голова МОЖЕТ болеть у НЕКОТОРЫХ пользователей» ближе к правде. А текущим названием вы отпугиваете людей от клевой технологии и классных ощущений. В общем, 3D бояться не надо — это отличная вещь.
Вы совершенно правы, что если смотреть качественный контент на качественном оборудовании — проблемы КРАЙНЕ редки.
Рендеринг игр (если не брать ошибок) — достаточно качественный контент. Качество оборудования — тоже растет. И все, что нужно — это разбираться в предмете.
А то люди покупают активные очки (да еще дешевые), играют в те же игры до полной рези в глазах (а даже индусы по работе больше 6 часов даже в дорогих активных очках не выдерживают) — а потом ругают всех и вся. )
Подробнее про оборудование было в первой части статьи. Вы почитайте там комментарии. ) Большинство людей рассуждает не как вы, а пробует что-то достаточно дешевое и некачественно, обжигается и начинает на любое 3D ругаться. )
Рендеринг игр (если не брать ошибок) — достаточно качественный контент. Качество оборудования — тоже растет. И все, что нужно — это разбираться в предмете.
А то люди покупают активные очки (да еще дешевые), играют в те же игры до полной рези в глазах (а даже индусы по работе больше 6 часов даже в дорогих активных очках не выдерживают) — а потом ругают всех и вся. )
Подробнее про оборудование было в первой части статьи. Вы почитайте там комментарии. ) Большинство людей рассуждает не как вы, а пробует что-то достаточно дешевое и некачественно, обжигается и начинает на любое 3D ругаться. )
У меня нет проблем со зрением, но от 3D впечатление о фильме, просмотренном в кинотеатре, сильно портится.
Во-первых, никаких тебе сочных цветов.
Во-вторых, фигня перед глазами на носу 2-2,5 часа.
В-третьих, реально болит голова.
Классные ощущения? Не думаю.
Во-первых, никаких тебе сочных цветов.
Во-вторых, фигня перед глазами на носу 2-2,5 часа.
В-третьих, реально болит голова.
Классные ощущения? Не думаю.
Да-да, я так и написал — зависит от технологии. В кинотеатрах 3D мне тоже не нравится.
Таких как у вас отзывов — очень много.
Именно поэтому, хотя мы с коллегами специалисты в обработке видео, первой статьей цикла была статья про проблемы оборудования.
Пересказывать ее не буду — там все подробно.
А кратко — знайте, что НА ВАС ЖЕСТОКО ЭКОНОМЯТ. В большинство залов в России оборудования ставится исходя из минимизации его цены. Поскольку даже в Москве и Питере, где есть выбор, народ предпочитает ходить по самым дешевым билетам. И людей не смущает появление мерцания, десятикратное падение яркости, мутные б/у очки, бликующий потолок зала, стробящие в очках надписи «Выход» справа и слева от экрана и далее по списку.
До тех пор, пока люди не будут оставлять честные отзывы на страницах кинотеатра в Афише или Кинопоиске, а будут массово ходить исходя из цены билета — у владельцев залов не будет никакого стимула использовать что-либо кроме самого дешевого китайского оборудования.
Свежие новости — за 2014 год количество 3D залов в России выросло с 3048 до 3753 (на 705 залов) — рост больше 20%. За один год — это очень неплохо. И это была бы неплохая новость, если бы не тот факт, что количество систем из разряда «Другие производители» (среди которых очень много Китая) не увеличилось бы на 301 (из 705 — т.е. 42%). Если учесть, что за прошлые годы было установлено всего 837 таких залов, очевидно, что владельцы залов в 2014 взяли курс на еще большую экономию. И это при том, что раньше залы довольно значительно отличались от залов в США и Европе в худшую сторону.
И быстро эта ситуация не поменяется. Установленное дешевое оборудование должно окупиться. А значит те, кто будет туда ходить — будут страдать.
Берегите себя! Если есть выбор — не ходите в залы, где установлено дешевое оборудование!
Именно поэтому, хотя мы с коллегами специалисты в обработке видео, первой статьей цикла была статья про проблемы оборудования.
Пересказывать ее не буду — там все подробно.
А кратко — знайте, что НА ВАС ЖЕСТОКО ЭКОНОМЯТ. В большинство залов в России оборудования ставится исходя из минимизации его цены. Поскольку даже в Москве и Питере, где есть выбор, народ предпочитает ходить по самым дешевым билетам. И людей не смущает появление мерцания, десятикратное падение яркости, мутные б/у очки, бликующий потолок зала, стробящие в очках надписи «Выход» справа и слева от экрана и далее по списку.
До тех пор, пока люди не будут оставлять честные отзывы на страницах кинотеатра в Афише или Кинопоиске, а будут массово ходить исходя из цены билета — у владельцев залов не будет никакого стимула использовать что-либо кроме самого дешевого китайского оборудования.
Свежие новости — за 2014 год количество 3D залов в России выросло с 3048 до 3753 (на 705 залов) — рост больше 20%. За один год — это очень неплохо. И это была бы неплохая новость, если бы не тот факт, что количество систем из разряда «Другие производители» (среди которых очень много Китая) не увеличилось бы на 301 (из 705 — т.е. 42%). Если учесть, что за прошлые годы было установлено всего 837 таких залов, очевидно, что владельцы залов в 2014 взяли курс на еще большую экономию. И это при том, что раньше залы довольно значительно отличались от залов в США и Европе в худшую сторону.
И быстро эта ситуация не поменяется. Установленное дешевое оборудование должно окупиться. А значит те, кто будет туда ходить — будут страдать.
Берегите себя! Если есть выбор — не ходите в залы, где установлено дешевое оборудование!
Но как узнать заранее?
К тому же, если в том же кинотеатре на премьере (с проверкой прокатчика) новые лампы стоят, а потом они меняются на тусклые.
К тому же, если в том же кинотеатре на премьере (с проверкой прокатчика) новые лампы стоят, а потом они меняются на тусклые.
Разница яркости между разными залами может быть больше 10 раз. А разница между дорогими и дешевыми лампами — 1,5-2 раза. Т.е. кардинально картина не меняется, нельзя быстро сменить проектор, экран, задрапировать потолок, поставить 2 проектора, поставить проектор ближе к экрану и т.д. По опыту — если в кинотеатре отстой (например, тупо проектор не наведен на резкость) — проблема может сохранятся неделями, пока ее заметят и исправят. И почти никогда об этом никто нигде не пишет. В этом смысле наша аудитория, конечно, не китайская (там вообще звиздец творится), но и совсем не американская. Что приводит к тому, что владельцам залов нет смысла ни ставить дорогое оборудование, ни больше платить персоналу, чтобы плотнее следить за оборудованием, ни покупать очки чуть подороже, чем совсем уж дешевые.
Ситуация меняется, но крайне медленно. А владельцы (см. ответ выше) — еще сильнее начинают экономить на качестве оборудования.
Со временем все безусловно улучшится, уже хотя бы потому, что в том же Китае активно разрабатывают лазерные проекторы и даже самое дешевое оборудование постепенно растет по качеству. Но это не очень быстрый процесс.
В любом случае лучше представлять себе, за что платятся деньги, если в одном зале билет строит в 2 раза больше, чем в другом. Когда это плата за качество, а когда за маркетинг. И лучше всего здесь будут работать отзывы, поскольку у разных людей разная чувствительность в т.ч. к проблемам разных технологий.
Ситуация меняется, но крайне медленно. А владельцы (см. ответ выше) — еще сильнее начинают экономить на качестве оборудования.
Со временем все безусловно улучшится, уже хотя бы потому, что в том же Китае активно разрабатывают лазерные проекторы и даже самое дешевое оборудование постепенно растет по качеству. Но это не очень быстрый процесс.
В любом случае лучше представлять себе, за что платятся деньги, если в одном зале билет строит в 2 раза больше, чем в другом. Когда это плата за качество, а когда за маркетинг. И лучше всего здесь будут работать отзывы, поскольку у разных людей разная чувствительность в т.ч. к проблемам разных технологий.
Сходил по ссылкам на предыдущие статьи из цикла, решил, что мой вопрос наиболее подходит к этой статье (хотя и сюда, наверное, не вполне подходит...).
Когда я смотрю 3D в кинотеатре, мои глаза устают прежде всего от того, что в кадре как будто бы только одна точка фокусировки (чаще всего в центре кадра), на которую я, по замыслу, должен непрерывно смотреть, тогда всё остальное будет в «правильной» для глаза расфокусировке. Как только я фокусируюсь на какой-то другой точке экрана, всё сразу «плывёт». Вон, я рассматриваю тот кустик на заднем плане, который, судя по стереопаре, находится на таком-то расстоянии, фокусирую зрение на нем, а он все такой же размытый (потому что так снято, он в кадре уже размытый и ничего с этим не сделать!). Получается, что глаза вроде как делают все правильно, а картинка все такая же несфокусированная. Почему так делают и почему с этим не борются (или борются?)
И еще один вопрос, пожалуй: если зритель сидит достаточно далеко от центра экрана (например, на крайних местах ряда), он смотрит на экран под углом, и перспектива неминуемо плывет. Оказывает ли это существенное влияние на восприятие 3D, или тут как раз мозг успешно «компенсирует» это так же, как и в случае с 2D-изображением? (К счастью / к сожалению, на себе такой просмотр «сбоку» не тестировал, поэтому это не вопрос «вот как плохо выходит, как это исправить», а просто любопытство).
Когда я смотрю 3D в кинотеатре, мои глаза устают прежде всего от того, что в кадре как будто бы только одна точка фокусировки (чаще всего в центре кадра), на которую я, по замыслу, должен непрерывно смотреть, тогда всё остальное будет в «правильной» для глаза расфокусировке. Как только я фокусируюсь на какой-то другой точке экрана, всё сразу «плывёт». Вон, я рассматриваю тот кустик на заднем плане, который, судя по стереопаре, находится на таком-то расстоянии, фокусирую зрение на нем, а он все такой же размытый (потому что так снято, он в кадре уже размытый и ничего с этим не сделать!). Получается, что глаза вроде как делают все правильно, а картинка все такая же несфокусированная. Почему так делают и почему с этим не борются (или борются?)
И еще один вопрос, пожалуй: если зритель сидит достаточно далеко от центра экрана (например, на крайних местах ряда), он смотрит на экран под углом, и перспектива неминуемо плывет. Оказывает ли это существенное влияние на восприятие 3D, или тут как раз мозг успешно «компенсирует» это так же, как и в случае с 2D-изображением? (К счастью / к сожалению, на себе такой просмотр «сбоку» не тестировал, поэтому это не вопрос «вот как плохо выходит, как это исправить», а просто любопытство).
Сходил по ссылкам на предыдущие статьи из цикла, решил, что мой вопрос наиболее подходит к этой статье (хотя и сюда, наверное, не вполне подходит...).Вопрос к 1 или 4 статье, и уже отвечался в 4-й ), не в немного другой постановке. Отвечу )
Когда я смотрю 3D в кинотеатре, мои глаза устают прежде всего от того, что в кадре как будто бы только одна точка фокусировки..., тогда всё остальное будет в «правильной» для глаза расфокусировке.… Вон, я рассматриваю тот кустик на заднем плане, который, судя по стереопаре, находится на таком-то расстоянии, фокусирую зрение на нем, а он все такой же размытый (потому что так снято!). Получается, что глаза вроде как делают все правильно, а картинка все такая же несфокусированная. Почему так делают и почему с этим не борются (или борются?)
Так делают по нескольким причинам:
1. Фильмы снимают так, чтобы показывать их и в 2D, и в 3D версиях. При этом в 2D версии для того, чтобы привлечь ваше внимание к «правильной» области кадра, куда нужно смотреть, остальная область несколько размывается.
2. У размывания фона масса плюсов — начиная от того, что зритель успевает увидеть висящее на стене ружье (которое в конце должно выстрелить) и заканчивая тем, что меньше ошибок видно. Грамотные операторы планируют переходы между сценами так, чтобы даже при вроде как хаотичном экшине ваши глаза не скакали по кадру, а плавно перемещались, даже если меняются сцены. Это заметно увеличивает комфорт при просмотре.
Основной минус — 3D, если размывать фон и кто-то будет на фон смотреть — это будет вызывать дискомфорт. Т.е. если фильм снимается только для 3D, фон на нем можно сделать более резким, а внимание привлекать и удерживать за счет вылетов объектов переднего плана (та же цель достигается другими средствами).
Плохая для вас новость: Пока слишком дорого делать две версии с разным размытием фона. Однако через какое-то время это вполне может стать возможно.
И еще один вопрос, пожалуй: если зритель сидит достаточно далеко от центра экрана (например, на крайних местах ряда), он смотрит на экран под углом, и перспектива неминуемо плывет. Оказывает ли это существенное влияние на восприятие 3D, или тут как раз мозг успешно «компенсирует» это так же, как и в случае с 2D-изображением? (К счастью / к сожалению, на себе такой просмотр «сбоку» не тестировал, поэтому это не вопрос «вот как плохо выходит, как это исправить», а просто любопытство).Лучше не тестируйте. Это, конечно, влияет. И мозг компенсирует плохо. Более того — если используются пассивные очки (RealD, IMAX, MasterImage), то там crosstalk (то, насколько один ракурс просвечивает в другом) сильно зависит от угла, под которым вы смотрите. Т.е. на боковых местах вы будете страдать от двоения объектов. Думаю, что это лишнее. )
На практике это означает, что лучше сидеть дальше «VIP» мест с повышенной ценой (обычно в центре зала), чем сбоку. Если это не премьера и места есть, то даже если забыли спросить и купили сбоку — лучше пересесть на задние ряды, но в центр ряда.
Хорошо видны нелинейные искажения объектов сцены, которые невозможно исправить поворотом и которые вообще сложно исправить. Мы видим, что люди стоят вертикально, однако, с точки зрения воспринимаемой глубины их туловища заметно и “невозможно” наклонены. Этот средний план также явно снимался на side-by-side стереориг с конвергенцией осей камер.
Насколько я понимаю теорию, кадр кинокамеры — это не просто 2D картинка, а его можно считать этакой неполной панорамой. 2 кадра — это 2 неполных панорамы. Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
Проблемы, которые я вижу:
Чтобы 2D картинку посчитать куском панорамы, нужно знать фокус. В виртуальном пространстве помещаем картинку на этом расстоянии от центра, проецируем на сферу вокруг центра — и вот он, кусок панорамы. А в реальности фокус мы не знаем (ведь не знаем же?). Плюс, кадры могут быть так обрезаны, что для получения панорамы нормаль из центра на плоскость картинки должна попасть в некую точку, отличную от её центра. То есть, в общем случае для обоих кадров надо подбирать проективные искажения, которые бы сделали их соответствующими друг другу кадрами левый/правый.
По моему опыту обратной коррекции перспективы в GIMP, некоторые камеры дают подушкообразные искажения, прямые линии перестают быть прямыми, и всё становится сложнее. Но мне кажется, для стерео такие камеры должны заведомо не подходить, они будут портить все кадры.
В связи с этим у меня, как у программиста, рождаются мысли, что, чтобы ограничить подобные проблемы в будущем, в видеокадры должны внедряться метки, такие как фокус, центр картинки, а для 3D видео — максимальный параллакс, и инструменты должны эти метки понимать и не позволять делать некорректные операции.
Насколько я понимаю теорию, кадр кинокамеры — это не просто 2D картинка, а его можно считать этакой неполной панорамой. 2 кадра — это 2 неполных панорамы. Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Но есть 3 крупных проблемы:
1. Сегодня весьма сложно построить карту диспаритета (а, фактически, карту глубины), чтобы получилось аккуратно и без ручной работы (см. 4 часть, там есть ссылки и примеры)
2. Огромная проблема — полупрозрачные объекты, достаточно просто motion blur — как при сдвиге артефакты бросаются в глаза
3. И еще одна большая проблема — чем заполнять образующиеся области открытия при сдвиге-вращении объектов.
Сегодня на практике в студиях все три проблемы решаются с ручной работой (часто большой), что делает очень дорогим исправление.
По моему опыту обратной коррекции перспективы в GIMP, некоторые камеры дают подушкообразные искажения, прямые линии перестают быть прямыми, и всё становится сложнее. Но мне кажется, для стерео такие камеры должны заведомо не подходить, они будут портить все кадры.Там делается проще. Если параметры объектива известны — «подушка» исправляется сразу.
В связи с этим у меня, как у программиста, рождаются мысли, что, чтобы ограничить подобные проблемы в будущем, в видеокадры должны внедряться метки, такие как фокус, центр картинки, а для 3D видео — максимальный параллакс, и инструменты должны эти метки понимать и не позволять делать некорректные операции.Если бы все было так просто ))). Начнем с того, что часто даже просто оценить диспаритет в реальном времени — крайне сложно (из-за того, что ракурсы разные по цвету, резкости и т.п.) и там еще много проблем. И заканчивая тем, что, вы будете удивлены, но спрос и на контроль и на исправление стерео весьма слаб. В основном пипл хавает не разбираясь и у лиц, принимающих решение, пока нет стимула платить за улучшение качества. Возможно ситуация изменится в следующую волну популярности 3D (скорее всего после 17-18 года и 2-3 Аватара).
Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Нет, про проективные преобразования там не было, а такую тяжёлую артиллерию, как реконструкция стереоизображения с другой шириной областей закрытия/открытия, я не имел в виду. Я, возможно, не так их назвал, но то, что я имею в виду, описывается формулами:
x2 = (a*x + b*y + c)/(d*x + e*y + f)
y2 = (g*x + h*y + i)/(d*x + e*y + f)
Тут 9 коэффициентов, но все их можно смаштабировать на ненулевой коэффициент, поэтому здесь только 8 степеней свободы.
Здесь написано:
Отображение, обратное проективному, является проективным отображением. Композиция проективных отображений является проективным. То есть, множество проективных отображений образует группу.
Аффинное преобразование является частным случаем проективного.
А повороты и трансляции, являясь подмножествами множества аффинных преобразований, являются и проективными преобразованиями тоже.
Так вот, если прямоугольник, соответствующий одному кадру, поставить в пространстве на некоем расстоянии от фокуса, сделать какие–то повороты, а потом спроецировать на какую–то плоскость, или, наоборот, не вращать прямоугольник, а проецировать на другую плоскость, то с некоторой оговоркой это будет применение проективного преобразования. Оговорка касается точек, которые проецируются на полусферу за наблюдателем: в проективных преобразованиях изображение из затылка накладывается с поворотом на 180° на изображение из глаз. Это уже вопрос видимости, а не геометрии.
Если бы все было так просто ))). Начнем с того, что часто даже просто оценить диспаритет в реальном времени — крайне сложно (из-за того, что ракурсы разные по цвету, резкости и т.п.) и там еще много проблем.
А мне кажется, что просто. Вот, допустим, при съёмках любая вменяемая камера даёт изображение такое, что ось проходит через центр кадра, вот этот центр кадра и нужно вшить в метку. А если кадр как–то обрезается, то ось уже не в центр кадра попадает, а в другую точку, и инструменты, обрезающие кадр, должны эту метку поправлять. Далее, фокус должен вшиваться камерами. Насколько я понимаю, вся оптика находится на камерах, и сама камера по расстояниям между линзами может определить фокус в физических величинах и фокус в пикселах, и вшить их оба. Чтобы уменьшить количество степеней свободы, в которых нам нужно искать, как поправить кадр, более критичен фокус в пикселах.
Далее, при создании 3D нужно объединить две картинки с двух ракурсов, причём, после объединения оси (где через кадры проходят оси, должно быть понятно по ранее вшитой метке) должны быть разведены на некоторое количество пикселов — и при объединении мы просто вшиваем это число, а потом при каждой трансформации просто поддерживаем в актуальном состоянии. И без всяких карт диспаритета.
Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Нет, про проективные преобразования там не было,
Было про то, как можно в разумных пределах «двигать» ось виртуальной камеры)
А про проективные искажения, которые возникают из-за того, что оптические оси камер не лежат в одной плоскости — там было мельком. Мы через какое-то время собираемся ловить такие искажения целенаправленно. В принципе это подмножество вертикального сдвига обычно, но намного более дискомфортное.
Возвращаясь к вашей исходной цели:
Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
В теории — это действительно сделать можно. Но как будете заполнять области открытия теперь уже возникающие над и под объектами? )
объединении мы просто вшиваем это число, а потом при каждой трансформации просто поддерживаем в актуальном состоянии. И без всяких карт диспаритета.
Ключевое слово «при каждой трансформации». Как ее проводить без карт диспаритета? )
В теории — это действительно сделать можно. Но как будете заполнять области открытия теперь уже возникающие над и под объектами? )
Я ещё раз говорю, я не рассматриваю такую тяжёлую артиллерию. Мы делаем с обоими кадрами проективное преобразование, и никаких областей дополнительных не появляется и не убавляется. Берём сцену, находим в ней несколько острых углов предметов, эти углы в каждом кадре после преобразований должны оказаться на одной горизонтали. Для каждого острого угла создаём уравнение для идеального случая. Идеальным он, скорее всего, не получится, так что вместо решения уравнения минимизируем сумму квадратов разностей левых и правых частей уравнений. Несколько степеней свободы придётся устранить другим способом. Так, например, вдоль оси, проходящей через центры обоих глаз, можно вращаться, оставляя парные точки на одной горизонтали. От этой степени свободы можно избавиться, добившись того, чтобы после преобразований пришлось как можно меньше обрезать. У проективного преобразования 8 степеней свободы, а для двух глаз — 16. С другой стороны, если мы ограничиваемся проекцией прямоугольника (2 степени свободы, где может проходить ось) на сферу (1 степень свободы для фокусного расстояния, мне кажется, общая для ракурсов), делаем поворот (3 степени свободы вращения) и снова проецируем с тем же фокусом на прямоугольник, так что ось попадает в фиксированное положение, у нас получается 2*2 + 1 + 2*3 — 1 = 10 степеней свободы, а не 16. Последняя -1 — это вращение вдоль оси, проходящей через глаза. 10 острых углов найти, и уже можно с чего–то начинать.
Ключевое слово «при каждой трансформации».
Под трансформациями я имел в виду увеличения и обрезания кадра. Предполагается, что инструментарий будет делать их синхронно и поддерживать метки. Ну, то есть, если кадр обрезан, то, зная, в каких точках были оси, можно посчитать, в каких координатах они окажутся после обрезания. Если увеличен, то пропорционально изменить фокус в пикселах и PPI. Ну и прочие преобразования, когда у кого–то ошибается простым образом.
Я ещё раз говорю, я не рассматриваю такую тяжёлую артиллерию. Мы делаем с обоими кадрами проективное преобразование, и никаких областей дополнительных не появляется и не убавляется.
А, так у вас все в плоскости кадра! Меня сбило в начале «можно поворачивать в нужном направлении по всем 3м осям вращения ». ) Ну результаты примерно такого выше показаны ;)
Берём сцену, находим в ней несколько острых углов предметов, эти углы в каждом кадре после преобразований должны оказаться на одной горизонтали.
Сразу скажу — у вас будут проблемы с таким подходом, ибо киношники любят небольшую глубину резкости (про это будет подробно в 8-й части), и все feature points based подходы начинают жестко лажать.
Под трансформациями я имел в виду увеличения и обрезания кадра.Теперь понял ). У вас намного проще подход, чем я изначально подумал.
У вас в целом мысль в правильном направлении. Только в жизни, если для кино алгоритм делать все будет сложнее.
1. Вам будет мешать, что регулярно совсем передний или (чаще) задний план не в фокусе. И если в центре кадра лицо в фокусе, а кадр разъехался по геометрии — вы его «с углами» не поправите.
2. Если оптические оси камер не лежат в одной плоскости (что на практике бывает регулярно), у вас все разойдется.
3. Очень часто спецэффект оказывается наложен идеально, а исходный кадр — сильно расходится. Таких сцен, например, даже в «Аватаре» хватает, когда сцена снята криво, а фантастические дисплеи у операторов — выровнены идеально. И что с этим делать?
4. Иногда для съемки применяют ротоскоп для того, чтобы сделать какой-то объект больше, или изменить цвет или даже поправить геометрию через ротоскоп руками. Тогда, даже несмотря на то, что это съемка у вас разные объекты могут гулять по-разному.
И это не полный список )))
Я убедил, что там все очень весело? )))
Схема с тремя параметрами (сдвиг/зум/поворот) упрощённого аффинного преобразования была выбрана как наиболее устойчивая, универсальная и простая для анализа. Для полного перспективного преобразования нужны точные параметры. Из итоговой картинки их определить сложно, а зачастую и невозможно. Да, Youtube умеет стабилизировать картинку по перспективе, но там одна камера, а здесь мешается стереоэффект (диспаритет). Конечно, если бы создатели фильма нам предоставили параметры съёмки, было б проще и качественнее. Но мы имеем лишь купленные BD релизы, а в них никакой сервисной информации нет и не будет (ибо для конечного потребителя).
Вот мне кое-что непонятно…
При осмотре реальных объектов оптические оси глаз почти всегда пересекаются. Значит и оси камер при съёмке должны пересекаться! А в статье говориться, что это не есть хорошо…
Приводится пример искажений, что в одном кадре прямоугольник станет такой трапецией, а в другом — такой. Но ведь в жизни глазами мы и видим трапеции! Ну как минимум одним газом — точно. Если только речь не о каком-то созвездии на небе, мы не можем видеть обоими глазами одновременно фигуру с четырьмя прямыми углами.
Ну и на счёт стерео-рига. Я понимаю проблемы далёкого прошлого: кинокамеры под 35-мм плёнку, хочешь того или нет, были громоздкими. Но сейчас?.. Берём две беззеркалки, ставим вплотную — вот уже у нас всего двукратное расстояние между глаз. Берём их же и одну переворачиваем вверх ногами (объективы не по центру стоят, а с краю) и вновь вплотную — вот у нас ровно расстояние между глаз.
Ну и вообще непонятно, почему бы не снимать такими объективами, с которыми угловые размеры объектов на запланированном экране будут совпадать с наблюдаемыми невооружённым глазом на съёмочной площадке, расположив оптические оси на расстоянии равном расстоянию между глаз? Это дало бы максимально реалистичное изображение. В фотографии вот классика — 50 мм объектив на 35 мм плёнку. Именно потому, что тогда угловые размеры объектов на снимках 10х15 — 13х18 (наиболее распространённых), рассматриваемых с расстояния 25-35 см, примерно совпадают с наблюдаемыми фотографом на месте съёмки.
При осмотре реальных объектов оптические оси глаз почти всегда пересекаются. Значит и оси камер при съёмке должны пересекаться! А в статье говориться, что это не есть хорошо…
Приводится пример искажений, что в одном кадре прямоугольник станет такой трапецией, а в другом — такой. Но ведь в жизни глазами мы и видим трапеции! Ну как минимум одним газом — точно. Если только речь не о каком-то созвездии на небе, мы не можем видеть обоими глазами одновременно фигуру с четырьмя прямыми углами.
Ну и на счёт стерео-рига. Я понимаю проблемы далёкого прошлого: кинокамеры под 35-мм плёнку, хочешь того или нет, были громоздкими. Но сейчас?.. Берём две беззеркалки, ставим вплотную — вот уже у нас всего двукратное расстояние между глаз. Берём их же и одну переворачиваем вверх ногами (объективы не по центру стоят, а с краю) и вновь вплотную — вот у нас ровно расстояние между глаз.
Ну и вообще непонятно, почему бы не снимать такими объективами, с которыми угловые размеры объектов на запланированном экране будут совпадать с наблюдаемыми невооружённым глазом на съёмочной площадке, расположив оптические оси на расстоянии равном расстоянию между глаз? Это дало бы максимально реалистичное изображение. В фотографии вот классика — 50 мм объектив на 35 мм плёнку. Именно потому, что тогда угловые размеры объектов на снимках 10х15 — 13х18 (наиболее распространённых), рассматриваемых с расстояния 25-35 см, примерно совпадают с наблюдаемыми фотографом на месте съёмки.
Вот мне кое-что непонятно…При осмотре реальных объектов оптические оси глаз почти всегда пересекаются. Значит и оси камер при съёмке должны пересекаться! А в статье говориться, что это не есть хорошо… Приводится пример искажений, что в одном кадре прямоугольник станет такой трапецией, а в другом — такой. Но ведь в жизни глазами мы и видим трапеции! Ну как минимум одним газом — точно. Если только речь не о каком-то созвездии на небе, мы не можем видеть обоими глазами одновременно фигуру с четырьмя прямыми углами.
В реальной жизни наибольшая «трапеция» будет, если объект будет находиться довольно близко перед вами (собственно, когда расстояние между глазами будет сказываться в наибольшей степени). И даже можно прикинуть, насколько при этом будут сведены ваши глаза. А дальше можете сами нарисовать типичный зал, то, как будет выглядеть картинка на экране и как будут направлены глаза, когда будут на нее смотреть. Конвергенции осей (и как следствие, сигнала мозгу, что ее нужно корректировать) даже и близко не будет. А трапеция будет зверской. Получится типичное «невозможное» изображение, доставляющее дискомфорт. Получается, что вы должны показывать изображение не таким, каким вы увидите его с точки зрения главного героя, а с поправкой на то, что вы сидите в зале далеко от экрана, т.е. картинка должна делаться под зал. Это если кратко и без деталей. Повторюсь, пользоваться конвергенцией осей можно, но для этого надо хорошо понимать, что вы делаете. Это бывает не всегда ;)
Ну и на счёт стерео-рига. Я понимаю проблемы далёкого прошлого: кинокамеры под 35-мм плёнку, хочешь того или нет, были громоздкими. Но сейчас?.. Берём две беззеркалки, ставим вплотную — вот уже у нас всего двукратное расстояние между глаз. Берём их же и одну переворачиваем вверх ногами (объективы не по центру стоят, а с краю) и вновь вплотную — вот у нас ровно расстояние между глаз.
А вам нужно расстояние меньше, чем расстояние между глазами. ) И на крупных планах довольно часто. А объективы, чтобы шумов поменьше было на темной картинке желательно иметь побольше. Опять же бленды никто не отменял. У вас просто бленду будет некуда поставить, если вы рядом два объектива поставите. А это значит пойдут блики-зайчики, т.е. разница по цвету, причем крайне дискомфортная. Т.е. в павильоне-то на средних и общих планах так сделать можно, ну а дальше все грустно ;). Что, впрочем, не мешает так делать тем, у кого нет денег на бим-сплиттеры. Приходите на московский стереофестиваль, там конкурсную программу можно посмотреть бесплатно. При просмотре многое становится понятно ;). (И это при том, что авторы часто совсем не дураки, все понимают и как могут стараются вытянуть на имеющейся технике).
Ну и вообще непонятно, почему бы не снимать такими объективами, с которыми угловые размеры объектов на запланированном экране будут совпадать с наблюдаемыми невооружённым глазом на съёмочной площадке, расположив оптические оси на расстоянии равном расстоянию между глаз? Это дало бы максимально реалистичное изображение. В фотографии вот классика — 50 мм объектив на 35 мм плёнку. Именно потому, что тогда угловые размеры объектов на снимках 10х15 — 13х18 (наиболее распространённых), рассматриваемых с расстояния 25-35 см, примерно совпадают с наблюдаемыми фотографом на месте съёмки.
Уже ответил. Когда начнут делать шлемы, у которых еще и проблем с аккомодацией не будет — для них все эти соображения будут актуальны и для них надо будет снимать по-другому. Сейчас вся съемка идет в первую очередь под кинозал. Это кардинально все меняет.
Решаемы ли проблемы с бликами, если применять круговые поляризаторы вместо линейных?
Имеются ввиду — поляризация на зеркале? Пусть меня поправят физики, но на расположенном под углом зеркале такую пленку сделать нельзя. В 6-й части (в которой речь про цвет) в комментариях человек пишет про светоделительный куб, но, насколько я знаю, он не используется.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему от 3D болит голова / Часть 5: Геометрические искажения в стерео