Почему от 3D болит голова / Часть 3: Перепутанные ракурсы

[ilmen]

Отличная работа проделана, с удовольствием прочитал, спасибо!

Теперь вопрос — а с какой вероятностью ваш алгоритм определяет CM? Не увидел в статье ничего о погрешности алгоритма. Любопытно :)

[3Dvideo]

Отличная работа проделана, с удовольствием прочитал, спасибо!

Welcome! ) Первые статьи были вводные, чтобы не отвечать на базовые вопросы. А дальше пойдут уже в основном результаты. Это пока малая часть ). В следующей будет результат 4-х наших метрик, так или иначе относящихся к параллаксу. Дальше — остальное по пунктам )

Теперь вопрос — а с какой вероятностью ваш алгоритм определяет CM? Не увидел в статье ничего о погрешности алгоритма. Любопытно :)

Все указано. ) Найдите в статье текст: «В целом можно говорить о том, что если вы смотрите фильм, выпущенный на Blu-ray, то с вероятностью как минимум 21,9% в фильме будет хотя бы одна сцена с перепутанными ракурсами. Как минимум, поскольку сейчас метрика на данный момент пропускает около 5% сцен. Это плата за разумную скорость работы. Тем не менее уже сейчас можно диагностировать и исправить условно 95% проблем.»

[3Dvideo]

У вас был хороший учитель биологии. )

В данной области принят термин «перевернутый», посмотрите, например, очень неплохую статью «АДАПТАЦИЯ К ИНВЕРСИИ СЕТЧАТОЧНЫХ ИЗОБРАЖЕНИЙ: НЕПРЕРЫВНОЕ НОШЕНИЕ ИНВЕРТОСКОПА НЕ ЯВЛЯЕТСЯ НЕОБХОДИМЫМ» из рецензируемого журнала «Вопросы психологии»:
www.voppsy.ru/issues/1981/816/816083.htm там описанный мной кратко эксперимент разбирается более подробно и, в том числе, можно составить представление о принятой в области терминологии.

[mayorovp]

на самом деле изображение в глазу проецируется перевернутое, а дальше уже мозг его переворачивает

Это не так. В мозгу попросту нет мест, где бы понятие «ориентация изображения» имела смысл. Говорить, что «уже мозг его переворачивает» — все равно что утверждать «на самом деле вольтметр измеряет амперы, а потом уже вычисляет напряжение по закону Ома».

Но вольтметр ничего не вычисляет — у него шкала проградуирована сразу в вольтах. Так же и мозг распознает объекты непосредственно на перевернутом изображении, не утруждая себя обратным переворотом.

[3Dvideo]

Коллеги, уже второй раз вместо ответа человеку пишу просто комментарий первого уровня. Можно не тот комментарий как-то стереть?

[15432]

неа. common issue. даже статья была с исследованием частоты комментов «не туда» в постах

[mayorovp]

Я обычно в таких случаях редактирую комментарий примерно так:
_{(Комментарий был удален)}

[3Dvideo]

Спасибо!

[mayorovp]

Со ссылкой — долго. Можно и не успеть.

[Arilas]

Хорошая статья, но вот у меня вопрос:
У меня косоглазие, и раньше я не мог смотреть фильмы в 3D, все они были такими, как будто я очки и не одевал. После одной болезни на глазах стал видеть фильмы в 3D(в любых очках).
Можно ли это объяснить?

[3Dvideo]

Думаю, что можно.

Но вопрос, очевидно, к офтальмологам, а автор — специалист в области алгоритмов обработки и измерения качества видео. )

[Meklon]

Это вопрос рассогласования вашего внутреннего чувства объёма. Из-за того, что вы долго имели не соосное зрение, мозг привык работать с глазами изолированно. А потом почему-то решил попробовать объединить картинку. Возможно адаптационные процессы. Подробнее я писал в своём цикле про коррекцию зрения. Последний раздел — «Проблема разных глаз»

[3Dvideo]

Спасибо врачу за профессиональный комментарий!

[Meklon]

Да не за что) самый ад, когда из-за амблиопии мозг асинхронно работает хрусталиками и в итоге даёт разное расстояние по фокусу одновременно.

[3Dvideo]

Да, когда мы начали вникать в тему — стало понятно, что разных хитрых отклонений в бинокулярном зрении намного больше, чем думалось изначально. И дальше шаг влево, шаг вправо — и у человека ощутимый дискомфорт.

Мы сейчас, кстати, работаем с товарищами, занимающимися измерением деятельности мозга (ЭЭГ + полиграф + опросник + eyetracker). Пробуем поймать дискомфорт на уровне объективных измерений. Добровольцам достается неслабо. :)

Ощущения в ходе эксперимента были ожидаемы: сухость в глазах, частое
моргание, кратковременная головная боль в лобной части головы, сильная
усталость (которая осталась на весь день). Но я знал на что шел :)

Но результаты будут через полгода-год и там эксперимент намного сложнее, чем с перепутанными ракурсами. Наверное про них напишем позднее.

А вот про разницу фокуса в фильмах напишем относительно скоро.

[Meklon]

Очень рекомендую посотрудничать с детскими офтальмологами, которые занимаются косоглазием, амблиопией и аппаратным лечением всего этого безобразия. Это как раз тесно пересекается с вашими вещами. Особенно аппаратное лечение. Принципы те же, но искажения намеренные с целью тренировки глаз и мозга.

[3Dvideo]

Да, в курсе. В благодарностях в статье выше есть ИППИ и Галина Ивановна Рожкова, которая уникальная тем, что она кандидат физмат наук (и с нами может на одном языке говорить и даже переводить для нас) и, одновременно, доктор биологических наук, причем занимающийся в т.ч. бинокулярным зрением. Как справедливо говорится по ссылке, она «активно взаимодействует с российскими и зарубежными офтальмологами в области разработки и внедрения новых диагностических методов и методов лечения дисфункции бинокулярного зрения, косоглазия, амблиопии и т.д.» В общем — старая гвардия сильна. И даже в режиме перегрузки по делам помогает, а помоложе что-то пока успешного опыта взаимодействия нет.

[Meklon]

Это да. Тут согласен. Вообще софт и оборудование под эту терапию ещё под DOS часто т рассчитано. А переписать некому. Никто толком не разбирается в тонкостях.

[3Dvideo]

Да, как-то так. Область узкая, весьма наукоемкая. Рынок мал. Галина Ивановна рассказывала (не для печати), что творится даже просто с детскими офтальмологами, там все печально. Тех, кто хорошо разбирается в предмете — единицы.

В производстве стереофильмов в России, правда, дела не лучше. ) Так и живем )

[Meklon]

Синяя изолента наше все, ага)

[3Dvideo]

Как-то так. )

[extempl]

У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом? Если там есть два канала, изначально должно быть известно, какой из каналов какой (левый/правый) — накладывать какой-то маркер на один из каналов и после финальной компоновки его просто убирать (пиксели разных цветов в разных углах, например. Или если возможно наложить поверх с возможностью потом убрать без проблем для изображения под наложением — то вообще что угодно)

[3Dvideo]

У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом?

Выше, фактически, на это дан ответ. В очень большом количестве студий до сих пор все проверяется «на глазок». Доходит до смешного — если им нужно повыше качество и у них блокбастер и больше бюджет — они просто нанимают 7 стереограферов, которые отсматривают картинку глазами. Ну а дальше начинает работать «переобученность» человека на плохом стерео (см. начало статьи).

Если там есть два канала, изначально должно быть известно, какой из каналов какой (левый/правый) — накладывать какой-то маркер на один из каналов и после финальной компоновки его просто убирать (пиксели разных цветов в разных углах, например. Или если возможно наложить поверх с возможностью потом убрать без проблем для изображения под наложением — то вообще что угодно)

Вы оптимист. ) Производство кино в отличие от производства машин — это довольно творческий процесс, в котором, как правило, задействовано много студий (в цепочках доходит до 4-х субконтрактором только на отдельные работы). Что-то решают переделать в последний момент. Что-то куда-то быстро отправляют. Те — перенаправляют субконтракторам… Многое — надо «еще вчера». В итоге многие работают в режиме — то, ночуют на рабочем месте, то едут на Гаваи пить пиноколаду. При передаче форматы меняются, все меняется. В Аватаре, например, в единственной сцене, где перепутаны ракурсы используется конвертация из 2D в 3D. Похоже это делала другая студия, возможно — приняли решение сделать конвертацию в последний момент, а дальше не совпали форматы и у 7 нянек дитя осталось как обычно… ;)

[extempl]

У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом?

Выше, фактически, на это дан ответ. В очень большом количестве студий до сих пор все проверяется «на глазок». Доходит до смешного — если им нужно повыше качество и у них блокбастер и больше бюджет — они просто нанимают 7 стереограферов, которые отсматривают картинку глазами. Ну а дальше начинает работать «переобученность» человека на плохом стерео (см. начало статьи).

Так об этом и речь, что проверяют уже пост фактум, а не пытаются не допустить проблему на этапе работы над фильмом. Но ниже вы подробно разложили, насколько это реально.

[3Dvideo]

Так об этом и речь, что проверяют уже пост фактум, а не пытаются не допустить проблему на этапе работы над фильмом. Но ниже вы подробно разложили, насколько это реально.

Еще раз — они не только пытаются, но и реально действуют и успешно порядок наводят. Ровно поэтому после феерического всплеска 2010 года с CM в 40% фильмов показатель за 2 года снизился почти в 10 раз до 4.8% (замечу, что мы не делали анализа старых фильмов, но есть основания полагать, что 4.8% — рекордный показатель вообще в истории стерео, поскольку про прошлые волны массовых съемок стерео тем же Голливудом сохранились феерические воспоминания ;). В общем — процесс идет. Но в силу объективных причин — изначального творческого беспорядка и сложных цепочек субподрядчиков — не так быстро. Опять же — низкобюджетные фильмы никто не отменял. Они там вообще постоянно балансируют на грани и за гранью. Ошибки неизбежны. Качество будет выше, когда они перестанут все проверять «на глазок», а это будет, похоже, не скоро.

[Askell]

Все равно не понимаю, какой должен быть бардак на производстве, что можно перепутать два разных канала видео. Со звуковыми то дорожками почему-то ни у кого проблем не возникает.
Они что, тупо берут два первых попавшихся куска видео, равной длины и слепляют их в сцену? И нам еще везет, что эти куски хотя бы из одного дубля?

[3Dvideo]

Все равно не понимаю, какой должен быть бардак на производстве, что можно перепутать два разных канала видео

Обычный творческий беспорядок. ) Вам надо хотя бы раз побывать на съемочной площадке, у вас пропадут такие вопросы. )))

Творческий беспорядок — это нормально, просто он везде есть, а число ошибок у всех разное.

Со звуковыми то дорожками почему-то ни у кого проблем не возникает.

Вы в этом уверены? )))

Они что, тупо берут два первых попавшихся куска видео, равной длины и слепляют их в сцену? И нам еще везет, что эти куски хотя бы из одного дубля?

Если бы они так действовали, процент ошибок был бы другим ). Впрочем нам известен 3D фильм, где при конвертации иногда в сценах использовалась глубина от другой сцены… No comments, как говорится… Есть фильм, где все Floating Window отрезали не с той стороны (перепутали ракурсы). Есть фильм, где все спецэффекты наложили, перепутав ракурсы… ))) Короче — бывает весьма эпично! По счастью это все-таки треш (хотя и не всегда треш по бюджету).

В четвертой части цикла приведена ссылка на интервью с русской студией. Вы его почитайте. Они там начинали с того, что отсматривали свою работу в анаглифе. Там все очень брутально бывает (в плане экономии финансов). Отсюда и косяки.

[bazzilic]

А можете дать ссылки ваши публикации на английском по этой теме?

[3Dvideo]

Держите, например, на последний отчет и там ниже публикации: compression.ru/video/vqmt3d/report7/
Вообще ссылки на каждой картинке. Напрямую много ссылок не даем, ибо это не «Я пиарюсь» и вроде как нехорошо.
Сами публикации — свободны, а отчеты из-за копирайтных ограничений по подписке.

[Vokkz]

Желаю посмотреть этот самый фильм на полчаса.

[3Dvideo]

Мы сейчас новый эксперимент делаем — там будет уже часовой фильм, нужно будет сидеть с ЭЭГ (электроэнцифалографом) на голове:

и там несколько типов артефактов будет проверяться.

Будут нужны добровольцы. Много. Готовы? )

[vvzvlad]

Я готов.

[3Dvideo]

Хорошо. ) Эти комментарии читает человек, который организует эти замеры. Можете в личку контакты кинуть, позовем!

[mrkam]

Последние два графика вызвали у меня определенный диссонанс, количество красного в правой части увеличилось в то время как в тексте в этой части было видно улучшение. Наверное, градиент должен быть постоянен на всем графике и только тренд-линии должны переходить из красной области в зеленую?

[3Dvideo]

Все просто. Цвета сделаны по процентилям, чтобы было удобнее оценивать. Условно — если у какого-то фильма был такой-то средний показатель в 2009 году — это еще ничего, но если у него такой же показатель будет в 2014, он заведомо будет в красной зоне.

Аналогично по бюджетам. Если для низкобюджетных фильмов нормален довольно большой разброс по качеству, то для высокобюджетных — этот нонсенс и фильм даже со средними для низкобюджетных значениями моментально попадет в красную зону.

[Vanderas]

В некоторых компьютерных программах, позволяющих воспроизводить 3D-видео и, по-моему, даже в телевизорах, в настройках 3D есть возможность сменить ракурсы. Это то о чём писалось в этой статье? Т.е. если фильм кажется, что смотрится «наоборот», т.е. фон как бы перед героями фильма, то нужно поменять ракурсы?
Вы ведёте работу по созданию алгоритмов, которые выявляли бы такие сцены и автоматически перенаправляли кадры этой сцены, так?

[3Dvideo]

В некоторых компьютерных программах, позволяющих воспроизводить 3D-видео и, по-моему, даже в телевизорах, в настройках 3D есть возможность сменить ракурсы. Это то о чём писалось в этой статье?

ДА! )

Т.е. если фильм кажется, что смотрится «наоборот», т.е. фон как бы перед героями фильма, то нужно поменять ракурсы?

Да, очень рекомендуем поменять.

Вы ведёте работу по созданию алгоритмов, которые выявляли бы такие сцены и автоматически перенаправляли кадры этой сцены, так?

Да. Но в телевизорах и плейерах они появятся не скоро из-за скорости работы. Сначала — как инструмент контроля в западных компаниях и студиях (только они готовы за это платить).