Как стать автором
Обновить

Комментарии 246

хорошо написано про хорошее дело. Большой спасиб!

Это точно, явно не уменьшается ораторское искусство у 3Dvideo.

Бальзам на душу ) Это был зимний отпуск, потраченный вместо того, чтобы как все нормальные люди... на написание текстов про алгоритмы )
Камера есть, осталось найти режисера…
Поддержу вас, чтобы не минусовали ). Джеймс Кэмерон известен тем, что реально глубже других режиссеров погружается в предельные на тот момент возможности техники и на уровне сценария (!) учитывает что могут, а что не могут снять самые свежие камеры. На таком уровне работают единицы режиссеров. Увы.
Он вообще прикольный мужик, но при всём при этом, ещё и продюсер, так-что его любовь всё попробовать на своей шкуре, она вполне рациональна. И накопал интересных стерео фишек он много, в аватаре использовано далеко не всё. Некоторые его фишки, действительно оригинальны, в советском стерео кино такого не было…
Но он далеко не единственный и уникальный, просто другие не палятся, Спилберг например, в своё время механикам камеры мастер класс показывал ;-) хотя режиссёр и оперпост, на съёмочной площадке, камеры обычно вообще не касаются, тем более в технических аспектах.
Вот, прочитав вашу статью, подумал, что это как раз то, чем мог бы действительно удивить новый Аватар.
Хорошо написано и интересно, спасибо!
Отличная статья. На мой взгляд, Lytro подвела спешка, они выпустили камеру со слишком низким разрешением, фактически, не пригодным для фото (видимо, ради сохранения не слишком высокой цены). А эти монстры Lytro Cinema уже применялись где-то в фильмах? Или это пока только тестовые образцы?
Они делали что могли, на мой взгляд.

Задача, на которую они замахнулись опережала и возможности техники на тот момент, и возможности алгоритмов.

Их монстры не зашли в кино именно потому, что были слишком монстрообразны, фактически они возможности продемонстрировали, а дальше на рынок реально пойдут образцы следующих поколений, которые будут в разы компактнее и работать с которыми будет технически намного проще.
Также с обычными цифровыми камерами формата HD было.
Помню читал как про космос — «Запись ведется на 8Gb карты памяти», в то время как я в руках держал дискету 1,4Мб(съемного носителя большей емкости на тот момент я не видел), одноклассник несказанно радовался новому жесткому диску на 400Мб.
Да-да-да. В областях, где по экспоненте идет процесс улучшения параметров, очень интересные процессы происходят. Пленоптика — на стыке нескольких экспонент.
Не было в то время 8 гб карт памяти.

Были DAT-кассеты

Посмотрите отзывы на ихние портативные камеры на Амазоне.
Люди просто не врубаются что они только что купили, у них «разрешение хреновое и фотки мутные». В результате оценка — 2.5-3.
Да, и AR только упомянут, хотя он скоро (как только нейроморфные чипы в реальном времени карту глубины пленоптического сенсора строить будут) будет основным драйвером процессе.

Но и так много букв ), про это можно будет скоро отдельные посты, как железо дозреет.

Тут была задача про пленоптику, которая давно на рынке (и незамеченная!) рассказать.
Но ведь если камеры станут миниатюрными, при этом уменьшится стереобаза? Получается, прощай простое и дешевое стерео?
ну справедливости ради маленькая матрица и огромній обьектив єто лучше чем огромная камера с огромной матрицей и таким же обьективом. Киношники никогда не пугались F1 на 200 милиметрах. Их пугает стационарность камеры и её вес.
Их пугает стационарность камеры и её вес.
Абсолютно так. И именно это утопило даже относительно компактные бим-сплиттеры в пользу конвертации.
Компактные? Таскали-ли вы спилиттер на стэдикаме, а пылинки с зеркал сдували-ли? А объективы парные подбирали-ли ;-)
Да и на сплитерах мир не сошелся, были кастомные камеры, были серийные SI-2K которые можно было поставить близко на параллельных осях, всё упиралось в объективы, но у кого были старые элитовские наборы, это не разу не проблема, тк они меньше современных.

Смысл конвертации в получении контролируемого эффекта без косяков. Буржуи быстро догнали, что объём это символ, такой-же как свет и цвет, он вовсе не обязан быть объективным и более того…
Именно поэтому «даже относительно компактные» )

Про конвертацию — мы даже хорошо приложились к теме роста ее успешности и популярности.
kak by net) no vam vidnee
Но ведь если камеры станут миниатюрными, при этом уменьшится стереобаза? Получается, прощай простое и дешевое стерео?
Кто вам такое сказал? ) Важен размер объектива, и для кино в ближайшие 20 лет точно появятся камеры с одним большим глазом объектива, снимающие великолепное стерео.
Читал лет 15назад об изобретении сего девайса с матрицей микролинз перед матрицей, тогда конечно речь шла о десятках мегопикселей и фото с любым фокусом после съемки.
Только непонятно откуда в названии технологии появилась «пленка», может опять с переводом чего-то не так и подхватили, или маркетологи ничего лучше не придумали.
А так тема знатная, еще если пойдут дальше и соединят матрицу микролинз с фотосенсором которому не нужен объектив, то будет еще копактнее и можно будет на всю ширину смартфона прилепить — и стерео нормальное снимать.
Только непонятно откуда в названии технологии появилась «пленка», может опять с переводом чего-то не так и подхватили, или маркетологи ничего лучше не придумали.
от латинского plenus — полный
Камера снимает более полный (четырехмерный) кадр.
Да, вот тоже, когда увидел слово «пленоптика» (и пока не заглянул в статью), долго сомневался — оно от латинского plenum или таки от пленки?
Неудачное слово получилось в русском языке. Надо было переводить, как-то типа: «пленусоптическая»…
«пленусоптическая» удачнее? Гм…
А что такого? Возможно у меня из медицины осталась равнодушное к самым заковыристым латинским названиям, но зато звучит так, что с пленкой точно не спутать.
Может тогда уж «полнооптическая»?
Тогда уж и «многомер» вместо «мультиметр», и «двуплоск» вместо «биплан».
мне нравится термин «камера светового поля». И объясняет принцип действия, и довольно нейтрально.
По медицинской латыни Вам должен быть ясен механизм словообразования: взят латинский корень plen без окончания и это правильно, иначе мы вовсю пользовались бы такими словами, как «вербумальный», «доминусировать», «локусолизация», «градусиент» и т.д.
Это было так давно, что от знаний латыни — у меня осталась только привычка, о которой я говорил выше :) Теперь понятно, почему термин звучит именно так, спасиб )
А вот слово «доминусировать» хорошо подходит для Хабра (в значении «закончить минусировать», т.е. «закончить ставить минусы»).
«закончить ставить минусы»

<img src="Нельзя так просто взять, и закончить ставить минусы"/>
Надеюсь производители 3Д-телевизоров опять начнут их продавать, а то многие убрали их из линеек, т.к. признали не перспективными из-за малого количества 3Д-контента
признали не перспективными из-за малого количества 3Д-контента
Качественного 3D контента, я бы добавил )

А так — проблема курицы и яйца — классика при выходе на массовый рынок многих технологий
С 3D огромную свинью подложили создатели спецификации 4к, в которую просто не включили 3D.
Это где? В DCP спокойненько два ракурса по 4к клали ещё лет 10 назад…
т.к. признали не перспективными из-за малого количества 3Д-контента
Их признали малоперспективными совсем не поэтому. Внезапно выяснилось, что 3D-фильмы не становятся интереснее от того, что они 3D. В «Аватаре» в лицо зрителю кидали комья земли, в «Алисе» упоротый заяц кинул тарелкой. А дальше стало просто скучно.
Не согласен. Дело не в интересности а впечатлении. Даже обычный фильм приятнее смотреть в 3Д, привыкаешь, что люди объемные и сцена выпуклая. Потом обычное кино кажется плоским
Однозначно!
У кино непростая ситуация. В условиях разгула торрента нужно сохранить сборы фильмов на уровне.
Проводили эксперименты, сравнивали большее разрешение, 48FPS и стерео. Массовый зритель выше всего оценивает стерео, а ниже всего — разрешение. НО при условии, что не болит голова. )
Слышал на какой-то конференции, надо искать…
Не соглашусь

Я не большой фанат Питера Джексона, но на Хоббита ходил только для того, чтобы оценить HFR. И это меня так поразило, что обычные 3Д кино смотреть уже не тянет. А Хоббита я смотрел все три части, специально на другой конец Москвы ездил. Эффект погружения — невероятный, пейзажи такие — будто в большое окно смотришь, четкость и плавность — потрясающие. Потом читал, что им грим и костюмы пришлось переделывать, потому что разрешение высокое и халтура сразу вылазит.
Каждому своё, видимо. Мне наоборот крайне не комфортно было смотреть хоббита в 60 кадров в секунду. Стандартные 24/25 кадров (в кино) мне гораздо приятнее.
З.Ы.: решил загуглить, точно ли HFR это про повышенную частоту кадров

Я не про 60 кадров, а про СТЕРЕО на частоте 48 кадров. И для стерео — эффект ошеломительный, мы с женой былы в восторге, хотя не любители 3Д в кино. Гуглится всякая фигня, потому что «hfr» это «рак» в русской раскладке :)
Но я про это: en.wikipedia.org/wiki/High_frame_rate
а про СТЕРЕО на частоте 48 кадров
Извиняюсь, затупил. Да, я это и имел в виду.
Вы смотрели Хоббита в кино с HFR? Не в каждом городе показывали в этом формате, в Москве было меньше десяти кинотеатров, я поехал в Аймакс. Кстати, в некоторых кинотеатрах показывали HFК с косяками, в Аймаксе было идеально.
Сейчас засомневался. Смотрел в сети silvercinema в Твери. Точно писали, что стерео 48 кадров, точно картинка отличалась детализацией и частотой кадров. Точно ли это выглядело так, как должно было — не уверен
Есть подозрение, что тот кинотеатр не очень умел показывать такой формат.
Были и реально негативные отклики. То есть — технология, действительно, не всем понравилась. Но, большинство претензий было к сути, а не к форме, что дескать «слишком высокая детализация, больше похоже на тв, хочу обратно теплую и ламповую муть низкого разрешения».
Любой хороший телевизор высоких серий умеет интерполировать до 60fps в том числе и 3D. Без этого на 3D смотреть конечно тошнотворно — 24 стробоскопных кадра, только глаза настроятся на объём как бац — следующий кадр, никакой плавности. Для 3D вообще идеально было бы 120fps на каждый глаз, как в реальной жизни, намного меньше болела бы голова и больше эффект погружения.
Речь совсем не про телевидение, а про кинотеатры.
Любой хороший телевизор высоких серий умеет интерполировать до 60fps в том числе и 3D.
А какие при этом артефакты возникают вы видели? ) Тема называется FRC — Frame Rate Conversion. Мы ее делали для телевизоров Samsung, чипов Intel, чипов для приставок Broadcom… Когда у вас экран становится киношного размера там все то, что не видно на телевизоре обычным людям (хотя мне, например, и там режет глаз) — становится видно всем.
И наступает карачун )
На ТВ лучше ловить артефакты, чем ловить стробоскопные древние 24fps.
Давно уже пора снимать фильмы 48/60/120fps. Олдскульные люди пускай смотрят потом в плеерах пропуском каждого второго кадра, это проще, чем заниматься интерполяцией.
Давно уже пора снимать фильмы 48/60/120fps.
Просто посмотрите ссылку в посте, на который ответили в первый раз.
Можно ссылку на ссылку ?)
Не знаю как там на телеках, но я смотрю Blu Ray 3D в шлеме в 1920х1080@24Гц (1080p@24p, 3D) на глаз, два микро-дисплея. Никакого стробоскопа не наблюдаю. Формат 24p (23.976Гц) считаю каноном и эталоном для просмотра Blu Ray.
Интересно! Какая марка шлема и через какой софт смотрите?
И какие впечатления от «трехмерности» картинки?
Шлем Goovis Pro. Он недавно появился, два месяца назад. Продается пока только в Китае, пришлось довольно тернистый путь пройти, чтобы его оттуда вытащить. Производитель NED Optics.
Вообще, это отдельная линейка шлемов специально для просмотра 3D/Video. Возможно помните, в свое время была серия шлемов Sony HMZ, 3D 720p и аппаратный декодер Dolby/DTS 7.1. Шлем на micro-oled, совсем маленькие дисплейчики, размером с монетку. Производит их массово Sony Semiconductor. Вот HMZ выходил в четырех вариациях (каждая чуть лучше другой, ТТХ почти не менялись, в основном фиксили эргономику) вплоть до 2014 года. Потом началась массовая истерия по VR и Sony на данную ветку развития забила. Хотя были практически пионерами и довольно близки к цели, в самой последней модели Sony HMZ-T3Q сделали даже поддержку хедтрекинга (выпускали ограниченным тиражем только в Японии).
У подобных шлемов FOV (угол обзора) составляет в среднем 45-60 градусов. Т.е. получается большой экран висящий в абсолютной темноте и возникает 100% иллюзия просмотра как будто в кинотеатре. Плюс, дисплеи oled и засчет их миниатюрного размера плотность пикселей задрана до запредельных высот. Если не ошибаюсь, у этого Sony HMZ плотность пикселей составляет 2097 на дюйм. Причем, дисплей меньше самого дюйма по диагонали, 0.71' inch. Для сравнения, в современных VR средние PPI (плотность пикселей) составляет всего 600. И это на «смартфонном» экране 5.5" дюймов. Поэтому и видна так называемая «сетка».
В Cinema шлемах пикселей не видно, т.к. PPI в несколько раз больше и угол обзора в два раза меньше. Т.е. даже вот этот Sony HMZ 2011 года выпуска с разрешением 1280х720 по просмотру кино с легкостью даст фору распиаренным современным Pimax'ам 8К.
Так вот. С приходом VR на Западе внезапно начался бум на 3D в Китае.
qz.com/940399/americans-are-over-3d-movies-but-hollywood-hasnt-got-the-memo
И так получилось, что Sony Semiconductor ровно к тому времени, уже в 2016 году, выпустила новые micro-oled, сделали FullHD (1920x1080).
www.sony-semicon.co.jp/products_en/micro_oled/products/index.html
Китайцы, не долго думая, на таких радостях, у себя там взяли и «перезапустили» Sony HMZ и назвали новоиспеченный девайс — QMER V1. Продавался только у них на родине, по какой-то причине (не знаю по какой) проект провалился, на данный момент бред полностью мертв. Но начало было положено…
В 2017 компания вышеназванная компания NED Optics выпустила шлем Goovis G1. Отличная комфортная эргономика, легкий вес всего 200 грамм, независимая аппаратная регулировка межзрачкового расстояния и независимая аппаратная регулировка диоптрий (от -2 до +8), т.е. люди с плохим зрением могут смотреть фильмы без каких-либо очков или контакных линз. В шлем, чтобы совсем идеально было, даже запихнули очень тихие маленькие вентиляторы, линзы не запотевают. И в комплект доложили компактный автономный пульт упарвления на Андроиде. С кнопками, встроенной батареей на несколько часов, Wi-Fi, BT, MicroSD, встроенная память, полноценный разъем USB и аппаратный выход HDMI. В общем, все чего не хватало Sony HMZ, все исправили и даже с хвостиком. Минусов было два. Один не значительный, версия андроида старовата 4.4. И второе минус существеннее, шлем поддерживал 3D в формате только Side-By-Side. Впрочем, учитывая еще большую плотность пикселей (PPI здесь уже 3147), честно сказать, даже стереопары выглядят так, что закачаешься. Ну и опять же, минус относительно блю рей 3D, для сериальчиков/фильмов и стереопар вполне хватает.
Через год появилась модель Goovis G2. Пришли на западный рынок, собирали краундфаундинг на IndieGoGo. Все тоже самое, увеличили внутреннюю память до 32Gb (против 16Gb у предыдущей модели) и добавили на пульт управления тачпад. Внезапно, тачпад. Отличное решение, можно подключиться к Wi-Fi и в шлеме свободно серфить инет. Впрочем, ОС стоит Андроид, можно и так приложений накачать (Youtube, Netflix и т.д.).
Паралельно вышли еще шлемы от производителя HiSpot. Версии H1 и последующая H2. H1, опять, стартовала только в Китае, а вот H2 уже появился на западных интернет-площадках. В нем аналогично сонивские micro-oled, но отличительной особенностью стал увеличенный FOV. Я так на глаз прикидывал, ориентировочно 65 градусов выходит. Субъективно экран воспринимается как IMAX, стандартные же Cinema шлемы воспринимаются как небольшой кинотеатр. В HiSpot H2 сделали аналогичный пульт управления, только более навороченный. Андроид 5.1 уже, плюс USB 3.0 и USB Type-C. К тому же, в этой версии андроид умел воспроизводить BD3D iso… но, шлем тоже Side-By-Side. BD3D iso лучше смотрится, чем стереопары. Так подозреваю, китайцы как-то извратились и умудрились запихнуть полный фрейм с BD3D в Half-SBS. Ну я так полагаю, а там как оно на самом деле, неизвестно.
В этом шлеме я реально прифигел еще над одной штукой, китайцы сделали очень мелкие, еле заметные програмные цифровые часы в верхнем правом углу экрана, которые каждые полчаса появляются на пару секунд во время просмотра фильма (оверлей эдакий, поверх) и также моментально исчезают (вот реально еле заметные, «поймал» их только спустя месяц использования шлема, думал что там мелькает иногда, мерещиться что ли). Но этих пару секунд хватает, чтобы успеть кинуть быстрый взгляд и понять сколько время. Вроде мелочь, но в своей простоте абсолютно гениальное решение. Можно смотреть фильм и контролировать время во внешнем мире: -Ага, 18:30… надо собираться, потом досмотрю.
Просто молодцы, супер фича.
Вопреки всем указанным выше достоинствам, HiSpot H2 получился несколько противоречевый. Есть косяки по конструктиву, эргономике и главное, не очень хорошая оптика. Сложно подстроить под себя, замыливает изображение (наследие большого FOV, при таких микро-дисплеях качественные линзы сделать технологически очень сложно, иначе весь VR давно уже на микро-дисплеях был). Но вау-эффект, в целом, несравненно крутой. Большой экран, реально огромный, действительно впечатляет. Да еще и в 3D, пусть оно и половинчатое. Неискушенному зрителю, так вообще будет чудо из чудес.
Есть еще Cinema-шлемы, коротко напишу хештеги для поиска в гугле:
Royole Moon — 1080p, интегрирован вместе с наушниками. Потестить не довелось, насчет поддержки Frame Packed не могу ничего сказать.
Avegant Glyph — этот 720p, Frame Packed, по-моему, умеет. Из спешл фич, построен на какой-то там лазерной проекции (Laser Field Technology).
CINERA Dual 2.5K — выглядит страшно (детей отвести от экрана), но говорят реально два экрана в разрешении 2.5К. Но вроде LCD, не oled.
И в конце еще про один напишу, пока вернемся к Goovis.
Goovis Pro умеет Frame Packed, Side-By-Side, Top-Bottom. Поддерживает аппаратные Blu Ray плееры, всякие игровые приставки (3D игры работают) и прочее, куда можно воткнуть HDMI, определяется как 3D TV. Интерфейс HDMI 1.4a, я думаю, про него писать не надо. По резолюшену, как и писал выше, 1920х1080 и поддержка разнообразного количества Гц присущих спецификации 1.4а (основные просто напишу):
2D 1920x1080 50/60
3D 1920x1080 23/24
3D 1280x720 50/60 (3DVision да, работает)
3D идеальное. Черный цвет — черный. Для примера, если включить видео с letterbox, то черные полосы вверху и внизу полностью сливаются с окружающей темнотой, видно только само изображение самого фильма. Субъективно воспринимается как небольшой кинотеатр, картинка ровная, не дрожит, не дребезжит, никаких косяков, присущим поляризационным активным/пассивным очкам, нет. Зрение не устает, голова не болит. Свободно и без проблем высиживаю трехчасовые фильмы без перерывов (буквально три дня назад за один заход, наконец-то, посмотрел Blade Runner 2049, 2.5 часа, в конце снял шлем, ушел курить и думать). По комфорту нареканий нет, засвет снизу практически отсутствует, можно без проблем смотреть фильмы в дневное время, будет абсолютная темнота внутри.
3D в таких шлемах все идет «в глубину», смотришь будто в портал. Никаких, так называемых, дешевых «вылетов», когда клюшкой от гольфа тыкают прямо в лицо, в них нет. 3D смотришь и глаза радуются, без вот этой вот мишуры отвлекающей. В 3D все фильмы выглядят отлично, независимо, сконвертирован он или Real 3D. Что ни включишь, все классно, все здорово.
Я догадывался, что будет интересно, но не думал, что настолько! ))) Огромное спасибо, что все так подробно!

Я тоже в декабре смотрел свежие шлемы на выставке и был впечатлен прогрессом по качеству даже по сравнению с прошлым годом. Но специализированных киношных там не было.
Вот, как я понимаю G2, www.amazon.com/Virtual-Reality-Theater-Glasses-Advanced/dp/B074DXWG12 но на картинках указан 3147ppi. Чужие картинки?
И, как я понимаю, народ только цена сдерживает. За такие деньги можно хороший проектор с экраном купить и более привычный домашний кинотеатр сделать. Но с ваших слов качество 3D выше всяких похвал, т.е. народ, который может себе позволить, просто не распробовал пока? )
По ссылке картинки не чужие, это он и есть. И 3147 ppi соответствует. Я писал выше, у HMZ 1280x720 — 2097 ppi, у 1920x1080 — 3147 ppi.
Более того, есть уже выше плотность пикселей, летом Sony Semiconductor выпустила 1600х1200 в размере 0.55 inch (еще меньше), в нем 4000 ppi. Шаг межпиксельного расстояния там в единицах микрон измеряется. Но он для видео-шлемов не подходит, т.к. 1600x1200 это формат 4:3.
Касательно цены и сдерживает… по большей части про такие шлемы никто не знает, все зациклены на VR. И смотрят видео тоже в VR, а цена такая, что приходится выбирать, либо нормальный VR, либо нормальный видео-шлем. Традиционно народ хочет убить сразу двух зайцев и выбор в основном падает на VR (ну смотрят же там фильмы люди, и я тоже буду, зачем же отдельную железку покупать).
Да не знают люди в большинстве про железки типа вашей!

И не представляют, что происходит, когда разрешение шлема «размазывается» на большое поле зрения.

Опять же — не представляют, что оптика VR и оптика под просмотр разные и 3D эффект будет меньше.

Как-то так! )
зато в VR — эффект погружения
У наших коллег в МГУ тоже стоит кресло, правда попроще:
image

И можно его с экраном (поддерживает стерео), а можно со шлемом использовать.

Весьма забавно.

Они еще с гальваностимуляцией экспериментируют — мало не покажется )
зато в VR — эффект погружения
и плата за это — эффект укачивания и разрешение, которого пока заметно не хватает

А про альтернативу, о которой речь, мало кто знает.
не укачивает, совсем — хотя это сильно индивидуально и зависит от превычки
разрешение быстро прогресирует

А про альтернативу, о которой речь, мало кто знает.

это не альтернатива, там нет отслеживания и контролеров.
Вся фишка VR — в эфекте присутвия, и главное это котролеры — которые позволяют взаимодейсвовать с окружением
не укачивает, совсем
)))) Поскольку мы плотно занимаемся головной болью от 3D (см серию статей «Почему от 3D болит голова»), к нам ПОСТОЯННО обращаются господа, которые не могут сделать свой квест больше 10 минут — у них регулярно люди срывают шлем с головы, прекращают прохождение и нашатырь — обязательно близко в кармане у ведущего.

Не стоит преуменьшать проблему, она от этого не пропадает и большее количество народу потом скажет «Да ну нафиг».

Со стерео это уже произошло. С VR все идет ровно по тому же сценарию.
просто нужна привычка, пары часов постепенного привыкания — достаточно ;=)
просто нужна привычка,
Ну я про 3D тоже так говорил ) Собственно доказано, что одна из причина популярности 3D в Китае — они с детства показывают «вырвиглазное» стерео, от которого европеоидов выносят из зала. И вот результат! Везде 3D накрылось, а у них живее всех живых! )

Но люди, к сожалению, недостаточно сознательны, чтобы терпеть ради прогресса! )))

Как следствие — в Китае рынок стерео сохранился и устройства (в том числе VR 3D) там довольно быстро совершенствуются (одна HTC чего стоит!).
Очень интересный комментарий! IMHO, добавить чуток картинок, и рассказ про преодоление сложностей с заказом — и отличная публикация уже готова. Думаю, будет интересно не только прочитавшим эту публикацию и Ваш комментарий, а еще и тысячам читателей.

Лично меня немного насторожило число восторженных эпитетов в Вашем комментарии (нет, я Вам вполне верю, но ощущения всегда штука субъективная). Мой опыт с 3D очками Oculus Rift (хотя, видимо, по качеству изображения они проигрывают) вовсе не такой радостный; «вау-эффекта» хватило на неделю максимум, потом пришлось сдать «взад», чтобы $400 не пылились.

Касательно же упомянутого Вами гаджета — вот эта хрень — не оно (под другим именем)?
Какой версии у вас был Окулюс? Если девелоперский — то там все грустно, а если релизный — то там все намного лучше. Ни малейших лагов нет, положение головы и контроллеров отслеживается идеально. Единственный серьезный косяк — низкое разрешение экранов, тут все довольно уныло :(
Нет, релизный. Заработало все «искаропки сполпинка», штатно, видеокарта была «топовая» на то время (да и сейчас вполне себе «топовая», ZOTAC GeForce GTX 1080 AMP Extreme), установил кучу игр и программ, благо их полным-полно, и бесплатных, и trial, даже купил что-то (про Apollo). Но wow-эффект продолжался не более недели, если не меньше, что довольно странно, учитывая наличие в доме ребенка 6.5 лет и гостящей родственницы 16 лет. Как разовый аттракцион — да, великолепно, можно даже брать деньги за это, но как домашняя entertainment system — не «прокатило». Я подержался дольше всех, опробовал все, что можно: и в игры поиграл, и высадку на Луну посмотрел, и в каком-то 3D чате виртуальной реальности полетал, и даже «Avatar» попробовал посмотреть. Что заметил — после получаса в шлеме появляется какое-то неприятное ощущение; точно сформулировать сложно, но в общем можно описать, как дискомфорт. Фильм, опять-таки, смотреть было неудобно, потому, что пришлось смотреть за рабочим столом, возле PC, а не в любимом реклейнере. А с IMAX-ом (да и вообще с хорошим кинотеатром) я бы вообще сравнивать не стал, совершенно другие ощущения.

Не знаю, возможно, это из-за сравнительно низкого разрешения, хотя, вероятно, не это основной фактор.

Впрочем, подумываю повторить эксперимент и дать шлему второй шанс у меня дома…
Да, с контентом там напряги дикие. Во все поиграл по два раза и хоть продавай.
Спасибо за отзыв на комментарий.

->>>>Лично меня немного насторожило число восторженных эпитетов в Вашем комментарии (нет, я Вам вполне верю, но ощущения всегда штука субъективная)

Насчет восторженных эпитетов… да вроде так уж взахлеб прям не писал, смутили, пойду перечитывать :)
У меня аналогично был Oculus CV1, причем я его получил в первых рядах, один юнит совершал return to base из Штатов для починки и как раз ровно на лонче девайса, попросил зацепить, привезли в РФ и передали лично в руки. Их тогда в РФ по пальцам можно было пересчитать. И на работе потом появился HTC Vive, тоже долго гонял.
С Окулусом у меня наборот, остались исключительно теплые воспоминания, правда я практически все время юзал его с вот такой штукой
www.rseat.net/formula-cockpit/rs-formula-m4a-red
и там не то что «вау-эффект на недельку», а просто самый настоящий отвал башки, месяцами в Project Cars километраж наматывал. Эффект погружения невероятный. Жалко стоит такая хрень как самолет, в регионе можно квартиру купить за эти деньги. Больше для аренды аппарат. Хотя, знаю пару человек, у кого и дома такое стоит. :)
В общем, стаж в VR есть, не столь длительный по протяженности, сколько чрезвычайно яркий и насыщенный. Много разных штук перепробовал в VR, можно на несколько страниц понаписать всего, но суть, как говорится, не в этом. Какая картинка в Рифте/Вайве очень хорошо знаю. Сравнить по качеству изображения есть с чем.
Спустя год плотной и интенсивной возни с виртуальной реальностью, когда все возможное поперепробовал, CV1 был продан и откатился обратно на 3D. В «домашних условиях» мне сейчас VR абсолютно не интересен. Может что-то с гипотетической PS VR 2 на будущей Playstation изменится, единственные кто тащат VR активно.
По вашей ссылке версия Goovis G2. Давайте еще раз, коротко :)
Goovis G1 — 2x1920x1080@60Гц, с андроид пультом, на батарее, 16Gb, MicroSD, Wi-Fi, BT, USB. 2D/3D. 3D стереопары, только Half- Side-By-Side, конечное разрешение для 3D — 960x1080@60Гц.
Goovis G2 — 2x1920x1080@60Гц, с андроид пультом, на батарее, 32Gb, MicroSD, Wi-Fi, BT, USB, тачпад на пульте. 2D/3D. 3D стереопары, только Half- Side-By-Side, конечное разрешение для 3D — 960x1080@60Гц.
В нем еще, забыл написать ранее, есть поддержка хедтрекинга (можно 360 видео смотреть, по-моему). Но при ограниченном FOV 53 градуса смысла нет. Опцию прикрутили для галочки, непонятно зачем. Даже толком и не запускал никогда.
Goovis Pro — 2x1920x1080@60Гц, голый, без андроид пульта (пульт можно отдельно докупить). Есть бандл вместе с андроид медиа-приставкой Zidoo X9 (BD3D крутилка). Предыдущие модели позиционирование for Travel, этот for Home. 2D/3D. 3D для фильмов, конечное разрешение — 1920х1080@24Гц (Blu Ray 3D), 3D для игр — 720p@60Гц (NVidia 3DVision). Продается пока только в Китае и буквально на днях вышли на рынок Тайвань.
Goovis T2 VR — опытный образец для виртуальной реальности. По нему у меня никакой информации нет.
Ага, пасиб за информацию! Но — ждем статью с картинками и табличками, уж «осильте», пожалуйста! Подписался на Вас ;)
Всячески присоединяюсь к предыдущему оратору! Пожалуйста осильте! )

Звучит круто! Появились ли ещё более навороченные новинки за эти 3 года ?
60Hz источник сигнала поддерживают и отображают? Интерполяцию на PC для 3D сейчас можно делать на SVP (включая новомодный нейросетевой RIFE алгоритм) и DmitryRender.

Насчет софта… вот, к сожалению, под рукой только ноутбук с NVidia 1060 и HDMI 2.0 в виде output. Это кошмар, сильно жалею, что нет аппаратного BD плеера или, на худой конец, завалявшейся PS3 в виде крутилки BD3D. Не с чем сравнить софтовые настройки. Т.е. было бы hardware под рукой — ага, вот эталон, кручу под него. А так сложно. Windows 10 + особенно NVidia + особенно HDMI = адово гремучая смесь. Плюс, на самом шлеме никаких настроек нет, только кнопки переключения режимов 3D и кнопки увеличения/уменьшения яркости. И, соответсвенно, шлем из Китая, про всякие 3DLUT, так понимаю, можно забыть. Калибровать приходится на глазок (а сравнить-то и не с чем).
В итоге, две недели мучался с виндой и сочетанием NVidia+HDMI (все еще тот старый прикол, когда по дефолту в NVidia стоит HDMI Range Limited, AMD таким не страдает) плюс нет уверенности в адекватных color profile самой Windows, т.к. про чудеса оные тоже понаслышан. Мучался-мучался, то пересвечено, то слишком темное изображение. И еще там встроенная Intel ходит рядом и посмеивается: -а у меня тоже в драйверах стоит автоконтраст и «улучшалки» видео, не забудь выключить…
Короче плюнул, перенакатил винду, чтоб с чистого листа, апнулся до версии 1809 и аккуратно обновил Nvidia дрова на последние DCH. Смог впихнуть в ноут утилиту ASUS Splendid Video Enhancement, устроил разнос виндовым color профилям, осторожно переключил HDMI Range 0-255 и все стало хорошо. Почти-почти хорошо.
В качестве BD3D софтового плеера использую JRiver Media Center + MadVR. Конфиг на i5 + 1060 6Gb позволяет более менее нормально тонко тюнить изображение. Хотя там разбираться и разбираться, все еще в стадии поиска идеального изображения. Впрочем, после всех экзекуций мне и PowerDVD выдал отличную картинку. Внезапно.
Есть другая проблема. Т.к. на всю морду лица светит здоровенный светящийся OLED (наверное, соразмерно 100" диагональ с двух метров), наблюдаю небольшой color banding. Как лечить, пока еще не знаю, если это возможно конечно. Может это фича шлема, oled'а (тоже самое наблюдал и на Goovis G2 и на HiSpot H2), какой-нибудь не той битности, не совпадения частоты с кадрами, наличие где-нибудь в недрах галочки «оптимизировать видео для быстродействия», да черт его знает что еще может быть, тысяча факторов. В играх вроде как все ок, видео иногда замечаю косяки. Может это и нормально, так и должно быть, не знаю. Нужна аппаратная железка, дабы точно убедиться в оригинальном качестве изображения. Но также, встречал мнение, что у Royole Moon вроде как такой проблемы нет, grayscale не сыпется. Непонятно мне с этим пока.
С другой стороны, сколько на тест-драйв не давал знакомым эту штуку, все в один голос говорят, что придираюсь и девайс абсолютно идеальный, лучше быть уже не может. Может и правда придираюсь. Продавал Goovis G2, так с руками оторвали, а это учитывая, что он 3D Half-SBS.
Про 3DVision.
Работает, но апскейлит 3D 720p@60Гц до 1080p. В принципе, с выкрученным на всю графонием в игре и принудительным Supersampling x4/x8 вполне прилично смотрится. Если вот конкректно только 3DVision хочется, то лучше взять Sony HMZ, там оригинальное разрешение 720p, пиксель в пиксель. Но для Sony HMZ желательно запилить кастомный Comford Mod, эргономика, конечно, плачевная у него…
В плане звука использую по настроению, либо наушники напрямую с ноута и DTS Headphone:X в качестве виртуальных 5.1, либо напрямую с самого шлема (есть выход 3.5" jack) по HDMI и тогда Dolby Atmos. Можно и дефолтный Windows Sonic for Headphones.
Как-то так, наверное. Все грядущие релизы BD3D уже отмечены в календаре с пометкой «Важно!».
item.jd.com/39909147130.html — Goovis Pro (версия Pro без андроид пульта)
www.goovis.cn/new_detail/407 — вот тут что-то написано про RGB 0-255 и YUV 0-255, но на китайском.
www.panelook.com/modelsearch.php?op=advancedsearch&order=panel_id&brand_family=124&inch_low=70&inch_high=71&resolution_pixels=8180 — спеки сонивских микро-олед. Какие точно стоят в шлеме, увы, не знаю.
И еще про один шлем хотел рассказать.
Через месяц на кикстартере стартует краудфаунд на Luci Immers. Аналогично, те же FHD очки для 3D/Video. Рассылка начинается в августе.
luci.one/immers-ks — Luci Immers
www.luci.one/immers/technology — спецификации.
У них первая особенность — интерфейс USB Type-C.
И вторая, заявлен FOV под 70 градусов. Это почти VR (VR стартует от 90 градусов и выше). Т.е экран будет ну очень большой. Здесь лишь бы с оптикой не налажали, больное место для микро-дисплеев.
Увы, пока не ясно, какие режимы 3D поддерживает. Надо ждать начало кампании, укажут или потенциальные бейкеры все с них моментально вытрясут.

В качестве постскриптума: такие очки 3D 1080p ждал 8 лет. С момента выхода Sony HMZ. Дождался. Клевые штуки, реально советую обратить внимание. О них мало кто знает, т.к. VR практически забило весь эфир. Но они существуют, как видите, и не в одном экземпляре. Китайцы, конечно, молодцы. Взяли вот и с легкой руки перезапустили линейку Sony HMZ. Причем, настолько в классном виде, что ранее даже и представить не мог: те же самые фирменные сонивские micro-oled, только уже FHD, отличная эргономика, легкие и удобные, прицепили компактный автономный пульт управления на всеядном Андроиде, тачпад, Wi-Fi, BT, USB, MicroSD, HDMI, аппаратная регулировка линз и диоптрий, и даже впихнули миниатюрные вентиляторы, чтобы линзы не запотевали.
Вот вам и китайцы, остается только восхищаться.
Шикарный коммент, спасибо! Статью запилить не хотите?
Спасибо. Думал об этом, но пока не протестирую с аппаратным Blu Ray плеером «вот именно так показывает, вот именно так вижу» — никаких статей )) Штука дорогая и для публичного освещения субъективная оценка а-ля «ну я там крутанул в драйверах насыщеность цветов +30% и картинка ваще клэ» не приветствуется. Эксперименты на базе ПК, без сравнения с аппаратными BD-плеерами, валидными не признаю. Но мысль про статью давно ходит, верно подметили :)
Возьмите PS4 напрокат.
Тут, к сожалению, не все так просто, ввиду некоторых обстоятельств, связанных с моим географическим местоположением (ближайшая PS4, да и вообще любая медиа-техника находится за 300 верст от меня). Постараюсь что-нибудь со статьей придумать, придется целую спецоперацию провернуть :)
Готов с ребятами помочь со статьей! В том числе со сравнением.

Вам совершенно правильно пишут, у вас УЖЕ материала на хорошую статью достаточно.

Тема совершенно нераскрыта (везде VR HMD) и даже текущий материал будет безмерно интересен.
У подобных шлемов FOV (угол обзора) составляет в среднем 45-60 градусов. Т.е. получается большой экран висящий в абсолютной темноте и возникает 100% иллюзия просмотра как будто в кинотеатре.

То есть экран не на всю область видимости?
Никаких линз Фринеля?
Да, экран не на всю область. Так и должно быть. Вы же в VR смотрите видео не растянутое на 110 градусов, так будет каша на экране (за исключением специального 360-видео, конечно). И VR все смотрят фильмы, используя какое-то виртуальное окружение, образно говоря, используя какое-нибудь Virtual Theater IMAX приложение. И размер виртуального экрана, для комфортного просмотра, становится схож с такими же углами обзора 45-60 градусов. Только разница в том, что просматривая фильмы в VR вы их видите на виртуальном экране через физический экран с низким разрешением, а в подобных 3D-шлемах такой вот «виртуальный» экран сделан сразу на аппаратном уровне. Если в VR убрать рюшечки в виде 3D-антуража и оставить пустоту, общий смысл будет ровно такой же. Ровно также, как и если в 3D-шлем между линзами добавить трафарет в виде спинок кресел. В виртуальной реальности, можно сказать, софтовая имитация того, что Cinema шлемы делают аппаратно.
Какие линзы стоят, к сожалению, не подскажу. Надо спецификации смотреть, если еще и будет там указано. Так вот, из опыта, каких-то хроматических аббераций или искажений оптики, совершенно нет. Там все корни растут с Sony HMZ, а он позиционировался для премиум-сегмента (маркетинг: мужик летит в самолете в бизнес-классе и смотрит фильм в Dolby Surround 5.1, 2011 год) и какие-то проколы с линзами, на мой взгляд, были совершенно недопустимы. :)
Звучит, как праздник! )
кнопки переключения режимов 3D
Крайне интересно! Что поддерживается?

Короче плюнул, перенакатил винду, чтоб с чистого листа, апнулся до версии 1809
Да-а-а-а! Это эпично!!!)

Вот вам и китайцы, остается только восхищаться.
Ну у них по ряду причин интерес к 3D не падал. В итоге сейчас многие фильмы реально конвертируются в Китае, около десятка компаний (!) производит лазерные 3D проекторы и т.д. Во некоторых областях они скоро будут конкурировать в основном между собой.
наблюдаю небольшой color banding. Как лечить, пока еще не знаю, если это возможно конечно.
если шлем берет больше 8 бит на компоненту (что поддерживается с HDMI 1.3) и нормально отдает на oled, то появляются шансы, там самый простой способ — зашумляются младшие биты, более сложный — изменение контента. Со вторым можно поэкспериментировать, это нам ближе ), ибо железо сегодня часто отстает.

Ну когда то люди и 16 fps были рады в начале века, и считали это реалистично и суперкруто.
Что теперь, вечно равняться на устаревшие 100 лет назад технологии ?
Люди даже отличают 120Hz от 60Hz.

Можно всё сразу завернуть?
Правда, не понимаю, почему мечуться между этим по отдельности, это всё сразу нужно и важно. И 3D, и HFPS (в идеале 120fps), и разрешение. Помню как смотрел Аватар в Imax Капитолий в 2010, и мне не хватало 2 из этих 3 компонентов — видел сплошные пиксели (нехватка разрешения) и стробоскоп (древние убогие 24fps).
Вообще в Москве 4К 3D залов очень мало. Помнится пару лет назад всего 4 штуки было (не помню точное число, но что очень мал процент по сравнению с Европой, США или Китаем — это однозначно).
И пипл не очень сильно различает разницу (что 2К, что 4К — все едино), поэтому владельцам залов нет большого резона обновлять оборудование на более дорогое.
Так тут даже 4k 2D контента то почти нет, весь мастеринг идёт в 2k. То же самое и с 3D, пока слишком мало честного 4k. Может лет через 5-10 раскачается. А 4k/3D/120fps (или даже хотя бы 48fps) вообще лет через 20-30 завезут, судя по инертности мышления киносоздателей.
1. К счастью не весь.
2. Это не инертность. Это деньги — прямые затраты. Люди реально не слишком готовы платить больше за новые технологии. Соответственно никто не торопится ставить новые 4K яркие HFR проекторы. Как следствие — медленно вкладываются деньги в новое производство.

Посмотрел Человека Паука в Киномакс-Titan Laser Imax 3D в Каширская Плаза, действительно лучший зал страны, построен в 2018 . Действительно, чёткость (4k), яркость и 3D намного лучше, чем существовали в Москве 10 лет назад. Даже на недостаток плавности уже не так обращал внимания, картинка реально была супер.

Не согласен
Ну вы не согласны, а производители телевизоров согласны.
В Аватаре — при всех достоинствах фильма, 3D — ужасное! Всё что не в центре кадра — в жутком мыле, которое ест глаза. :(
Когда мимо взгляда пролетает 3D-бабочка — взгляд пытается на ней сконцентрироваться, но обнаруживает, что камера сфокусированна на другом — а бабочка является мутным 3D-пятном. :(
С точки зрения технического качества (геометрия между ракурсами, разница фокуса, цвета, параллаксы и т.д.) — Аватар — лучший фильм на тот момент по сравнению с кучей предшественников.
Даже если брать такие сложные параметры как плавность изменения глубины — до Аватара все было намного хуже (в первую очередь потому, что глубину менять не умели):
image
На графике метрика плавности изменения глубины между сценами (один из пары десятков параметров, влияющих на комфорт восприятия 3D фильма). Чем выше — тем лучше. Зеленый — 30% лучших фильмов на этот момент времени, красный — 30% худших. Аватар обозначен пунктиром. Перед ним были фильмы кардинально хуже.

И такая ситуация по большинству метрик.

Из хороших новостей — постепенно ситуация улучшается. Медленно )

По сравнению с Хоббитом в HFR — Аватар жалкая наколенная поделка.
То, что позднее качество стало еще выше — кто бы спорил. ) Конечно! Это прямо из графика следует.
Просто на тот момент это был эффект разорвавшейся бомбы — типа а что, так хорошо тоже можно? ) И меньший процент зрителей, жаловавшихся на головную боль реально сильно помогли сделать бокс-офис.
Точно. Пока ты фокусируешься на том, что задумал режиссёр — всё нормально. Как только начинаешь смотреть по сторонам — у мозга срывает шаблон: «отказ системы фокусировки. Возможная причина — загрязнение поверхности. Надо смыть»
Сейчас сильно мешает, что они вынуждены снимать одну версию и для 2D, и для 3D.

При этом для 2D управлять вниманием зрителя с помощью очень малой глубины резкости — норма (и даже красиво), а в 3D — лучше делать максимальную глубину резкости, ибо куда смотреть человек понимает исходя из трехмерности сцены.

И потенциально это еще один огромный плюс пленоптики!

Можно делать 2D и 3D версии — с разной глубиной резко изображаемого пространства!


Для текущего производства это слишком дорого.
Хватило бы вероятно сетапа из 3 камер: 2 для стерео, одна для 2D. Оператору работа не усложняется, т.к. в 3D камерах глубина резкости бесконечная, фокус крутить не нужно. Не такие уж и большие затраты.
Такие эксперименты были. Там все не так просто, поэтому в серию не пошло. Более того — вообще почти полностью перестали снимать стерео в пользу конвертации, положив болт на изменение ГРИП и больший комфорт при просмотре 3D версии.

Вот только в эти выходные всей семьёй прсмотрели обеих Алис в 3D. И жена и дочь в восторге.

Их перестали продавать не из-за контента, а из-за слишком маленькой диагонали для 3D => посредственного эффекта погружения. Для сравнения, все современные DLP-проекторы для домашних кинотеатров идут с поддержкой 3D. А контента хватает. Кроме того, сейчас тенденция перехода на 4к. А фильмов в 4к 3D UHD в продаже не встречал. Вероятно, стандарт не приняли?

А как дела обстоят с фундаментальными ограничениями, такими как квантовая эффективность? Ведь даже если мы достигнем заветных 99%, то проблема с размером всё равно остаётся: «Чем больше, тем лучше».
В телефонах нынче стоят матрицы с размером пикселя 1-2 микрона. При этом длина волны красного света 0,7 мкм. То есть делать разрешение ещё выше — бессмысленно, т.к. мы упираемся в волновой предел. Ну и в крупный пиксель, банально напа́дает больше фотонов, чем в маленький. То есть разрешение, которое может выдать телефон при переходе на пленоптику с четырьмя пикселями наверное в лучшем случае «не ухудшится», но вряд ли улучшится.
Ну а большие девайсы для больших фильмов, возможно станут раза в 2-4 поменьше, что конечно тоже не может не радовать.
Получается, что я немного более осторожен в оценке перспектив, но возможности и правда завораживают. :) Спасибо за статью!
разрешение, которое может выдать телефон при переходе на пленоптику с четырьмя пикселями наверное в лучшем случае «не ухудшится», но вряд ли улучшится
Но если такой телефон будет давать для ARCore в реальном времени реальную карту глубины — сенсору многое простят, ибо качество AR будет другого уровня.

А про то, как поднимать разрешение смартфонов и как это делается сейчас была прошлая подробная статья. И там далеко не все резервы (смартфонами) использованы ) И просто с ростом вычислительной мощности на борту уже можно будет улучшать результат.

А вы посчитайте дискретность этой реальной карты глубин в зависимости от расстояния в системе с одним объективом…
… в ней есть конечно свои плюшки, но они больше в микроскопии актуальны
Ставлю на AR, как на драйвер. Шансы на волну велики скорее всего с Pixel 4 (если успеют на железо ускорение положить).

На юбилейной десятой Stereopsia (которая по подзаголовку вся из себя 3D/AR/XR) в прошлом году были оч интересные доклады на эту тему.
Но ведь на смартфон чисто физически уже невозможно сделать сенсор меньшего размера и с улучшением качества из-за простой физики света, на смартфоне сейчас нельзя сделать сенсор такой же как и в тушках фотиков. Разве нет?
На смартфонах нас сейчас интересует не уменьшение сенсора, а рост разрешения. И это, конечно, возможно.
на смартфоне сейчас нельзя сделать сенсор такой же как и в тушках фотиков. Разве нет?

Видел смартфоны с сенсором как на тушках фотиков.
Но они, увы, не очень продаются как недостаточно плоские. :(
image
Но, технология из этой статьи позволяет создать большой и плоский фасеточный сенсор.
Да, ребят, уж от кого, а от вас я не ожидал столь восторженного опуса, ведь тут можно многое рассказать по сути, и на бумажке посчитать, как в области больших кино-камер, так и мааленьких сенсоров, у которых правда свои проблемы и своя математика, и причин для восторгов тут нет, растры камер победят, а в потребительских устройствах, это будут ещё не регулярные растры, но не суть…
Будем считать, что вы в курсе, но имеете какой-то резон не палить тему пред лицем вездесущих китайцев.
Я тоже от части промолчу, однако всех практически заинтересованных техникой, математикой и маркетингом данного вопроса, милости прошу ко мне в личку, договоримся, всё что знаю расскажу, покажу, а может и присоединюсь ибо тема сия мне интересна. В прочем умников, раскуривших тему в объёме не сравнимом с литрой не так уж и мало, это-же прикольно…

Литра изначально была мёртворождённой, лишь доказав тезис что математику надо знать и любить, и против неё ну никак не попрёшь. Осознали, сделали нормальную камеру с мозаикой матриц и охладом, которым они пытаются отбиться от некоторых технических проблем сопровождающих такое решение.
Банальные алгоритмы чувствительны к шумам и нелинейностям, а не банальные я и не знаю, раскурили-ли они их, там многие проблемы автоматически решаются. Короче, камера исполин, в некоторых своих качествах не разу не эквивалента микроскопам и даже той, первой, насадке на фантом!
Ребята, серьёзно, если синема-литра так крута, то на фига ей лидар, а?

Но дело, даже не в этом, я ведь тоже кинематографист по образованию, и пообщавшись в роли консультанта с некоторыми "«пионерами» 3D" узнал от них о другой стороне монеты. Наше хорошее, честное стерео, оказалось не нужным, даже с учётом наших знаний, за которые в прочем не плохо тогда заплатили.
Дело в том, что между кино и театром, разницы бездна, и начать надо с того, что кино язык подразумевает сознательное управление точкой зрения зрителя. А эффект присутствия, погружения, для кино всего-лишь эффект, который можно получать дозировано, когда это надо, самыми различными средствами. Ну не нужно в кино переводить фокус постфактум, там каждая сцена, каждый кадр осмыслен, описан и выстроен в сознании опер.поста и режиссёра ещё до съёмки!
Постфактум был-бы интересен на ТВ, и для всяких концертов, театральных постановок итд, НО там обратная задача, как раз-таки присутствие, зритель пересматривает один и тот же концерт, замечая в нём разные детали, тут и стерео за глаза, ну можно несколько ракурсов сделать, и классно…

Короче, сочетание скоростной камер\ы с трэкером\роботом, лидаром и хромакеем, вполне решают большинство проблем современного кино продакшена, про возможность ручной\автоматизированной обработки потока я вообще промолчу. Маркетинговый посыл литры, такой-же как когда-то у меня, что мы запечатлеваем реальность, и можем чего огого… Но ответ Голливуда в том, что у нас тут волшебный мир кино, и реальность не нужен, родной ;-( Как говаривал Джордж Лукас, а у меня лазеры пшикают!

Так-что будущее кино, скорее в изучении потоков данных моушн кэпчи для синтеза идеальных актёров, а вундервафли при всей моей любви к пленооптике, есть гораздо более рациональные и продуктивные пути поиграться с ней (где патенты литры нафиг не упали)… И есть ограниченная область куда это можно продать, на ТВ-бы «пленооптика», а точнее математика из неё, очень-бы пригодилась в виде компактного, законченного решения, но опять-же с оговорками о целях и смыслах.
Ждал вас, отличный комментарий, спасибо! )

Ситуации, когда даже (а то и в первую очередь) профессионалы соответствующей индустрии в штыки воспринимают новые технологии — это норма. Далеко ходить не надо — я сам еще совсем недавно нейросети в обработке видео воспринимал предельно скептично (и на то были и остаются серьезные основания). Давно думаю написать про экспоненциальные процессы — это ситуации, когда подавляющее большинство специалистов неверно прогнозируют события. Примеров уйма в куче областей, от первых турбин реактивных самолетов до сопротивления электромобилям, альтенативной энергетике и нейросетям в программировании ) Это нормально! )
Литра изначально была мёртворождённой,
У Лайтры полный комплект всех врожденных заболеваний стартапов Кремниевой. В первую очередь разгон финансирования вперед развития продукта. От чего, собственно, и наблюдается бешеная смертность стартапов. У Теслы проблемы того же рода и далее список длинный.

Я спокойно к этому отношусь. Свою роль они играют. А Карафин не зря ушел из Lytro почти сразу после получения ими очередного транша денег (!) )))
синема-литра так крута, то на фига ей лидар, а?
Все просто. У нее же глубина из стерео. Т.е. как только текстура стала слабо выраженной (по контрасту) ошибка в определении глубины зашкаливает и начинаются проблемы. А лидар наоборот идеален для ровных поверхностей. Они очень хорошо дополняют друг-друга, особенно учитывая что лидар дает слабый FPS.
у нас тут волшебный мир кино, и реальность не нужен, родной
Это да, так и есть ) Но спецэффекты быстро и дешево они хотят. И сейчас рентабельность фильмов в среднем падает, а рентабельность сериалов сериалов растет и в технологии ускорения спецэффектов пошло финансирование.
математика из неё, очень-бы пригодилась в виде компактного, законченного решения, но опять-же с оговорками о целях и смыслах.
Да, массовый продует точно будет не в сфере кино ).
Сейчас интересная тема — промышленные роботы, но там велика конкуренция со стороны сенсоров других типов. Хотя когда что-то многоуровневое и полупрозрачное — пленоптические рулят пусть и рынок пока невелик. Это позволяет развивать сенсоры.
Я не в штыки, я-то вообще большой был фанат, этого дела, и руки у меня впереди головы были, но мои преподаватели которые с пленооптикой реально дела имели (но это секрет), и считать меня учили, и настаивали что бы я считал перед тем, как что-то делать, и большое им за это спасибо. Так что несмотря на то, что я игрался с тем-же самым фантомом, пробовать на нём пленооптику я не стал, хотя и технологическая возможность была. Овчинка выделки не стоила, чего не скажешь про многоракурсную съёмку\проекцию, в связи с которой пленооптика опять-же вспомнилась и…
К обработке сырых данных с пленооптической камеры или растра камер, можно подходить по разному, на качество работы того или иного подхода сказывается качество изготовления системы в целом, ну и выбранная схема конечно. Бытовая пол-литра была в этом плане была редкостным трэшем, почему я и говорю, что она мёртворождённая, тут и простых геометрических каракулей на бумажке и школьной математики достаточно что-бы это понять. Да и прототип\дипломная работа из фантома, как-бы намекала. На что надеялся автор? Понимал ли он? Тут всё не так просто, как кажется.
Вундервафля хороша, в теории, но на практике там есть куча особенностей реализации, от оптики и железа до методов кода, что я-бы не стал строить иллюзий. Да, тут нужен, широкий технический кругозор, да… А что-бы продать продукт, тут чисто технического кругозора мало!

Трэнд к удешевлению, на лицо, я помню как люди места в очереди за первым рэдом продавали, при том, что это было редкостное… А нашествие Сапогов на ТВ продакшены, к чёрту дорогие тв камеры и реальный FullHD, да здравствует мыло в h264 ;-) Вы, точно видите мегаЛайтру в этом ряду?
Если поговорить про эффекты, то обратите внимание как в оптическом потоке камера трэчатся и моушен кэпчится, да это можно сделать круче но нафига. А ещё вместо того что бы трэчить камеру, её можно к старому, списанному, промышленному роботу прикрутить, он сильный и света потянет вписывая живых актёров в 3д декор…

ps.а с картой глубины, это смотря для чего мы её хотим, тут есть варианты, почему мне и думается что это костыль, который и на обычную камеру можно нацепить, (и цепляют-же)как и охлаждение (которое не ставят потому-что пока не надо, хотя есть отдельные образцы)…
К обработке сырых данных с пленооптической камеры или растра камер, можно подходить по разному, на качество работы того или иного подхода сказывается качество изготовления системы в целом
Кто бы спорил!
Собственно этот пост появился не благодаря Lytro, а благодаря Google, когда стало понятно, что можно сделать сенсор ОЧЕНЬ качественно и при этом пленоптическим. И маленьким. И массовым.
Вы, точно видите мегаЛайтру в этом ряду?
К сожалению, точно. Именно из-за удешевления при качестве, которое устроит пипл. И тут можно только возглавить процесс, попытавшись поднять качество (благо там есть огромные резервы).
А ещё вместо того что бы трэчить камеру, её можно к старому, списанному, промышленному роботу прикрутить
А удобство использования на площадке?)
а с картой глубины, это смотря для чего мы её хотим, тут есть варианты, почему мне и думается что это костыль, который и на обычную камеру можно нацепить
Пока идет к тому, что глубина будет мастхэв фича.
Сейчас интересная тема — промышленные роботы, но там велика конкуренция со стороны сенсоров других типов.

Знаю ребят (стартап), которые вполне успешно пилят на стандартных копеечных Kinect сенсорах от Xbox One; работает очень прилично, чтобы не сказать больше. Правда, там математика сложная (обрабатываются данные 4 или 8 сенсоров суммарно). Но по любому, учитывая стоимость оборудования, решение из абсолютно другого ценового диапазона, чем подобные камеры и лидары.
Тоже таких знаю и про них, дай бог, напишу. А в цитате речь про промышленных роботов речь шла про пленоптические сенсоры, которым как раз сенсоры структурного света типа первых кинектов конкуренцию оказывают.
Ну, эти тоже с промышленными роботами работают (не с машинками на Arduino :) ). А в чем преимущество пленоптических сенсоров над стандартными Kinect-ами? AFAIK, в Kinect-ах своя достаточно крутая математика и вычислительные мощности, выдающие «на гора» уже обработанные данные (я возился, в свое время, с Kinect-ом от Xbox 360, just for fun). Сомневаюсь, что стоимость имплементации на custom сенсорах с «обвязкой» будет дешевле retail контроллеров, производимых миллионами, и практически уверен в том, что стоимость R&D возрастет значительно. Но я не специалист в это, потому могу ошибаться.
А в чем преимущество пленоптических сенсоров над стандартными Kinect-ами?
Ну, например, кинект умирает на солнечном свету. ) И даже при облаках солнце засвечивает его сигнал.

Массовость производства сенсоров других типов тоже растет, соответственно, цена падает.
Какое солнце в цехах, где находятся промышленные роботы? ;)

P.S. (не в тему) Кстати, любопытно, что, оказывается, подавляющее большинство промышленных роботов работает под… разными версиями Windows (по крайней мере, «фронт-энд», а не bare metal firmware), и всевозможные RTLinux/QNX для фирмвари тоже практически не используются.
К несчастью они работают не только в цехах )

работает под… разными версиями Windows
Удивляет. Ох уж мне эти программисты )))
Будем считать, что вы в курсе, но имеете какой-то резон не палить тему пред лицем вездесущих китайцев.
Я тоже от части промолчу, однако всех практически заинтересованных техникой...
Кроме китайцев, как полагаю? )))
А если серьезно, что там можно «спалить» в посте на несколько тысяч слов? Деталей не расскажешь, а идеи не патентуются.
1. Можно для самых тупых: зачем нужны микролинзы по одной на пиксель, и нельзя ли их заменить апертурами?
2. Про глубину: допустим, мы снимаем под водой коралловый риф через течение. Можем ли мы по одному кадру лайтры восстановить неоднородность плотности среды между объективом и объектом, получить трёхмерную карту фазовых сдвигов и сделать трассировку?
1. Нельзя )
2. Не можем )
Там возможно много чудес, но они не произвольны

На счёт первого.
Сенсоры матрицы стоят не вплотную, между ними есть отступы. Если не фокусировать свет на сенсорах с помощью микролинз, то часть света будет потеряна, это значит что будет хуже съемка при низком освещении (при маленькой площади матрицы смартфонов это очень критично), плюс появится эффект алиасинга.
схема

Добавлю, что к краям линзы ещё и сдвинуты (на рисунке это видно, если приглядеться), так как поток света идёт из фокуса объектива и не далеко не параллельный.
Стало понятнее, но не сильно:
1. Микролинзы стоят только для увеличения чувствительности, или ещё зачем-то? Такого подхода я у астрономов не встречал, а они на чувствительность молятся.
2. Алиасинг получается так и так, и не факт, что он лучше при массиве микролинз, просто потому, что чем меньше пиксел (апертура), тем выше разрешение матрицы
3. Почему ход лучей от главной линзы объектива показан как плоская волна? По идее, должна быть сферическая.

1. Ну так основная тема этой статьи — пленоптическая камера, там микролинзы отправляют свет на целые группы сенсоров.
2. Я в этом не разбираюсь, просто считаю что лучше регистрировать свет на всём пикселе, а не только в центре.
3. Линзы по краям должны иметь другую форму, это же просто иллюстрация.
Вообще, я знаю не больше чем написано в этой маленько статье на википедии — https://ru.wikipedia.org/wiki/Микролинзы

Микролинзы стоят только для увеличения чувствительности, или ещё зачем-то? Такого подхода я у астрономов не встречал, а они на чувствительность молятся.
Для увеличения чувствительности при сверхмалом размере сенсора смартфона. Астрономам нет совершенно никакого смысла ставить сенсоры в 2.5 миллиметра и пытаться на них максимум фотонов поймать, им проще увеличить объектив и матрицу и не мучиться. Так что неудивительно, что не слышали )
Т.е. можно взять нормальный сенсор с пикселом в 6 микрон и заполнение за 90%, и не мучиться допулнительно над совмещением линз и их разнородности? Скиньте тогда, плз, ссылку на оптическую схему, я запутался, за счёт чего магия :) Ну не по Акопяну же?
Мне коллеги подсказывают, что у сенсоров зеркалок микролинзы тоже активно используются, например в Canon Mark III:
cpn.canon-europe.com/content/education/infobank/capturing_the_image/microlenses.do
Т.е., похоже, я не прав — на крупных сенсорах этот способ увеличения чувствительности тоже вполне используется:
«The advantage of using all the light that makes its way to the sensor is that the system is more efficient overall and less amplification is required in the processing circuitry – this leads to improved ISO performance, especially in low light level conditions where the light reaching each pixel can be very minimal.»
На крупных матрицах микролинзы используются не для увеличения чувствительности, а для частичной коррекции аберраций Зайдля. В первую очередь кривизны поля и сферической.
Выше процитировал, какие выводы из использования микролинз в Mark III делает Canon - this leads to improved ISO performance, especially in low light level conditions«улучшает чувствительность ISO, особенно для условий низкой освещенности».

А можно ссылку про коррекцию аберраций микролинзами для крупных матриц? Что-то с ходу не нашел. Точнее только теоретические работы (типа www.osapublishing.org/oe/abstract.cfm?uri=oe-13-26-10539 ).
Ссылку не дам, лень искать, но была статья от лейки лет уже скоро 10 назад.
Там изначально была история про виньетирование (затемнение кадра по углам). У зёрен серебра оно «нормальное», т.е. как квадрат косинуса угла падения, а вот у сенсоров уже косинус в четвёртой степени, что приводит прям таки к колодцу на графике чувствительности. Изначально микролинзы ставили, именно чтобы повернуть падающие лучи в удобную для сенсоров сторону. Ну да, бонусом микролинза ещё собирает свет, который иначе попал бы на дорожки и обвязку между отдельными пикселями, и позволяет зарегистрировать ещё сколько-то процентов фотонов.
Потом инженеры покумекали и додумались, что если сдвигать микролинзы на краях, то можно немножко поправить — вот тут не помню, то ли кривизну поля, то ли сферические аберрации. Ну в любом случае, немножко поправить разрешение в углах.
Про ход лучей я серьёзно: и на сайте Литры, и на странице стенфордского микроскопа как-то непонятно. С микроскопа, кстати, картинки довольно средние, я похожие делаю на обычном широкопольном с помощью деконволюции, если объект не очень глубоко лежит, а модельный объект эти засранцы снимать постеснялись.
1. См. мой коммент чуть выше. Предполагаю, что вам просто не доложили, и на телескопах используются всё те же матрицы, что и на профессиональных фотоаппаратах, вместе с их микролинзами. Просто в радстойком исполнении и склеенные по много штук, как в средне- и крупно-форматных фотоаппаратах. И охлаждённые до минус много градусов.
2. Алиасинг и так и так, но (в случае фотоаппаратов, не знаю как там у телескопов) микролинза накрывает не 1 пиксель, а 4 (2х2, у каждого свой светофильтр). В этом смысле она (частично) заменяет собой физический АА-фильтр. Разрешение матрицы давно ни о чём не говорит, всё упирается в физическое разрешение оптики.
3. Не показан, приглядитесь внимательнее.
Ещё помнится порнослоник таким баловался. Они правда не микролинзы на группу пикселей делали, а выпускали двуглазые объективы под м43. Т.е. внутри объектива два потока, падающих на соседние половинки матрицы. Дальше камера обсчитывала типа 3D. Но тоже упёрлись в малую стереобазу и нехватку света (у них что-то вроде f/11 было).
Снимать световое поле научились, вот бы еще воспроизводить, да на экране приличных размеров с хорошим разрешением и за разумные деньги. Экран не отличимый от окна… эх…
Дожить бы ..)
VR прекрасно показывает
Ой, да ладно, у современного VR разрешение швах…
А что не так с разрешением у «современного VR»? Разница между 4K/5K и 8K уже минимальная. См., всякие pimax-ы.

VR не воспроизводит световое поле.
Я не хочу очки одевать, хочу именно монитор как окно.

Я не хочу очки одевать, хочу именно монитор как окно.
Вы не одиноки ). И это дает шанс взлететь следующему поколению автостереоскопии. У Leia3D (чья технология малых автостереоскопических экранов сейчас доступна в серийном RED Hydrogen One) была в загашнике технология дисплея на 16 ракурсов в 2 направлениях (по вертикали и горизонтали). Смотрелось прикольно, но в серию не пошло.
На CES 2019 показали «безочковый» 3D монитор 27" дюймов (Ultra-D Technology).
Stream TV Unveils 8K «Lite» Glasses-Free 3D Monitor
www.soundandvision.com/content/stream-tv-unveils-8k-lite-glasses-free-3d-monitor
Но как по мне, от шлемов полный восторг. Имею ввиду шлемы на микро-оледах, конечно же. Специально заточенные для просмотра 3D и видео, не убогое VR…
я не вижу 3D на мониторах
Stereoblindness — несколько процентов. Важно чтобы таких людей помнили разработчики (например, предусматривая переключение в 2D режим).
со мной это не работает, я не вижу 3D на мониторах

При точном воспроизведении светового поля это невозможно не увидеть, световой поток от монитора будет идентичен таковому из окна. А не видите Вы потому что современные 3D мониторы так же далеки от воспроизведения светового поля как наскальные рисунки от современных мониторов.
Да ну, прямо таки невозможно? :) Я открою вам секрет наверное, но некоторые люди (например я) не видят стерео даже просто глядя в окно. А вот в кинотеатре, в поляризационных очках — вполне себе вижу :)
некоторые люди (например я) не видят стерео даже просто глядя в окно
Как такое может быть??
косоглазие, астигматизм
Да, точно. Не пришло в голову.
Именно.
Я вообще жутко благодарен Аватару за популяризацию стереокино, я понял (в 23 года) как видят мир другие люди — это интересные ощущения, не само стерео, а понимание того, что окружающие так видят всегда.
Очень интересный пример, спасибо!
Да, признаю, о нарушениях зрения не подумал. Но стерео это не единственное ведь отличие окна от монитора. Человеческий мозг достраивает «стерео» даже если смотреть одним глазом — за счет движений головы и получающегося обзора с разных углов (хоть и в разные моменты). Это, вероятно, другое ощущение чем видеть «сразу стерео», но все же аналогично дает мозгу информацию о параллаксе.
за счет движений головы и получающегося обзора с разных углов
Скорее — за счет аккомодации.
У человека с добрый десяток разных признаков глубины, используемых в зависимости от того какой срабатывает увереннее.
оч правильная поправка. А аккомодацию и конвергенцию очень любят приводить в пример киношники, которые производят полный отстой и тонны головной боли, поскольку они типа на них никак повлиять не могут и «Vergence-accommodation conflict» — для них типа индульгенции на пару десятков ВИДОВ косяков, небрежный дешевый post-production и ТЫСЯЧИ ошибок со стерео в фильме. И журналисты радостно тему разносят. При том, что на расстояниях кинотеатра (когда до экрана больше 15 метров) оно просто уже никак не влияет.

У нас была мысль свести количество упоминаний Vergence-accommodation conflict продюсором-режиссером и количество перепутанных ракурсов (правый с левым) в фильме… Было бы прикольно! ) (что-то подсказывает — корреляция прямая, ибо это в чистом виде грамотность) Но куча людей обиделась бы, а нас за проект VQMT3D и там многие не любили )
Таки, аккомодация наиболее глубоко «зашита в железе», по сравнению с другими и не требует дополнительных условий.
Были, растровые экраны и технологии их производства в СССР были, но поскольку контент был по большей части стереоскопическим, очки давали больше комфорта, а экспериментальные системы, дальше экспериментов не пошли…
… несколько ракурсов по одной оси, так вообще из валежника и фекалий можно сделать, самая большая проблема в синхронизации съёмки\воспроизведения, это и не проблема вовсе

Это все равно что сравнивать наскальные рисунки и современные мониторы. Сохранить световое поле входящее в окно а потом его точно в таком же виде (в рамках разрешения) воспроизвести на мониторе. В идеале так что бы зритель даже подходя и заглядывая с разных сторон не мог отличить от окна )

вот бы еще воспроизводить, да на экране приличных размеров с хорошим разрешением и за разумные деньги… Дожить бы ..)
Шансы есть ). Подразделения автостереоскопии есть у каждого крупного производителя телевизоров (в отличие от прошлой волны, когда они кинулись продавать первое, что под руку попало). Эта тема развивается сейчас хорошо, хотя и не созрела до следующей волны продуктов.
Интересно написано.

Возник вопрос. Немного упустил из вида, позволяет ли вся эта громоздкая конструкция снимать с традиционным фокусным расстоянием?
Горизонталтные стереориги ничуть не менее громоздки но вынуждают снимать акета с противоположного конца планеты. У меня лично от того, что у актеров практически затылок видно, прямо желание смотреть отпадает.
О, да, комфортное расстояние съемки невелико:
image
Про это подробно было в этом посте.

Эта конструкция близка к стерео-ригу бим-сплиттеру, т.е. расстояние между оптическими осями можно менять в диапазоне 0-10 см уже после съемки. Равно как и фокусное расстояние при желании.
Как раз искал эту картинку.
Как раз изза таких искажений меня аж выворачивало от SW7 (забывая о том что эти эпизоды и без того жесть кошмарная)
side-by-side stereo rig это самое мерзкое что можно было придумать, а если вы говорите, что все очень радужно, посему не используется повсеместно?
Да, есть разная чувствительность к разным артефактам стерео. Справедливости ради я говорю
Осторожный ответ — в ближайшие 10 лет.
))
Но потенциал крайне интересен.
Да я еще фотограф, и когда у модели виднеется затылок из-за ушей я начинаю нервничать.

10 лет не так много, хорошая технология.
Очень интересная статья, но, в процессе чтения, постоянно напрашивался вопрос «в чем же подвох и когда про него расскажут»?
Судя по всему, у технологии есть только одна проблема — громоздкость всей системы. Что, все и правда настолько хорошо?
Перестарался, похоже. )

Основные проблемы:
  • Большое количество инженерных проблем в железе
  • Огромный объем данных при съемке
  • Высокая вычислительная сложность алгоритмов обработки

Все проблемы — не из разряда простых. Но есть посмотреть на тренды сенсоров (экспоненциальные (!) по размеру, разрешению, стоимости), тренды роста мощности GPU (тоже экспонента) и тренды снижения стоимости накопителей (опять экспонента, но наиболее скромная), то все будет решено. Но сразу и не всегда легко, но решено. По накопителям, как наиболее узкому месту, можно прогнозы по срокам строить.
Сомневаюсь я, что технические проблемы с матрицами будут решены за 10 лет. А все остальное решается облаками и толстой оптикой.

И вот еще, с может не внимательно читал — но не увидел цены на этих монстров. Сколько примерно стоит такое чудо? Оно окупится в киноиндустрии, иди его использование будет в минус?
Вы зря. Последние годы улучшение характеристик сенсоров ускорилось. И пределы только на матрицах смарфонов близко, где пара миллиметров сенсор, на более крупных, которые актуальны для пленоптической камеры, до предела еще далеко.

А стоят как (первые) самолеты )
Смарты развивают, потому что их покупают миллионами. А такие здоровые камеры — это что-то вроде первого квантового компьютера, чисто концепт без практического применения.

Но хоть на порядок намекните :)
Там же обычные сенсоры камер используются внутри (которые тоже дешевеют быстро), просто скрепленные в пластину, откалиброванные, совмещенные с линзами и охлаждением.

Lytro проели 215 миллионов. Повторить их результат стоит кардинально меньше, а техническая база стала кардинально лучше. Что-то рыночное будет у 2 или даже 3-й попытки. У самолетов было медленнее )
Точно обычные? А не огромные пластины, типа тех, которые потом пилят на отдельные процессоры?

Погуглил сам — от 10 до 50 лямов баксов. Один блокбастер окупит покупку камеру и со второго они начнут приносить прибыль.
Точно ), мне капот лично Карафин открывал )

Как выше САДКО верно заметил, там все не так просто, но у меня оптимистичный настрой )
Странный подход… Сборка множества мелких матриц проще или дешевле, чем немного, но больших?
Хоть мелкие и большие матриц производят из одних и тех же пластин, процент брака у мелких матриц — существенно ниже. Потому что маленький дефект пластины, загубивший одну матрицу из шестнадцати мелких матриц, или одну из четырёх крупных матрицы — это существенно разный процент брака.
Это понятно. Значит все дело в цене?
Безусловно.
Голографии сколько уже десятков лет? Тоже ведь летает. Только очень низенько.
Между изобретением ракеты и успешной отправкой первого человека в космос прошло больше 20 веков. Большие задержки случаются, когда нужно объединить достижения большое количество технологий )

Массовый взлет пленоптики пришелся на Google Pixel 2. Скорость и высота полета очень неплохие.
Простите, веков?

Скорее 8 веков — фейерверки изобрели в китае в 12 веке :)

Всякие там каракатицы ракету еще в мезозое умели.
Однозначно. Не стал указывать, чтобы не переусложнять, только ссылку дал. Все-таки использование PDAF было проще того, что сделал Гугл.
Никак не критикуя статью (узнал массу нового для себя, Спасибо!) хотелось бы все же отметить что называть DPAF пленоптикой не корректно, т.к. это никак не используется при производстве изображения, а является переносом отдельного модуля фазового автофокуса на матрицу, и совмещение с пикселями матрицы — миниатюризация и интеграция в матрицу.
Ну а фазовый автофокус в зеркалках появился относительно давно.
В моих терминах «совмещение фаз» линз фазового микрофокуса (путь даже в старых зеркалках) и выведение на zero level стереокартинки, полученной микролинзами — это совершенно эквивалентные задачи, описанные в разных терминах.
И даже у фазового автофокуса зеркалок 20-летней давности — двоящееся изображение было стерео — оно двоилось за счет смещения точки съемки через один объектив. )
Это не то, чтобы мне везде съемка стерео виделась ))) (профессиональная деформация своеобразная))), это оно так и работает. Поправьте, если чего не понимаю.
Фух, наконец то есть новая цель, куда двигать технологию смартфоностроения! А то процессоры убыстрять смысла особого нет, разрешение камерам добавлять тоже — (остановились на 10-15 Мп как самом оптимальном), камер добавлять тоже (куда уж больше 4х), экраны тоже идеальные. А вот если пленоптику добавить — сразу понятно, тут нужны процесссоры в 10 раз мощнее, памяти, чтобы все это хранить, в 10 раз больше, и т.д.
Они начнут скромно ) Гул вот с dual pixel начал, потом думает аккуратно попробовать quad. Т.е. все не так резко будет ) Но запросы на вычислительные мощности будут велики, это да.

А то процессоры убыстрять смысла особого нет
Всегда есть. Больше мощности > меньше оптимизаций > больше говнокода > лаги на 4 ядрах > больше мощности…
экраны тоже идеальные
Нужно решить проблему выгорания OLED-ов.
памяти, чтобы все это хранить, в 10 раз больше
Больше, чем в 10 раз.
а вы не заметили? «всего две камеры в смартфоне? фу, не возьму, у ДругойКитайскийСмартфон их аж 4!» уже пошло в народ.
Вы открыли мне глаза! Я столько лет мучался вопросом как видит объем Лила из Футурамы.
Лила
image

А если серьезно, интересно что природа могла бы создать такой вариант стереоскопического зрения. Может быть тогда и циклопы не были бы мифом.
Неожиданно! ))) Возможно! )
Думаю более чем возможно:

Что кстати порождает два вопроса:

1. Не является ли крайне эффективная стабилизация у некоторых насекомых (например ос), следствием восприятия светового поля? Т.е. насекомое при может определять смещения вектор путем поиска точки обзора дающего ту же картинку что раньше.

2. Как нейросеть насекомого справляется с анализом такого объема данных?..
Отличный пример микролинз в природе. спасибо!

Нейросети ровно в относительно быстрой обработке больших объемов и эффективны, так что тут все логично )
Насколько я знаю — каждая линза прикрывает только одну светочувствительную клетку.
Хороший вопрос к специалисту
«Каждый омматидий имеет очень ограниченное поле зрения: угол обзора омматидиев в центральной части глаза — всего около 1°, а по краям глаза — до 3°. Омматидий «видит» только тот крошечный участок находящегося перед глазами предмета, на который он „нацелен“, то есть куда направлено продолжение его оси. Но так как омматидии тесно прилегают друг к другу, а их оси в круглом глазу расходятся лучеобразно, то весь сложный глаз охватывает предмет в целом. Причём изображение предмета получается в нем мозаичным, то есть составленным из отдельных кусочков.

Число омматидиев в глазу у разных насекомых различно. У рабочего муравья в глазу всего около 100 омматидиев, у комнатной мухи — около 4000, у рабочей пчелы — 5000, у бабочек — до 17 000, а у стрекоз — до 30 000!»

allforchildren.ru/why/why100.php
или тут «Рецепторная часть омматидия состоит из сильно вытянутых зрительных (ретинальных) клеток, соединенных радиально в общий пучок. Чаще всего таких клеток насчитывается восемь. „
ru.wikipedia.org/wiki/%D0%9E%D0%BC%D0%BC%D0%B0%D1%82%D0%B8%D0%B4%D0%B8%D0%B9
но какое там разрешение 1х1 или больше — не очень ясно)
Все так. Но, разве, в этом случае, можно говорить — что насекомые «видят» световое поле?
Я бы поостерегся такие выводы делать.) Максимум — появляется возможность грубого определения расстояния до объекта.
Вот и я о том же. Потому — глаза насекомого, это плохая аналогия. То есть — микролинзы есть, но совсем для другого.
Спасибо за интересную статью. Как вы и обещали, мне понравилось ))
Ключевое понятие для пленоптической съемки — это световое поле, то есть мы в каждой точке фиксируем не цвет пикселя, а двумерную матрицу пикселей, превращая жалкий двумерный кадр в нормальный четырехмерный (обычно пока с очень небольшим разрешением по t и s)
Верно ли я считаю, что единственная разница между тем, что мы считаем пленоптической системой, а что классическим stereo — это лишь значение разрешения по t и s?
Если так, то где она, та граница, за которой multi-view stereo (например, массив камер) превращается в систему светового поля? =) По идее, даже основная математика должна сохраниться.
Все не так просто. Если нас интересует максимальное качество (а если мы серьезно работаем, то оно нас интересует), то мы при калибровке сенсора понимаем все микросдвиги и неровности линз (идеальных линз не бывает), все нюансы матрицы (а у нас будут места стыка сенсоров, где с края линзы придется какие-то данные интерполировать) и т.д. Т.е. «идеальная» вычисленная картинка получается потому, что мы учитываем все «косяки» и особенности реальной физической системы. И вычисленная картинка уже будет интерполяцией.

Если же у нас многокамерная система дающая обычный multi-view, то там другие проблемы — камеры неровно стоят, у них «уходит» цвет при нагреве, какая-то камера может целиком отключиться и ее надо будет интерполировать и т.д. И методы калибровки, и методы восстановления сильно отличаются.

В итоге даже специально разделяют Light Field и Sparse Light Field — первый с микролинзами, а второй — с массивом камер, поскольку там разные проблемы при съемке, разные артефакты и т.д.

А теория — да, теория похожа! )
А какой простор для порно!
Сомневаюсь. Например, с популяризацией звука 5.1 в порно он стандартом не стал, да и старое порно, где не видно прыщей и растяжек, как-то романтишнее.
звука 5.1 в порно он стандартом не стал
Там параметры помещения обычно подводят, звук нередко дописывают отдельно.
да и старое порно, где не видно прыщей и растяжек, как-то романтишнее.
Ну это уже точно вкусовщина.

Немного не про пленоптику, но про смартфоны и карту глубины.
Есть ли сейчас какие-то инструменты (на самих смартфонах или на десктопе) чтобы редактировать/править карту глубины у таких снимков?


Что-нибудь интересное с ними делать? (А то пока кроме тестовых 3D-снимков в фейсбук ничего не нашёл).

Мельком инструменты видел, вообще они как грибы пошли довольно активно, но не слежу. За профессиональными-то не всегда успеваю следить )

По поводу интересного. На мой взгляд реально интересное еще не началось ) (потому что дисплеи только подтягиваются на вторую волну).

А так — меняют резкость заднего плана массово, задний план делают ЧБ, меняют фон и далее по списку. Там много всего интересного и сложного алгоритмически.
Для iOS вышло приложение Focos:
itunes.apple.com/ru/app/focos/id1274938524?mt=8

Позволяет редактировать Z-координату, менять диафрагму, пересчитывать кучу параметров и применять кучу эффектов (например отсечение части изображения по Z).
То, что искал =)
Очень интересно, спасибо! )
Немного не про пленоптику, но про смартфоны и карту глубины.
Есть ли сейчас какие-то инструменты (на самих смартфонах или на десктопе) чтобы редактировать/править карту глубины у таких снимков?
Не совсем понял, у каких «таких», но вот, например: depthy.me
Точно! Этот сайт видел. Причем у них очень простая интерполяция, зато весь код на Гитхабе, так что можно пробовать, улучшать и т.п.

«Таких», это которые, например, iphone делает в «портретном» режиме, и которые facebook показывает как 3D-фото (голограммы).


Сайт прекрасен, tnx :)

вот кроме комплектного софта от Lytro Illum даже и не подскажу. Но там только под свой формат.
>>можем снимать полноценное стереовидео с одним объективом.
Я наоборот в видео youtu.be/4qXE4sA-hLQ?t=1373 вижу, как лезут жуткие артефакты если даже они там чуть чуть крутят проекцию камеру в Nuke. То же самое, что в твоей 4 статье habr.com/ru/post/378387 абзац «Как же выглядит реальное изменение видимой глубины». Ведь световой поток не может заглянуть «за объект», приходится придумывать эту информацию, с артефактами.

Чем обычноые стерео не угодило? Там можно и карту глубины сделать, по ней и фокус можно любой сделать (если снимать на зажатой диафрагме, чтобы всё было чётко). Custom Camera Path, для той же стабилизации, после 3d tracking вообще уже лет 20 делают даже для 2d видео, в том же Syntheyes или Nuke, непонятно в чём тут новость.

Почему не приделать этот же лидар к обычной моно-камере, снимать чёткую картинку с высокой диафрагмой, и в постпроцессе управлять фокусом и делать 3d?

Почему нельзя после того же бим-сплиттера довести картинку до идеала? Убрать автоматически разную яркость от бликов и поляризации.
вижу, как лезут жуткие артефакты если даже они там чуть чуть крутят проекцию камеру в Nuke
Стоит различать качество предпросмотра реального времени и финальный рендер ). Собственно вся конвертация 2D в 3D — это полуручной сдвиг камеры. И вполне заходит. Все блокбастеры конвертируют.

Ведь световой поток не может заглянуть «за объект», приходится придумывать эту информацию, с артефактами.
Да, это называется заполнение оклюженов и это большая проблема. Сейчас много методов решения, апробированных на конвертации.
Чем обычноые стерео не угодило?
В двух словах — рентабельность ниже, головная боль выше. Если подробно — у меня материал на десяток полноценных постов по конвертации лежит )

Почему не приделать этот же лидар к обычной моно-камере, снимать чёткую картинку с высокой диафрагмой, и в постпроцессе управлять фокусом и делать 3d?
Потому что в 4K с минимальным движением ВСЕ границы становятся размыты, а если ГРИП мал — вообще жесть. И двигать размытые объекты хорошо никто пока не умеет.

Почему нельзя после того же бим-сплиттера довести картинку до идеала?
Меня, как разработчика алгоритмов обработки видео, этот вопрос мучает уже много лет. Там многие артефакты вообще можно в автоматическом режиме современными алгоритмами лечить. Одной кнопкой. Ответ есть, но он длинный и мало кому понравится.
Ответ есть, но он длинный и мало кому понравится
Придется уволить кучу людей, которые сидят и чистят руками? :)
))) типа того, с поправкой на то, что люди в Индии лиц, принимающих решения, волнуют слабо
Рабский труд — тормоз прогресса…
Пока не вижу примеров 3D с этой камеры. Особенно которых сделали в двух экземплятор — для кино и для тв, с расширенной стереопарой. Вот когда увидим, тогда и сравним. Пока же — примерно на уровне 2d + карта глубины.

Не надо делать малый ГРИП, имея карту глубины лучше сделать его в постпродакшене для 2D, для 3D оставить всё чётким. Ну и само собой снимать надо на 60/120fps, а не 24, чтобы не было всё размытым в движении.

Всё таки длинный ответ про бим-сплиттер очень интересен ) Ведь когда-нибудь наступят такие времена, когда любое отснятое 3d говно, включая старые фильмы, можно будет пофиксить твоими программами в авторежиме :) Пускай даже и подождать придётся месяц на рендеринг.
Ведь когда-нибудь наступят такие времена, когда любое отснятое 3d говно, включая старые фильмы, можно будет пофиксить твоими программами в авторежиме :) Пускай даже и подождать придётся месяц на рендеринг.
К счастью или сожалению это будет не скоро.
Ведь световой поток не может заглянуть «за объект»

Может. В пределах сдвига точки зрения в границах линзы. Для стерео, особенно если это съемка для большого экрана (с увеличением) сильно много и не надо. В видео на которое Вы ссылаетесь — крутят сильно больше.
Каждый год посещаю доклады автора на CGEvent и всегда очень интересно, спасибо вам. В этом году был доклад по нейросетевым алгоритмам в обработке видео, и, честно говоря, я жду недождусь когда всё это вкупе с SR и пленоптикой даст решения позволяющие упростить matchmove и фотограмметрию, потому что сейчас приходится городить адовы костыли что-бы за более-менее разумное время получить сцену и камеры из отснятого видео, и большая часть этого времени как раз вычисление z-buffer. Для большого продакшена — это рутина, для небольшого — проблемма

image
Приятно, спасибо! )

Тут надо учитывать, что мы часто находимся за пару этапов от конечного софта.

Т.е. это реально очень частая ситуация — новый софт уже можно сделать, новые технологии позволяют, однако это расходы:
* доведение прототипов технологий до продуктовых (увеличение их стабильности, ускорение и т.п.)
* реализация продуктов (развлекалово с версиями программ-хостов, поддержка разных платформ и архитектур, интерфейс, отладка и т.п.)
* организация продаж (создание рекламных материалов, вложения в маркетинг, выставки, статьи и прочее продвижение, сами продажи, поддержка и т.п.)
* много административных моментов (налоги, патенты, недружественные действия конкурентов и т.д.)

Короче — когда это все калькулируется и сравнивается с размером рынка, на котором народ вполне себе часто устраивают костыли, но за которые не надо ничего платить… (и это совершенно понятная позиция!)

В общем — принимается решение повременить… )

А люди проклинают костыли…

И лучше ситуация на «богатых» рынках, когда компании готовы купить 2-3 решение одной проблемы, поскольку деньги есть, а двигаться надо быстро. Но большинство рынков не такие.

На последнем CG-Event был доклад «В AR денег нет — расходимся» аккурат про это )

На докладе про дополненную реальность не попал, обязательно посмотрю в архиве конференции, спасибо. А по поводу софта я думаю что если создать комплексное ПО (трекинг, мачмувинг, фотограмметрия) наподобие pftrack, то рынок для него найдётся, но вам, безусловно виднее.

У русских программистов как обычное продать — более сложная проблема чем сделать. Увы… Работаем над этим )
Какая красота!
SR даст повышенное разрешние -> меньше шумов меш-сетки?

Главное точный и чистый канал глубины

Почти все изображения в png — это вы умышленно?
Нет. Похоже автоматом при кодировании в гуглодоках гугл начал по умолчанию из буфера в PNG вставлять в документ. Надо будет проверить.
Буквально месяц назад вышел Vive Pro Eye — VR шлем с технологией Eyetracking. Вкупе с пленоптикой теоретически можно получить на выходе смену дистанции фокусировки в зависимости от расстояния между зрачками. Уверен, эффект погружения будет зашкаливать! Ведь именно фиксированный фокус в бытовой стереоскопии мешает сегодня «поверить» в реальность картинки, и лечат эту проблему достаточно топорно, увеличивая глубину резкости.
Все так с поправкой «позволит в будущем», поскольку сейчас ключевой момент — задержки. Сейчас банальный поворот головы недостаточно быстро отрабатывается, когда сложный рендеринг нужен (хотя на играх казалось бы уже все великолепно отработано). И приходится на ухищрения идти… А тут все кардинально сложнее.

А в будущем — да, конечно.
Вообще-то я не про игры и прочий real time rendering. Я про панорамные стереоскопические видео. Мне думается, воспроизведение таких видеотреков с возможностью быстро менять дистанцию фокусировки можно реализовать уже сегодня, на мощностях бытового ПК. Ведь вся сцена уже обсчитана (рендер), либо отснята (пленоптика).

Мало того, если говорить об ухищрениях, то они тоже есть: Eyetracking позволяет динамически снижать качество картинки, которая попадает в обширную зону периферийного зрения. Человек все равно не различает деталей и цветов за пределами небольшой центральной зоны — Fovea centralis. Такой-лайф хак называют Foveated Rendering, он позволяет экономить вычислительные ресурсы, а точнее грамотно перераспределять их для повышения качества той области сцены, на которую зритель действительно смотрит.
Там сдается мне все упрется в производительность подсистемы хранения данных и в память. Если я правильно считаю то даже на 30 fps нужно в районе по крайней мере 50 ГБ/сек поток обрабатывать. Его даже на видеокарту не пробросить — тут PCI-E 5.0 x16 нужен, современные видяхи тянут лишь втрое меньше.
Толстый черный жгут внизу слева на заднем плане — это моток оптоволоконных кабелей примерно 4 сантиметра диаметром, по которым камера отдает чудовищный поток информации в специальное хранилище
Ключевой момент — задержки. Eyetracker работает не мгновенно, на рендеринг также нужно заметное время. Плюс передача. А взгляд перемещается крайне быстро. При просмотре съемки траектории глаза на 500 fps это очень хорошо видно.

При этом если стабильно опаздывать — могут быть разные неприятные эффекты.

Например, даже небольшое отставание при рендеринге поворотов головы вызывает конкретное укачивание.
Снимок ниже с Йоном Карафином, с которым мы примерно одного роста, более точно передает масштабы бедствия

Подразумевается, что читатели Хабра знают рост автора?
Сие крайне маловероятно). Подразумевается, что читатели сравнят фото камеры и оценят, насколько она реально крупнее по второму фото. Равно как насколько Lytro грамотно визуально уменьшили ее размер для рекламы.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории