Комментарии к публикации «Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра»

20.10.2022 15:00:59 myhambr

myhambr — Thu, 20 Oct 2022 15:00:59 GMT

Посмотрел Человека Паука в Киномакс-Titan Laser Imax 3D в Каширская Плаза, действительно лучший зал страны, построен в 2018 . Действительно, чёткость (4k), яркость и 3D намного лучше, чем существовали в Москве 10 лет назад. Даже на недостаток плавности уже не так обращал внимания, картинка реально была супер.

20.10.2022 14:47:05 myhambr

myhambr — Thu, 20 Oct 2022 14:47:05 GMT

Звучит круто! Появились ли ещё более навороченные новинки за эти 3 года ?
60Hz источник сигнала поддерживают и отображают? Интерполяцию на PC для 3D сейчас можно делать на SVP (включая новомодный нейросетевой RIFE алгоритм) и DmitryRender.

20.10.2022 14:38:01 myhambr

myhambr — Thu, 20 Oct 2022 14:38:01 GMT

Ну когда то люди и 16 fps были рады в начале века, и считали это реалистично и суперкруто.
Что теперь, вечно равняться на устаревшие 100 лет назад технологии ?
Люди даже отличают 120Hz от 60Hz.

11.03.2019 18:24:37 3Dvideo

3Dvideo — Mon, 11 Mar 2019 18:24:37 GMT

Очень интересно, спасибо! )

11.03.2019 18:18:06 oisee

oisee — Mon, 11 Mar 2019 18:18:06 GMT

habr.com/ru/post/440652/#comment_19867248

«Focos» для iOS =)

11.03.2019 18:16:57 oisee

oisee — Mon, 11 Mar 2019 18:16:57 GMT

Для iOS вышло приложение Focos:
itunes.apple.com/ru/app/focos/id1274938524?mt=8

Позволяет редактировать Z-координату, менять диафрагму, пересчитывать кучу параметров и применять кучу эффектов (например отсечение части изображения по Z).
То, что искал =)

05.03.2019 09:18:07 vconst

vconst — Tue, 05 Mar 2019 09:18:07 GMT

Таки, аккомодация наиболее глубоко «зашита в железе», по сравнению с другими и не требует дополнительных условий.

05.03.2019 07:26:45 3Dvideo

3Dvideo — Tue, 05 Mar 2019 07:26:45 GMT

оч правильная поправка. А аккомодацию и конвергенцию очень любят приводить в пример киношники, которые производят полный отстой и тонны головной боли, поскольку они типа на них никак повлиять не могут и «Vergence-accommodation conflict» — для них типа индульгенции на пару десятков ВИДОВ косяков, небрежный дешевый post-production и ТЫСЯЧИ ошибок со стерео в фильме. И журналисты радостно тему разносят. При том, что на расстояниях кинотеатра (когда до экрана больше 15 метров) оно просто уже никак не влияет.

У нас была мысль свести количество упоминаний Vergence-accommodation conflict продюсором-режиссером и количество перепутанных ракурсов (правый с левым) в фильме… Было бы прикольно! ) (что-то подсказывает — корреляция прямая, ибо это в чистом виде грамотность) Но куча людей обиделась бы, а нас за проект VQMT3D и там многие не любили )

04.03.2019 18:50:21 0serg

0serg — Mon, 04 Mar 2019 18:50:21 GMT

У человека с добрый десяток разных признаков глубины, используемых в зависимости от того какой срабатывает увереннее.

04.03.2019 18:20:12 vconst

vconst — Mon, 04 Mar 2019 18:20:12 GMT

за счет движений головы и получающегося обзора с разных углов

Скорее — за счет аккомодации.

04.03.2019 17:02:56 santa324

santa324 — Mon, 04 Mar 2019 17:02:56 GMT

Да, признаю, о нарушениях зрения не подумал. Но стерео это не единственное ведь отличие окна от монитора. Человеческий мозг достраивает «стерео» даже если смотреть одним глазом — за счет движений головы и получающегося обзора с разных углов (хоть и в разные моменты). Это, вероятно, другое ощущение чем видеть «сразу стерео», но все же аналогично дает мозгу информацию о параллаксе.

27.02.2019 18:18:18 3Dvideo

3Dvideo — Wed, 27 Feb 2019 18:18:18 GMT

Ключевой момент — задержки. Eyetracker работает не мгновенно, на рендеринг также нужно заметное время. Плюс передача. А взгляд перемещается крайне быстро. При просмотре съемки траектории глаза на 500 fps это очень хорошо видно.

При этом если стабильно опаздывать — могут быть разные неприятные эффекты.

Например, даже небольшое отставание при рендеринге поворотов головы вызывает конкретное укачивание.

27.02.2019 18:14:30 3Dvideo

3Dvideo — Wed, 27 Feb 2019 18:14:30 GMT

Сие крайне маловероятно). Подразумевается, что читатели сравнят фото камеры и оценят, насколько она реально крупнее по второму фото. Равно как насколько Lytro грамотно визуально уменьшили ее размер для рекламы.

27.02.2019 15:47:29 0serg

0serg — Wed, 27 Feb 2019 15:47:29 GMT

Там сдается мне все упрется в производительность подсистемы хранения данных и в память. Если я правильно считаю то даже на 30 fps нужно в районе по крайней мере 50 ГБ/сек поток обрабатывать. Его даже на видеокарту не пробросить — тут PCI-E 5.0 x16 нужен, современные видяхи тянут лишь втрое меньше.

Толстый черный жгут внизу слева на заднем плане — это моток оптоволоконных кабелей примерно 4 сантиметра диаметром, по которым камера отдает чудовищный поток информации в специальное хранилище

27.02.2019 14:53:52 dax

dax — Wed, 27 Feb 2019 14:53:52 GMT

Вообще-то я не про игры и прочий real time rendering. Я про панорамные стереоскопические видео. Мне думается, воспроизведение таких видеотреков с возможностью быстро менять дистанцию фокусировки можно реализовать уже сегодня, на мощностях бытового ПК. Ведь вся сцена уже обсчитана (рендер), либо отснята (пленоптика).

Мало того, если говорить об ухищрениях, то они тоже есть: Eyetracking позволяет динамически снижать качество картинки, которая попадает в обширную зону периферийного зрения. Человек все равно не различает деталей и цветов за пределами небольшой центральной зоны — Fovea centralis. Такой-лайф хак называют Foveated Rendering, он позволяет экономить вычислительные ресурсы, а точнее грамотно перераспределять их для повышения качества той области сцены, на которую зритель действительно смотрит.

27.02.2019 11:50:42 mastan

mastan — Wed, 27 Feb 2019 11:50:42 GMT

Снимок ниже с Йоном Карафином, с которым мы примерно одного роста, более точно передает масштабы бедствия

Подразумевается, что читатели Хабра знают рост автора?

26.02.2019 19:43:29 3Dvideo

3Dvideo — Tue, 26 Feb 2019 19:43:29 GMT

Всячески присоединяюсь к предыдущему оратору! Пожалуйста осильте! )

26.02.2019 19:39:25 troll_face

troll_face — Tue, 26 Feb 2019 19:39:25 GMT

Ага, пасиб за информацию! Но — ждем статью с картинками и табличками, уж «осильте», пожалуйста! Подписался на Вас ;)

26.02.2019 19:13:08 ED-209

ED-209 — Tue, 26 Feb 2019 19:13:08 GMT

Спасибо за отзыв на комментарий.

->>>>Лично меня немного насторожило число восторженных эпитетов в Вашем комментарии (нет, я Вам вполне верю, но ощущения всегда штука субъективная)

Насчет восторженных эпитетов… да вроде так уж взахлеб прям не писал, смутили, пойду перечитывать :)
У меня аналогично был Oculus CV1, причем я его получил в первых рядах, один юнит совершал return to base из Штатов для починки и как раз ровно на лонче девайса, попросил зацепить, привезли в РФ и передали лично в руки. Их тогда в РФ по пальцам можно было пересчитать. И на работе потом появился HTC Vive, тоже долго гонял.
С Окулусом у меня наборот, остались исключительно теплые воспоминания, правда я практически все время юзал его с вот такой штукой
www.rseat.net/formula-cockpit/rs-formula-m4a-red
и там не то что «вау-эффект на недельку», а просто самый настоящий отвал башки, месяцами в Project Cars километраж наматывал. Эффект погружения невероятный. Жалко стоит такая хрень как самолет, в регионе можно квартиру купить за эти деньги. Больше для аренды аппарат. Хотя, знаю пару человек, у кого и дома такое стоит. :)
В общем, стаж в VR есть, не столь длительный по протяженности, сколько чрезвычайно яркий и насыщенный. Много разных штук перепробовал в VR, можно на несколько страниц понаписать всего, но суть, как говорится, не в этом. Какая картинка в Рифте/Вайве очень хорошо знаю. Сравнить по качеству изображения есть с чем.
Спустя год плотной и интенсивной возни с виртуальной реальностью, когда все возможное поперепробовал, CV1 был продан и откатился обратно на 3D. В «домашних условиях» мне сейчас VR абсолютно не интересен. Может что-то с гипотетической PS VR 2 на будущей Playstation изменится, единственные кто тащат VR активно.
По вашей ссылке версия Goovis G2. Давайте еще раз, коротко :)
Goovis G1 — 2x1920x1080@60Гц, с андроид пультом, на батарее, 16Gb, MicroSD, Wi-Fi, BT, USB. 2D/3D. 3D стереопары, только Half- Side-By-Side, конечное разрешение для 3D — 960x1080@60Гц.
Goovis G2 — 2x1920x1080@60Гц, с андроид пультом, на батарее, 32Gb, MicroSD, Wi-Fi, BT, USB, тачпад на пульте. 2D/3D. 3D стереопары, только Half- Side-By-Side, конечное разрешение для 3D — 960x1080@60Гц.
В нем еще, забыл написать ранее, есть поддержка хедтрекинга (можно 360 видео смотреть, по-моему). Но при ограниченном FOV 53 градуса смысла нет. Опцию прикрутили для галочки, непонятно зачем. Даже толком и не запускал никогда.
Goovis Pro — 2x1920x1080@60Гц, голый, без андроид пульта (пульт можно отдельно докупить). Есть бандл вместе с андроид медиа-приставкой Zidoo X9 (BD3D крутилка). Предыдущие модели позиционирование for Travel, этот for Home. 2D/3D. 3D для фильмов, конечное разрешение — 1920х1080@24Гц (Blu Ray 3D), 3D для игр — 720p@60Гц (NVidia 3DVision). Продается пока только в Китае и буквально на днях вышли на рынок Тайвань.
Goovis T2 VR — опытный образец для виртуальной реальности. По нему у меня никакой информации нет.

26.02.2019 16:45:03 3Dvideo

3Dvideo — Tue, 26 Feb 2019 16:45:03 GMT

К несчастью они работают не только в цехах )

работает под… разными версиями Windows

Удивляет. Ох уж мне эти программисты )))

26.02.2019 16:28:17 troll_face

troll_face — Tue, 26 Feb 2019 16:28:17 GMT

Какое солнце в цехах, где находятся промышленные роботы? ;)

P.S. (не в тему) Кстати, любопытно, что, оказывается, подавляющее большинство промышленных роботов работает под… разными версиями Windows (по крайней мере, «фронт-энд», а не bare metal firmware), и всевозможные RTLinux/QNX для фирмвари тоже практически не используются.

26.02.2019 16:23:01 3Dvideo

3Dvideo — Tue, 26 Feb 2019 16:23:01 GMT

А в чем преимущество пленоптических сенсоров над стандартными Kinect-ами?

Ну, например, кинект умирает на солнечном свету. ) И даже при облаках солнце засвечивает его сигнал.

Массовость производства сенсоров других типов тоже растет, соответственно, цена падает.

26.02.2019 15:45:33 troll_face

troll_face — Tue, 26 Feb 2019 15:45:33 GMT

Ну, эти тоже с промышленными роботами работают (не с машинками на Arduino :) ). А в чем преимущество пленоптических сенсоров над стандартными Kinect-ами? AFAIK, в Kinect-ах своя достаточно крутая математика и вычислительные мощности, выдающие «на гора» уже обработанные данные (я возился, в свое время, с Kinect-ом от Xbox 360, just for fun). Сомневаюсь, что стоимость имплементации на custom сенсорах с «обвязкой» будет дешевле retail контроллеров, производимых миллионами, и практически уверен в том, что стоимость R&D возрастет значительно. Но я не специалист в это, потому могу ошибаться.

26.02.2019 15:31:29 3Dvideo

3Dvideo — Tue, 26 Feb 2019 15:31:29 GMT

Тоже таких знаю и про них, дай бог, напишу. А в цитате речь про промышленных роботов речь шла про пленоптические сенсоры, которым как раз сенсоры структурного света типа первых кинектов конкуренцию оказывают.

26.02.2019 14:31:50 troll_face

troll_face — Tue, 26 Feb 2019 14:31:50 GMT

Сейчас интересная тема — промышленные роботы, но там велика конкуренция со стороны сенсоров других типов.

Знаю ребят (стартап), которые вполне успешно пилят на стандартных копеечных Kinect сенсорах от Xbox One; работает очень прилично, чтобы не сказать больше. Правда, там математика сложная (обрабатываются данные 4 или 8 сенсоров суммарно). Но по любому, учитывая стоимость оборудования, решение из абсолютно другого ценового диапазона, чем подобные камеры и лидары.

26.02.2019 14:30:12 vconst

vconst — Tue, 26 Feb 2019 14:30:12 GMT

Да, с контентом там напряги дикие. Во все поиграл по два раза и хоть продавай.

26.02.2019 14:24:44 troll_face

troll_face — Tue, 26 Feb 2019 14:24:44 GMT

Нет, релизный. Заработало все «искаропки сполпинка», штатно, видеокарта была «топовая» на то время (да и сейчас вполне себе «топовая», ZOTAC GeForce GTX 1080 AMP Extreme), установил кучу игр и программ, благо их полным-полно, и бесплатных, и trial, даже купил что-то (про Apollo). Но wow-эффект продолжался не более недели, если не меньше, что довольно странно, учитывая наличие в доме ребенка 6.5 лет и гостящей родственницы 16 лет. Как разовый аттракцион — да, великолепно, можно даже брать деньги за это, но как домашняя entertainment system — не «прокатило». Я подержался дольше всех, опробовал все, что можно: и в игры поиграл, и высадку на Луну посмотрел, и в каком-то 3D чате виртуальной реальности полетал, и даже «Avatar» попробовал посмотреть. Что заметил — после получаса в шлеме появляется какое-то неприятное ощущение; точно сформулировать сложно, но в общем можно описать, как дискомфорт. Фильм, опять-таки, смотреть было неудобно, потому, что пришлось смотреть за рабочим столом, возле PC, а не в любимом реклейнере. А с IMAX-ом (да и вообще с хорошим кинотеатром) я бы вообще сравнивать не стал, совершенно другие ощущения.

Не знаю, возможно, это из-за сравнительно низкого разрешения, хотя, вероятно, не это основной фактор.

Впрочем, подумываю повторить эксперимент и дать шлему второй шанс у меня дома…

26.02.2019 09:15:00 vconst

vconst — Tue, 26 Feb 2019 09:15:00 GMT

Какой версии у вас был Окулюс? Если девелоперский — то там все грустно, а если релизный — то там все намного лучше. Ни малейших лагов нет, положение головы и контроллеров отслеживается идеально. Единственный серьезный косяк — низкое разрешение экранов, тут все довольно уныло :(

26.02.2019 08:41:51 safari2012

safari2012 — Tue, 26 Feb 2019 08:41:51 GMT

Вот только в эти выходные всей семьёй прсмотрели обеих Алис в 3D. И жена и дочь в восторге.

26.02.2019 08:40:12 safari2012

safari2012 — Tue, 26 Feb 2019 08:40:12 GMT

Их перестали продавать не из-за контента, а из-за слишком маленькой диагонали для 3D => посредственного эффекта погружения. Для сравнения, все современные DLP-проекторы для домашних кинотеатров идут с поддержкой 3D. А контента хватает. Кроме того, сейчас тенденция перехода на 4к. А фильмов в 4к 3D UHD в продаже не встречал. Вероятно, стандарт не приняли?

26.02.2019 07:21:13 troll_face

troll_face — Tue, 26 Feb 2019 07:21:13 GMT

Очень интересный комментарий! IMHO, добавить чуток картинок, и рассказ про преодоление сложностей с заказом — и отличная публикация уже готова. Думаю, будет интересно не только прочитавшим эту публикацию и Ваш комментарий, а еще и тысячам читателей.

Лично меня немного насторожило число восторженных эпитетов в Вашем комментарии (нет, я Вам вполне верю, но ощущения всегда штука субъективная). Мой опыт с 3D очками Oculus Rift (хотя, видимо, по качеству изображения они проигрывают) вовсе не такой радостный; «вау-эффекта» хватило на неделю максимум, потом пришлось сдать «взад», чтобы $400 не пылились.

Касательно же упомянутого Вами гаджета — вот эта хрень — не оно (под другим именем)?

25.02.2019 08:20:29 3Dvideo

3Dvideo — Mon, 25 Feb 2019 08:20:29 GMT

просто нужна привычка,

Ну я про 3D тоже так говорил ) Собственно доказано, что одна из причина популярности 3D в Китае — они с детства показывают «вырвиглазное» стерео, от которого европеоидов выносят из зала. И вот результат! Везде 3D накрылось, а у них живее всех живых! )

Но люди, к сожалению, недостаточно сознательны, чтобы терпеть ради прогресса! )))

Как следствие — в Китае рынок стерео сохранился и устройства (в том числе VR 3D) там довольно быстро совершенствуются (одна HTC чего стоит!).

25.02.2019 08:14:47 trir

trir — Mon, 25 Feb 2019 08:14:47 GMT

просто нужна привычка, пары часов постепенного привыкания — достаточно ;=)

25.02.2019 08:00:01 3Dvideo

3Dvideo — Mon, 25 Feb 2019 08:00:01 GMT

не укачивает, совсем

)))) Поскольку мы плотно занимаемся головной болью от 3D (см серию статей «Почему от 3D болит голова»), к нам ПОСТОЯННО обращаются господа, которые не могут сделать свой квест больше 10 минут — у них регулярно люди срывают шлем с головы, прекращают прохождение и нашатырь — обязательно близко в кармане у ведущего.

Не стоит преуменьшать проблему, она от этого не пропадает и большее количество народу потом скажет «Да ну нафиг».

Со стерео это уже произошло. С VR все идет ровно по тому же сценарию.

25.02.2019 07:54:18 3Dvideo

3Dvideo — Mon, 25 Feb 2019 07:54:18 GMT

У наших коллег в МГУ тоже стоит кресло, правда попроще:

И можно его с экраном (поддерживает стерео), а можно со шлемом использовать.

Весьма забавно.

Они еще с гальваностимуляцией экспериментируют — мало не покажется )

25.02.2019 07:52:31 trir

trir — Mon, 25 Feb 2019 07:52:31 GMT

не укачивает, совсем — хотя это сильно индивидуально и зависит от превычки
разрешение быстро прогресирует

А про альтернативу, о которой речь, мало кто знает.

это не альтернатива, там нет отслеживания и контролеров.
Вся фишка VR — в эфекте присутвия, и главное это котролеры — которые позволяют взаимодейсвовать с окружением

25.02.2019 07:48:34 3Dvideo

3Dvideo — Mon, 25 Feb 2019 07:48:34 GMT

зато в VR — эффект погружения

и плата за это — эффект укачивания и разрешение, которого пока заметно не хватает

А про альтернативу, о которой речь, мало кто знает.

24.02.2019 18:53:37 ED-209

ED-209 — Sun, 24 Feb 2019 18:53:37 GMT

И не говорите
www.youtube.com/watch?v=0KnS3aESNk0

24.02.2019 18:24:35 trir

trir — Sun, 24 Feb 2019 18:24:35 GMT

зато в VR — эффект погружения

24.02.2019 10:05:30 3Dvideo

3Dvideo — Sun, 24 Feb 2019 10:05:30 GMT

Все так с поправкой «позволит в будущем», поскольку сейчас ключевой момент — задержки. Сейчас банальный поворот головы недостаточно быстро отрабатывается, когда сложный рендеринг нужен (хотя на играх казалось бы уже все великолепно отработано). И приходится на ухищрения идти… А тут все кардинально сложнее.

А в будущем — да, конечно.