Comments 59
Крутые статьи. Прочитал на одном дыхании. Спасибо
Мы этим занимались (и даже публикации есть). Делали и Depth from Focus (наш пример глубины для подводной съемки, или вот еще пример для снега — но вообще количество работаюших кейсов ограничено), Depth from Camera Motion (например, вот есть материал с нашим примером, а вот пример с видео с глубиной), а можно из каких-то догадок разной природы глубину (примеры, еще примеры — самая распространенная «догадка» — ландшафтный характер сцены — с ней крайне дешево «конвертируют» в 3D кучу видео с квадракоптеров, за что я бы отрывал руки))).
Мне люди жалуются, что длинные тексты! Приходится бить на части и не все давать, даже из личной бурной практики. ;) А так если на винте покопаться, можно много интересного найти по генерации глубины из всего на свете, в том числе то, что в продукты не пошло ;)))
Вручную z-stacking работает для увеличения ГРИП, но карту глубины рассчитать не получилось.Неудивительно. Там из-за малой ГРИП алгоритму буквально «не за что зацепиться». Если заморачиваться — можно рядом с образцом помещать остроугольную пирамидку с горизонтальными полосками. Тогда можно будет и вручную прикинуть высоту, и алгоритмически ее вообще чуть не точно посчитать (самое сложное будет — калибровка многочисленных фото пирамидки), но это типичный закат солнца вручную получится. )
Это тоже большая тема, по которой много материала своего времени ждет. ;) И там одна из причин слабого качества ровно в том, что люди РЕДКО жалуются на плохое качество. Это большая проблема для профессионалов, у которых нет аргументов для продюсеров. Так что очень плохо, что никто в суд не подает.
В 2D IMAX посмотреть, кстати, можно, даже если прокатчик категорически против. Соответствующие очки на Али стоят недорого ) Так что все в ваших руках.
А как по мне, так стало лучше. Такое чувство, что наигрались с 3D и стали использовать его более умеренно и осознанно. Первоначальный азарт ("Вау, 3D, давайте все делать как можно трёхмерней, пусть их глаза смотрят в разные углы экрана!") сменился более взвешенным подходом. Сейчас глаза устают меньше, отметил, что меньше стало раздражающих бликов, видимых одним глазом. Эффекты стали тоньше и приятнее. Фильм при этом плоским не ощущался.
Всэ это ИМХО, конечно, оценка чисто субъективная.
Всэ это ИМХО, конечно, оценка чисто субъективная.И объективно там все тоже улучшается с хорошей скоростью. Мы в свое время 100 3D блюреев измерили по пачке метрик — красный — 30% худших фильмов на этот момент, зеленый — 30% лучших. Хорошо виден прогресс (и сейчас все стало еще лучше):
![image](https://habrastorage.org/getpro/habr/comment_images/fb5/c8f/cca/fb5c8fcca45f0ab7c52fb1fa760dffb1.png)
По другим метрикам картина та же, графики и примеры тут в большом количестве:
- Почему от 3D болит голова / Часть 3: Перепутанные ракурсы
- Почему от 3D болит голова / Часть 4: Параллакс
- Почему от 3D болит голова / Часть 6: Искажения цвета
- Почему от 3D болит голова / Часть 7: Сдвиг во времени между ракурсами
Было опубликовано меньше половины всего собранного материала…
Про «меньше стало раздражающих бликов» — в искажениях цвета.
Про «фильм плоским не ощущается» — в части про параллакс подробно.
А меня Аквамен поразил на редкость качественным 3d. На мой взгляд сравнимо с аватаром, если не лучше. (Обычно меня 3d только раздражает стробоскопическим эффектом при быстрых движениях в кажре) И тут понимаешь, что будущее видео все равно за 3d, а производители tv как сговорились и отказываются производить телевизоры с 3d, а гонятся за какими-то чрезмерными разрешениями разница в которых с типичной дистанции просмотра практически не заметна, зато требования к железу и размеры файлов растут в геометрической прогрессии.
а производители tv как сговорились и отказываются производить телевизоры с 3d, а гонятся за какими-то чрезмерными разрешениями разница в которых с типичной дистанции просмотра практически не заметнаУ меня мысль была мысль написать о причинах «заговора» ))) Они алгоритмические и организационные (договориться пока не могут). Но вроде популярность темы спала.
Может потому, что все потихоньку движутся в VR очки и VR? Буквально вчера надел Oculus Rift S. Ощущения офигенные и эффект гораздо круче, чем от ТВ.
Им пока не хватает разрешения, но ИМХО скоро и это пофиксят и это будет бомба.
глубина хранится Google (как и Huawei, и прочими) в самом изображении, поэтому ее можно оттуда извлечь и посмотреть
А что за формат хранения? Какими инструментами с ним работать? Браузеры уже понимают такие картинки?
exiftool -b -ImageData image.jpg > image.gimage.jpg
exiftool -b -Data image.jpg > image.gdepth.jpg
photo.stackexchange.com/questions/86286/how-to-extract-depth-information-from-jpeg-files
Для хуавей:
«depth map is coded on 8 bits at the end of the file, use HxD editor to extract the image (check the tags in ascii code „edof“ & „DepthEn“)»
forum.xda-developers.com/p9/help/extracting-images-p9-dual-camera-t3465877/page2
github.com/jpbarraca/dual-camera-edof
Держите. Эта весьма практичная работа сейчас у нас готовится к защите кандидатской, а ее автор к работе на Google:
videocompletion.org/fast_video_completion
посмотрите там внизу по ссылке — много примеров, в том числе очень и очень сложные технически (пыль, нетривиальное движение). После убирания слона достроить пару пикселей с краю — довольно простая задача. Нельзя сказать, что у автомата не бывает глюков, но в большинстве случаев результат можно даже в кино использовать.
И таких работ много, понятно. Это — наиболее сложный подход, он в продуктах будет года через четыре. В примере выше — совсем простой.
Видео до конца века может и будет трехмерным, а проецировать будем один фиг на плоскости экранов :( С 3d tv всех типов производители наигрались и забили, на смартфонах эти же технологии не взлетят из-за размеров экрана и углов просмотра, с голограммами не двигается вроде ничего. В vr-шлеме все время не будешь сидеть. Вангую что трехмерность всего подряд останется в основном востребована профессионалами. Ну там чтобы снятый материал обрабатывать удобнее, спецэффекты лучше цеплять, фотки "вытягивать".
А статьи огнище, жгите еще!
не двигается вроде ничегоЭто откуда у вас такие сведения? )
На всех фронтах все двигается и довольно хорошо.
Для стереоскопии на показе затык был в алгоритмах обработки и в первую очередь смены параллакса и там все хорошо развивается, но пока не решено несколько фундаментальных задач + вычислительной мощности не хватает. Там алгоритмы в 2000 раз медленнее реального времени и это проблема. При этом уже через 5 лет обещают увеличение мощности RPU в 100 раз относительно топовых GPU. Сколько-то наиграют программно. Скорость памяти растет, опять же. В итоге через 7 лет, вангую, вполне могут появиться гики, которые будут конвертировать самими свежими модными нейросетками блю-реи с параллаксом кинотеатров в параллакс домашних диагоналей. Примерно как сегодня конвертируют советские мультфильмы и аниме в HD ). Сначала алгоритмы будут тянуть только конвертацию, потом и съемку. И (внезапно!) пойдет новая волна ) У всех производителей телевизоров есть отделы, которые прототипы 3D экранов готовят, мы с ними общаемся )))
По автостереоскопии — то же самое. Ей не хватает разрешения. Всегда! По пиксель экрана дешевеет в 10 раз каждые 10 лет уже 40 лет подряд. И за последнее десятилетие скорость падения цены увеличилась. Они уже не знают, куда пиксели девать. В 2D столько не нужно. Скажу по секрету — в 2D увеличение даже ухудшает визуально картинку, поскольку количество интерполированных пикселей уже сильно превышает количество «настоящих». Иногда больше, чем на порядок… Т.е. уже что-то не то творится. И революцию тоже готовят. ) Там материала на много постов хватит )
Жечь буду, спасибо! Лишь бы времени хватало!
Насколько знаю, есть алгоритмы востановления глубины по обычному статичному изображению. Т.е. по одной картинке. Даже название есть у направления, не могу вспомнить. Там зачастую используется множество импирических данных, в том числе тень.
В свое время гугл шуму наделал, использовав для обучения кучу стерео-видео, залитых на youtube чтобы обучить сеть предсказывать глубину по одному кадру. С тех пор понеслось! )
Я вот про лидары одно не понимаю — они же чем-то светят и отраженный "свет" ловят. Что будет, когда из каждой машины будет этот самый лидар светить? Они же будут как раз в "глаз" встречным машинам светить. Как эта проблема решается? У каждого экземпляра своя частота? Какие-то паттерны посылать и распознавать?
В феврале был неплохой перевод на хабре про лидары, где, в частности, было:
Большая энергия позволяет увеличивать расстояние, но у неё есть и свои недостатки. В этом году на выставке CES в Лас-Вегас один человек рассказал журналу Ars, что его дорогая камера оказалась испорченной, когда он сделал фотографию лидара от AEye. Глаза заполнены жидкостью, непроницаемой для волн длиной 1550 нм. А камеры – нет. Видимо, мощный лазер AEye попал на хрупкую матрицу фотокамеры.
В заявлении для журнала Ars компания AEye описала повреждение камеры как проблему, присущую всей индустрии. Но Ангус Пакала, директор конкурирующей компании Ouster, спорит с этим. Он писал: «Наши сенсоры безопасны для глаз и камер. И точка». Luminar сообщила, что «мы провели всесторонние испытания с той же камерой с теми же линзами и с теми же настройками, что были у повреждённой на CES, и не смогли причинить ей вреда» при помощи лидара от Luminar.
Т.е. типа лидары от компании AEye опасно фотографировать, а лидары от компаний Ouster и Luminar — безопасно. Дальше, очевидно, будут больше тему исследовать. Было бы обидно повредить камеру своего нового флагманского смартфона, сфотографировавшись на улице с оживленным движением.
Из приколов на ту же тему на тостере было Можно ли лазерной указкой испортить дорожную камеру — фиксатор скорости? )))))))
Отдельная проблема — когда два лидара «смотрят» на один объект. Там нужны усилия по синхронизации (если совпадают — один должен сдвинуться во времени), иначе они будут генерировать заметные помехи друг-другу. По факту сейчас это не так страшно, поскольку у лидаров разных компаний не совпадают частоты развертки, да и частоты лазеров часто, но с ростом количества таких машин на дорогах проблема возникнет.
Они по природе своей работают как камеры с уже забываемым бегущим затвором
Сейчас найти даже обычную камеру без rolling shutter, а с глобальным затвором по адекватной цене та еще задача. А full frame темболее.
но не у всех CMOS камер есть global shutter.
Я бы сказал мало у кого из камер с матрицей хотябы aps-c, он есть.
Everything You Should Know About Rolling Shutter on Your Phone's Camera
Rolling Shutter vs Global Shutter | How to Choose
Rolling and Global Exposure
Zyla and Neo sCMOS Cameras(см разворот 12, ср 23, рисунок справа)
ROLLING & GLOBAL SHUTTER (см стр 6, как может идти считывание и экспозиция у CMOS)
На конфе видел видео с живым сперматозоидом, рядом Rolling и Global Exposure, на скользящей экспозиции не то что контур, позицию было сложно определить. Так что ребята пишут, что с их sCMOS всё отлично, но на самом деле даже с global exposure и 10 fps движущиеся объекты смазываются в направлении считывания.
![image](https://habrastorage.org/getpro/habr/comment_images/28d/192/bd4/28d192bd4b1b3a7ec48d964e38639ebc.jpg)
Причем можно рендерить новую поверхность с разными параметрами со светом с разных сторон и хорошо увидеть остатки старых фундаментов:
![image](https://habrastorage.org/getpro/habr/comment_images/90d/bed/83a/90dbed83a85aaee156cc30d153bdb972.jpg)
![image](https://habrastorage.org/getpro/habr/comment_images/759/6df/d0a/7596dfd0a7170fd9fc8762f3ac37a941.jpg)
Чтобы расчистить местность и это все увидеть — требуются колоссальные усилия.
Камеры глубины — тихая революция (когда роботы будут видеть) Часть 2