Pull to refresh

Comments 59

Крутые статьи. Прочитал на одном дыхании. Спасибо

Я бы еще упомянул что в принципе любые фотоаппараты с автофокусом умеют «сканировать глубину», двигая фокальную плоскость изображения :). Мыльницы — по принципу наибольшей резкости изображения, зеркалки — по методам родственным пленоптике. Depth from focus используется на практике для 3D сканирования в микроскопии.
Есть такой способ!

Мы этим занимались (и даже публикации есть). Делали и Depth from Focus (наш пример глубины для подводной съемки, или вот еще пример для снега — но вообще количество работаюших кейсов ограничено), Depth from Camera Motion (например, вот есть материал с нашим примером, а вот пример с видео с глубиной), а можно из каких-то догадок разной природы глубину (примеры, еще примеры — самая распространенная «догадка» — ландшафтный характер сцены — с ней крайне дешево «конвертируют» в 3D кучу видео с квадракоптеров, за что я бы отрывал руки))).

Мне люди жалуются, что длинные тексты! Приходится бить на части и не все давать, даже из личной бурной практики. ;) А так если на винте покопаться, можно много интересного найти по генерации глубины из всего на свете, в том числе то, что в продукты не пошло ;)))
Так может напишете об этом статью? Большую и интересную, а кто жалуется, так это их проблемы?
Хорошо бы. Времени хронически не хватает ). Сейчас пишу статью «Где взять время?» )))
а вы пишите абзац текста (примерно как комментарий по объему), в КПДВ фотку девайса а в подвал — пару диаграмм\фото с природы, вот и заметочка. (А как говорится в известном анекдоте «пять старушек — рупь»… )
Depth from focus в микроскопии хорошо работает в проходящем свете на малых апертурах (где-то до 0.4) и примерно никак при больших (>0.9), иммерсии и фазе/DIC. Говорят, втёмном поле хорошо работает даже на больших апертурах, но не проверял, подходящей оптики нема.
Да, в микроскопии ГРИП мала, у нас коллеги делали восстановление рельефа с управляемым микроскопом.
Можно чуть подробнее про задачу? Материаловедение?
Занимался не я. Там было от банального восстановления поверхности, до трехмерного позиционирования включений в прозрачных кристаллах.
Блин, я уткнулся в необходимость точного привода, чтобы делать снимки со строго определенным шагом. Вручную z-stacking работает для увеличения ГРИП, но карту глубины рассчитать не получилось.
И методами из фотографии не получится, локальные флюки лучепреломления мешают.
Вручную z-stacking работает для увеличения ГРИП, но карту глубины рассчитать не получилось.
Неудивительно. Там из-за малой ГРИП алгоритму буквально «не за что зацепиться». Если заморачиваться — можно рядом с образцом помещать остроугольную пирамидку с горизонтальными полосками. Тогда можно будет и вручную прикинуть высоту, и алгоритмически ее вообще чуть не точно посчитать (самое сложное будет — калибровка многочисленных фото пирамидки), но это типичный закат солнца вручную получится. )
Конвертируют в 3D, а эффека не видно. На Мстители: Финал хоть в суд подавай — ни в одном моменте эффект не заметен, а в 2D IMAX посмотреть нельзя.
Конвертируют часто в Китае и качество бывает китайское (как у поддельного адидас), а бывает китайское (как у среднего iPhone), естественно. Но даже в Китае, кстати, был случай массового возмущения людей качеством конвертации.

Это тоже большая тема, по которой много материала своего времени ждет. ;) И там одна из причин слабого качества ровно в том, что люди РЕДКО жалуются на плохое качество. Это большая проблема для профессионалов, у которых нет аргументов для продюсеров. Так что очень плохо, что никто в суд не подает.

В 2D IMAX посмотреть, кстати, можно, даже если прокатчик категорически против. Соответствующие очки на Али стоят недорого ) Так что все в ваших руках.
В 2D IMAX посмотреть, кстати, можно
Так мы уже, поэтому ведь и.
Цена-то не снизится, яркость не повысится — зачем за спецочки переплачивать?
Люди платят чтобы сходить за компанию и на премьеру )

А как по мне, так стало лучше. Такое чувство, что наигрались с 3D и стали использовать его более умеренно и осознанно. Первоначальный азарт ("Вау, 3D, давайте все делать как можно трёхмерней, пусть их глаза смотрят в разные углы экрана!") сменился более взвешенным подходом. Сейчас глаза устают меньше, отметил, что меньше стало раздражающих бликов, видимых одним глазом. Эффекты стали тоньше и приятнее. Фильм при этом плоским не ощущался.
Всэ это ИМХО, конечно, оценка чисто субъективная.

Всэ это ИМХО, конечно, оценка чисто субъективная.
И объективно там все тоже улучшается с хорошей скоростью. Мы в свое время 100 3D блюреев измерили по пачке метрик — красный — 30% худших фильмов на этот момент, зеленый — 30% лучших. Хорошо виден прогресс (и сейчас все стало еще лучше):
image

По другим метрикам картина та же, графики и примеры тут в большом количестве:


Было опубликовано меньше половины всего собранного материала…

Про «меньше стало раздражающих бликов» — в искажениях цвета.

Про «фильм плоским не ощущается» — в части про параллакс подробно.

А меня Аквамен поразил на редкость качественным 3d. На мой взгляд сравнимо с аватаром, если не лучше. (Обычно меня 3d только раздражает стробоскопическим эффектом при быстрых движениях в кажре) И тут понимаешь, что будущее видео все равно за 3d, а производители tv как сговорились и отказываются производить телевизоры с 3d, а гонятся за какими-то чрезмерными разрешениями разница в которых с типичной дистанции просмотра практически не заметна, зато требования к железу и размеры файлов растут в геометрической прогрессии.

а производители tv как сговорились и отказываются производить телевизоры с 3d, а гонятся за какими-то чрезмерными разрешениями разница в которых с типичной дистанции просмотра практически не заметна
У меня мысль была мысль написать о причинах «заговора» ))) Они алгоритмические и организационные (договориться пока не могут). Но вроде популярность темы спала.
Как поклонник и владелец 3D телевизоров и камер — прошу Вас всё-таки отписаться на эту тему!
Мнение просуммировано, спасибо! У меня было 6 статей за полгода. Про камеры глубины — наименьшее количество хабраплюсов (на удивление). Хотя видно, что тема интересна (в статье про пленоптику была дискуссия про 3D телевизоры и очки, хотя она далека от темы, тут упомянул мельком конвертацию — народ отозвался), но настоящих буйных мало наверное. Но следующая волна готовится.

Может потому, что все потихоньку движутся в VR очки и VR? Буквально вчера надел Oculus Rift S. Ощущения офигенные и эффект гораздо круче, чем от ТВ.


Им пока не хватает разрешения, но ИМХО скоро и это пофиксят и это будет бомба.

Все-так VR и стерео-кино слишком разные рынки. Эффект круче. Но и тех, кого укачивает через полчаса — тоже больше. Поэтому оно пока заходит массово в основном на уровне аттракционов (15 минут и снял шлем). Хотя улучшают их довольно быстро, конечно.
По поводу таблицы сравнения — у intel realsense (стерео-камера с двумя infrared + одна цветная + подсветка специальным инфракрасным узором), например, благодаря подсветке в условиях слабого indoor-освещения на расстояниях до нескольких метров — точность довольно неплохая. Зато для outdoor — уже не особо.
Да, у них великолепная линейка. Причем поскольку блог Интел есть на хабре, они регулярно писали сюда, вижу только с тегом Intel Realsense 26 постов ). Причем у них в том числе под разные кейсы камеры в линейке. Сейчас будет соревнование Intel с китайцами — кто кого по соотношению цена-качество.
глубина хранится Google (как и Huawei, и прочими) в самом изображении, поэтому ее можно оттуда извлечь и посмотреть

А что за формат хранения? Какими инструментами с ним работать? Браузеры уже понимают такие картинки?
Ловите! ) Для гугла:
exiftool -b -ImageData image.jpg > image.gimage.jpg
exiftool -b -Data image.jpg > image.gdepth.jpg

photo.stackexchange.com/questions/86286/how-to-extract-depth-information-from-jpeg-files
Для хуавей:
«depth map is coded on 8 bits at the end of the file, use HxD editor to extract the image (check the tags in ascii code „edof“ & „DepthEn“)»
forum.xda-developers.com/p9/help/extracting-images-p9-dual-camera-t3465877/page2
github.com/jpbarraca/dual-camera-edof
Спасибо!)

Как я понял, они указаны в EXIF и лежат допкартинкой. Стандарта пока нет.
Да, каждый по-своему сохраняет, увы.
И вот что не ясно, как достраивается 2D картинка, имеющая карту глубин пикселей, до 3-х мерной анимашки? Откуда недостающие пиксели – они же в исходной 2D картинке отсутствуют?
Про это рассказывать на несколько часов )
Держите. Эта весьма практичная работа сейчас у нас готовится к защите кандидатской, а ее автор к работе на Google:
videocompletion.org/fast_video_completion
посмотрите там внизу по ссылке — много примеров, в том числе очень и очень сложные технически (пыль, нетривиальное движение). После убирания слона достроить пару пикселей с краю — довольно простая задача. Нельзя сказать, что у автомата не бывает глюков, но в большинстве случаев результат можно даже в кино использовать.
И таких работ много, понятно. Это — наиболее сложный подход, он в продуктах будет года через четыре. В примере выше — совсем простой.

Видео до конца века может и будет трехмерным, а проецировать будем один фиг на плоскости экранов :( С 3d tv всех типов производители наигрались и забили, на смартфонах эти же технологии не взлетят из-за размеров экрана и углов просмотра, с голограммами не двигается вроде ничего. В vr-шлеме все время не будешь сидеть. Вангую что трехмерность всего подряд останется в основном востребована профессионалами. Ну там чтобы снятый материал обрабатывать удобнее, спецэффекты лучше цеплять, фотки "вытягивать".
А статьи огнище, жгите еще!

не двигается вроде ничего
Это откуда у вас такие сведения? )

На всех фронтах все двигается и довольно хорошо.

Для стереоскопии на показе затык был в алгоритмах обработки и в первую очередь смены параллакса и там все хорошо развивается, но пока не решено несколько фундаментальных задач + вычислительной мощности не хватает. Там алгоритмы в 2000 раз медленнее реального времени и это проблема. При этом уже через 5 лет обещают увеличение мощности RPU в 100 раз относительно топовых GPU. Сколько-то наиграют программно. Скорость памяти растет, опять же. В итоге через 7 лет, вангую, вполне могут появиться гики, которые будут конвертировать самими свежими модными нейросетками блю-реи с параллаксом кинотеатров в параллакс домашних диагоналей. Примерно как сегодня конвертируют советские мультфильмы и аниме в HD ). Сначала алгоритмы будут тянуть только конвертацию, потом и съемку. И (внезапно!) пойдет новая волна ) У всех производителей телевизоров есть отделы, которые прототипы 3D экранов готовят, мы с ними общаемся )))

По автостереоскопии — то же самое. Ей не хватает разрешения. Всегда! По пиксель экрана дешевеет в 10 раз каждые 10 лет уже 40 лет подряд. И за последнее десятилетие скорость падения цены увеличилась. Они уже не знают, куда пиксели девать. В 2D столько не нужно. Скажу по секрету — в 2D увеличение даже ухудшает визуально картинку, поскольку количество интерполированных пикселей уже сильно превышает количество «настоящих». Иногда больше, чем на порядок… Т.е. уже что-то не то творится. И революцию тоже готовят. ) Там материала на много постов хватит )

Жечь буду, спасибо! Лишь бы времени хватало!

Хорошо если все так, конечно) С позиции обычного пользователя пока не видно результатов, поэтому и кажется что нифига не происходит.

Пользователи увидят только когда волна массовых продуктов пойдет, а такие бывают не так часто, как хотелось бы гикам (увы!) )))
UFO landed and left these words here
Интересная мысль ). Пока ничего подобного не видел, благо еще не все из движения задействовали, например. Но в какой-то момент такая тема вполне может появиться.
UFO landed and left these words here
Гм… Структурированный свет (см. первую статью) делает это проще и легче, чем тени.

Насколько знаю, есть алгоритмы востановления глубины по обычному статичному изображению. Т.е. по одной картинке. Даже название есть у направления, не могу вспомнить. Там зачастую используется множество импирических данных, в том числе тень.

Одно из названий: unsupervised monocular depth estimation. Google scholar находит 5500+ статей на эту тему. Поскольку там зачастую глубокие нейросети, то что используется на самом деле — хороший вопрос.

В свое время гугл шуму наделал, использовав для обучения кучу стерео-видео, залитых на youtube чтобы обучить сеть предсказывать глубину по одному кадру. С тех пор понеслось! )

Я вот про лидары одно не понимаю — они же чем-то светят и отраженный "свет" ловят. Что будет, когда из каждой машины будет этот самый лидар светить? Они же будут как раз в "глаз" встречным машинам светить. Как эта проблема решается? У каждого экземпляра своя частота? Какие-то паттерны посылать и распознавать?

Это большая тема.

В феврале был неплохой перевод на хабре про лидары, где, в частности, было:
Большая энергия позволяет увеличивать расстояние, но у неё есть и свои недостатки. В этом году на выставке CES в Лас-Вегас один человек рассказал журналу Ars, что его дорогая камера оказалась испорченной, когда он сделал фотографию лидара от AEye. Глаза заполнены жидкостью, непроницаемой для волн длиной 1550 нм. А камеры – нет. Видимо, мощный лазер AEye попал на хрупкую матрицу фотокамеры.

В заявлении для журнала Ars компания AEye описала повреждение камеры как проблему, присущую всей индустрии. Но Ангус Пакала, директор конкурирующей компании Ouster, спорит с этим. Он писал: «Наши сенсоры безопасны для глаз и камер. И точка». Luminar сообщила, что «мы провели всесторонние испытания с той же камерой с теми же линзами и с теми же настройками, что были у повреждённой на CES, и не смогли причинить ей вреда» при помощи лидара от Luminar.


Т.е. типа лидары от компании AEye опасно фотографировать, а лидары от компаний Ouster и Luminar — безопасно. Дальше, очевидно, будут больше тему исследовать. Было бы обидно повредить камеру своего нового флагманского смартфона, сфотографировавшись на улице с оживленным движением.

Из приколов на ту же тему на тостере было Можно ли лазерной указкой испортить дорожную камеру — фиксатор скорости? )))))))

Отдельная проблема — когда два лидара «смотрят» на один объект. Там нужны усилия по синхронизации (если совпадают — один должен сдвинуться во времени), иначе они будут генерировать заметные помехи друг-другу. По факту сейчас это не так страшно, поскольку у лидаров разных компаний не совпадают частоты развертки, да и частоты лазеров часто, но с ростом количества таких машин на дорогах проблема возникнет.
У меня вопрос про rolling shutter: CMOS камеры из-за построчного считывания можно считать его аналогом. В методиках, кроме лидара, используются CCD, или нашли какой-то способ выкрутиться?
Лидар относительно медленный в принципе. При анализе поля движения с семантикой распознанных объектов и траектории их движения, у нас редкие точные точки от лидара уточняют траекторию объекта.
Не, я именно про не-лидар, про camera-based, в том числе про смартфоны. Сейчас CMOS выигрывает по соотношению цена/качество у CCD, но не у всех CMOS камер есть global shutter.
Да я вот тоже хотел обратить внимание на вот это предложение.
Они по природе своей работают как камеры с уже забываемым бегущим затвором

Сейчас найти даже обычную камеру без rolling shutter, а с глобальным затвором по адекватной цене та еще задача. А full frame темболее.

но не у всех CMOS камер есть global shutter.

Я бы сказал мало у кого из камер с матрицей хотябы aps-c, он есть.
У GenII часто есть глобальный, у III у всех. Правда, я их видел только в науке, что в мобильники и прочую потребительскую технику ставят — не в курсе.
тогда не понимаю вопроса…
Я вот про это (извините за усредненно-рекламный характер статей, просто пытался вспомнить по картинкам и ассоциациям):
Rolling Shutter vs Global Shutter | How to Choose
Rolling and Global Exposure
Zyla and Neo sCMOS Cameras(см разворот 12, ср 23, рисунок справа)
ROLLING & GLOBAL SHUTTER (см стр 6, как может идти считывание и экспозиция у CMOS)
На конфе видел видео с живым сперматозоидом, рядом Rolling и Global Exposure, на скользящей экспозиции не то что контур, позицию было сложно определить. Так что ребята пишут, что с их sCMOS всё отлично, но на самом деле даже с global exposure и 10 fps движущиеся объекты смазываются в направлении считывания.
Отличные ссылки, спасибо! С интересом посмотрел. Да, FPS растет, проблему так или иначе компенсируют, но в целом она вполне живее всех живых.
UFO landed and left these words here
Требуются и возможны. Точно знаю, что у второй Lytro Cinema было 2 лидара, работающих в паре и они обеспечивали в 10 раз большее количество точек, чем один лидар первой Lytro Cinema. Но в детали не вникал, это уже довольно далеко от моих тем.
Кстати — забавное новое направление с лидарами — цифровая археология, когда «удаляется» лес и можно увидеть старые города и храмы:
image

Причем можно рендерить новую поверхность с разными параметрами со светом с разных сторон и хорошо увидеть остатки старых фундаментов:
Пара примеров одного места с разными параметрами освещения и рендеринга поверхности
image
image

Чтобы расчистить местность и это все увидеть — требуются колоссальные усилия.

Да, это поистине очень впечатляет. Похоже на чудо. Вот бы тайгу так просканировать.

Only those users with full accounts are able to leave comments. Log in, please.