Камеры глубины — тихая революция (когда роботы будут видеть) Часть 2

Есть такой способ!

Мы этим занимались (и даже публикации есть). Делали и Depth from Focus (наш пример глубины для подводной съемки, или вот еще пример для снега — но вообще количество работаюших кейсов ограничено), Depth from Camera Motion (например, вот есть материал с нашим примером, а вот пример с видео с глубиной), а можно из каких-то догадок разной природы глубину (примеры, еще примеры — самая распространенная «догадка» — ландшафтный характер сцены — с ней крайне дешево «конвертируют» в 3D кучу видео с квадракоптеров, за что я бы отрывал руки))).

Мне люди жалуются, что длинные тексты! Приходится бить на части и не все давать, даже из личной бурной практики. ;) А так если на винте покопаться, можно много интересного найти по генерации глубины из всего на свете, в том числе то, что в продукты не пошло ;)))

Depth from focus в микроскопии хорошо работает в проходящем свете на малых апертурах (где-то до 0.4) и примерно никак при больших (>0.9), иммерсии и фазе/DIC. Говорят, втёмном поле хорошо работает даже на больших апертурах, но не проверял, подходящей оптики нема.

Конвертируют часто в Китае и качество бывает китайское (как у поддельного адидас), а бывает китайское (как у среднего iPhone), естественно. Но даже в Китае, кстати, был случай массового возмущения людей качеством конвертации.

Это тоже большая тема, по которой много материала своего времени ждет. ;) И там одна из причин слабого качества ровно в том, что люди РЕДКО жалуются на плохое качество. Это большая проблема для профессионалов, у которых нет аргументов для продюсеров. Так что очень плохо, что никто в суд не подает.

В 2D IMAX посмотреть, кстати, можно, даже если прокатчик категорически против. Соответствующие очки на Али стоят недорого ) Так что все в ваших руках.

Да, у них великолепная линейка. Причем поскольку блог Интел есть на хабре, они регулярно писали сюда, вижу только с тегом Intel Realsense 26 постов ). Причем у них в том числе под разные кейсы камеры в линейке. Сейчас будет соревнование Intel с китайцами — кто кого по соотношению цена-качество.

Ловите! ) Для гугла:
exiftool -b -ImageData image.jpg > image.gimage.jpg
exiftool -b -Data image.jpg > image.gdepth.jpg
photo.stackexchange.com/questions/86286/how-to-extract-depth-information-from-jpeg-files
Для хуавей:
«depth map is coded on 8 bits at the end of the file, use HxD editor to extract the image (check the tags in ascii code „edof“ & „DepthEn“)»
forum.xda-developers.com/p9/help/extracting-images-p9-dual-camera-t3465877/page2
github.com/jpbarraca/dual-camera-edof

Про это рассказывать на несколько часов )
Держите. Эта весьма практичная работа сейчас у нас готовится к защите кандидатской, а ее автор к работе на Google:
videocompletion.org/fast_video_completion
посмотрите там внизу по ссылке — много примеров, в том числе очень и очень сложные технически (пыль, нетривиальное движение). После убирания слона достроить пару пикселей с краю — довольно простая задача. Нельзя сказать, что у автомата не бывает глюков, но в большинстве случаев результат можно даже в кино использовать.
И таких работ много, понятно. Это — наиболее сложный подход, он в продуктах будет года через четыре. В примере выше — совсем простой.

не двигается вроде ничего

Это откуда у вас такие сведения? )

На всех фронтах все двигается и довольно хорошо.

Для стереоскопии на показе затык был в алгоритмах обработки и в первую очередь смены параллакса и там все хорошо развивается, но пока не решено несколько фундаментальных задач + вычислительной мощности не хватает. Там алгоритмы в 2000 раз медленнее реального времени и это проблема. При этом уже через 5 лет обещают увеличение мощности RPU в 100 раз относительно топовых GPU. Сколько-то наиграют программно. Скорость памяти растет, опять же. В итоге через 7 лет, вангую, вполне могут появиться гики, которые будут конвертировать самими свежими модными нейросетками блю-реи с параллаксом кинотеатров в параллакс домашних диагоналей. Примерно как сегодня конвертируют советские мультфильмы и аниме в HD ). Сначала алгоритмы будут тянуть только конвертацию, потом и съемку. И (внезапно!) пойдет новая волна ) У всех производителей телевизоров есть отделы, которые прототипы 3D экранов готовят, мы с ними общаемся )))

По автостереоскопии — то же самое. Ей не хватает разрешения. Всегда! По пиксель экрана дешевеет в 10 раз каждые 10 лет уже 40 лет подряд. И за последнее десятилетие скорость падения цены увеличилась. Они уже не знают, куда пиксели девать. В 2D столько не нужно. Скажу по секрету — в 2D увеличение даже ухудшает визуально картинку, поскольку количество интерполированных пикселей уже сильно превышает количество «настоящих». Иногда больше, чем на порядок… Т.е. уже что-то не то творится. И революцию тоже готовят. ) Там материала на много постов хватит )

Жечь буду, спасибо! Лишь бы времени хватало!

Интересная мысль ). Пока ничего подобного не видел, благо еще не все из движения задействовали, например. Но в какой-то момент такая тема вполне может появиться.

Это большая тема.

В феврале был неплохой перевод на хабре про лидары, где, в частности, было:
Большая энергия позволяет увеличивать расстояние, но у неё есть и свои недостатки. В этом году на выставке CES в Лас-Вегас один человек рассказал журналу Ars, что его дорогая камера оказалась испорченной, когда он сделал фотографию лидара от AEye. Глаза заполнены жидкостью, непроницаемой для волн длиной 1550 нм. А камеры – нет. Видимо, мощный лазер AEye попал на хрупкую матрицу фотокамеры.

В заявлении для журнала Ars компания AEye описала повреждение камеры как проблему, присущую всей индустрии. Но Ангус Пакала, директор конкурирующей компании Ouster, спорит с этим. Он писал: «Наши сенсоры безопасны для глаз и камер. И точка». Luminar сообщила, что «мы провели всесторонние испытания с той же камерой с теми же линзами и с теми же настройками, что были у повреждённой на CES, и не смогли причинить ей вреда» при помощи лидара от Luminar.

Т.е. типа лидары от компании AEye опасно фотографировать, а лидары от компаний Ouster и Luminar — безопасно. Дальше, очевидно, будут больше тему исследовать. Было бы обидно повредить камеру своего нового флагманского смартфона, сфотографировавшись на улице с оживленным движением.

Из приколов на ту же тему на тостере было Можно ли лазерной указкой испортить дорожную камеру — фиксатор скорости? )))))))

Отдельная проблема — когда два лидара «смотрят» на один объект. Там нужны усилия по синхронизации (если совпадают — один должен сдвинуться во времени), иначе они будут генерировать заметные помехи друг-другу. По факту сейчас это не так страшно, поскольку у лидаров разных компаний не совпадают частоты развертки, да и частоты лазеров часто, но с ростом количества таких машин на дорогах проблема возникнет.

Лидар относительно медленный в принципе. При анализе поля движения с семантикой распознанных объектов и траектории их движения, у нас редкие точные точки от лидара уточняют траекторию объекта.

Требуются и возможны. Точно знаю, что у второй Lytro Cinema было 2 лидара, работающих в паре и они обеспечивали в 10 раз большее количество точек, чем один лидар первой Lytro Cinema. Но в детали не вникал, это уже довольно далеко от моих тем.