Comments 49
Во-вторых, нужно понимать, что некоторые алгоритмы восстановления depth-map (если таковые используются) тоже немного съедают от каждого элемента, так как для некоторых частей эелементов отсутствует соответстие на других элементах и в таких областях мы имеем «unknown» depth-map.
Первая проблема потенциально может быть решена с помощью методов супер-резолюции, ведь несмотря на потерю мегапикселей, избыточность сохраняется — мы можем использовать все 9 маленьких элементов для восстановления одного, но «большого».
Вторая проблема решается экстраполяцией или пост-фильтром с использованием исходного изображения + полученной depth-map. Так некоторые алгоритмы «понимают» карту глубин у краев и «продлевают» ее к краям, основываясь на контенте исходного изображения
Lytro использует этот же принцип?
Схемы: https://archive.nytimes.com/www.nytimes.com/interactive/2012/03/01/business/inside-the-lytro.html?src=tp http://image-sensors-world.blogspot.com/2011/06/lytro-put-ren-ng-2006-thesis-on-line.html, обсуждение — http://optics.org/indepth/2/6/3
Ren Neg's 2006 PhD thesis = www.lytro.com/renng-thesis.pdf = https://people.eecs.berkeley.edu/~ren/thesis/renng-thesis.pdf (DIGITAL LIGHT FIELD PHOTOGRAPHY, 50 МБ)
С точки зрения обработки всего этого добра — должно быть сложнее, наверно
А вот с зеркалами сложней и без калибровки никак, по этому и пайплайн у них другой, но недостатки…
… короче, что в растровой, что в зеркальной системе, «стерео базис» повязан на физический размер матрицы со всеми вытекающими последствиями :-) Основатель LYTRO дипломный проект свой делал используя камеру с сенсором >70мм! А более древние экспериментаторы использовали фотопластинки, для записи и воспроизведения светового поля, получалось некоторое подобие голограммы, но всё упиралось в светочувствительность, так-что зафоткать получалось разве что нить накала лампочки.
Какя-то японская группа делала массив камер и проекторов, и вроде даже получилось но не взлетело…
Объёмное изображение оказалось не нужным потребителям, дискретная перефокусировка в ограниченном объёме тоже, особенно если платить за неё приходится качеством изображения, Lytro доказало это…
… а ещё то, что математику нужно знать и любить, ведь все проблемы возникающие у устройств такого рода, расчётные и весьма ожидаемые…
Дискретную перефокусировку можно сделать очень дёшево без всех этих хитрых объективов: делать несколько кадров с разным фокусным расстоянием. Не понимаю, почему это до сих пор не реализовано.
Нужен очень шустрый накопитель.
Моя старинная беззеркалка фирмы Сони умеет делать штук десять кадров в секунду. Много секунд подряд.
Думаю, тут скорее может быть проблема в медленной смене фокуса.
Я когда-то давно хотел написать скрипт к chdk по вилке по фокусу. Остановился на том, что непонятно сколько делать кадров и с каким сдвигом.
У меня мыльница, снимаю с raw, поэтому для меня 2-3 кадра максимум.
Хотя современные камеры фокус гоняют шустро, ловить что-то в движении или схватить какой-то момент в неблагоприятных условиях с вилкой — грустно.
* посмотрел цену конкурентов с заявленными 16 виртуальными камерами, заорал, нашел на ebay старый Lytro, наверняка же железка получится бессмысленно дорогой, если учесть такой разброс цен на конкурирующие продукты и экспериментальность
Походу, компания называется R
Команда R (Опять в пролёте)?
Продукт рассчитан как раз для индивидуальных фотографов.
Существуют камеры с интегрированными в опитку/сенсор фичами с похожим функционалом, но это другая история, конечно.
Lytro — глубоко интегрированное решение. Объектив не сменить, ничего не разобрать… В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой
В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой
Что-то у меня сомнения по этому поводу. Из статьи неясно, каким это образом сложное изображение, требующее постобработки (декодирования) будет фиксироваться и отображаться обычным фотоаппаратом, с обычным процессором и прошивкой. Откуда, например, у такого фотика появится возможность выбора точки постфокусировки? А если будет меняться прошивка, то есть подозрения, что в ней не хватит места, уж точно не хватит на код для работы как с обычными объективами так и со светополевыми.
1. Можно ли заменить массив линз за объективом дифракционной решеткой? Кстати, линзы можно лить в форму, будут очень средненькие, но дешевые
2. Я не понимаю, что получается с разрешением. Что на ВЧ проседает — понятно, а вот вид сименсовской снежинки (правый верхний угол тест-объекта) меня сильно смущает: общая картина характерна для дефокуса, но линию хорошего совпадения примерно под 5 градусов я объяснить не могу
3. Про проблемы: разве нельзя сделать обратную трассировку лучей со с субпиксельным сдвигом камеры (если снимать не со штатива, она есть по умолчанию при съёмке серий с минимальным интервалом), чтобы посмотреть, куда какой луч приходит?
4. Как мы восстанавливаем итоговое изображение из калейдоскопических? Это открытый или закрытый софт?
2) По снежинке: если вы имеете в виду совпадение на картинке с absdiff — то это всего-навсего неидеальное выравнивание двух элементов. Достаточно небольших смещений влево-вправо, чтобы «вращать» это совпадение на любой угол =) Другими словами, совпадение может означать в том числе и попадание различных лучей снежинки друг на друга.
3) и 4) Насколько я понимаю, оба вопроса о разрешении. Одна из проблем — у вас нет доступа к софту камера, то есть включение этого режима будет на совести пользователя. Если камера поддерживает сверх-разрешение нативно — прекрасно. А если нет, то пользователь, скорее всего, будет ожидать хотя бы оригинального «полного» разрешения. Простора для творчества тут предостаточно, от «в лоб» интерполяции между элементами, до всяких там machine learning алгоритмов. Возможно, существует открытый софт. Но статей и ислледований на тему super-resolution — множество. Основная идея — мы можем использовать избыточность 9 элементов.
Ещё есть такая неприятная штука как развисимость разрешения от угла между чертой объекта и сеткой пикселой. 9 элементов (число элементов, как я понимаю, не зависит от числа микролинз?) позволяют снизить потери под 45 градусов (на глазок — получается примерно как при шестигранном пикселе), но больше-лучше для симметричности PSF. Базовое утверждение проверить легко: печатаем сименсовскую снежинку или хотя бы ASAF test target и делаем серию снимков, после каждого немного меняя поворот мишени относительно камеры.
3-4) Да, про разрешение. К софту всегда есть ограниченный доступ: можно получить максимально тупое изображение, единственная неотключаемая опция обычно — автоматическая подстройка чувствительности отдельных пикселей. А так получили условную равку по usb3 или camera link и вдумчиво её пережёвываем. Обсуждаем всё-таки профессиональный инструмент (непрофессионалам и на смартфонах камер хватает), так что можно ожидать, что пользователь сможет прочесть инструкцию и пропустить фото (или серию, снятую с определенными правилами) через программу-две. Основной вопрос не то, как можно, а как было сделано при подготовке материала данной конкретной статьи.
Мне особенно интересно, как такая камера будет работать в гетерогенной среде, например при подводной или астрономической съёмке. Можно ли из такого подхода выдавить давно желанный phase imaging, или «стереобаза» недостаточна? Есть классический подход: если Вы делаете «не имеющую аналогов» камеру, то за деньгами на разработку надо идти или к астрономам, или к военным, из пользователей камер они наименее аккуратно считают деньги.
Для астрономии, виртуальная базовая линия очень мала, конечно. Disparity будет практически ноль.
Насчет военных — отличная идея! Учитывая, что компания немецкая ;)
Кстати, линзы можно лить в форму, будут очень средненькие, но дешевые
Так всегда и делали, можно ещё фотопластинку через массив пинхолов засветить…
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой:
Надеюсь, это создаст какое-то общее впечатление…
… правда возникает вопрос, возможно-ли оно в принципе, у меня есть подозрения что нет, доказывать в лом, но смысл такой, что если мы исправим геометрию крайних ракурсов в ней уже не будет той избыточности что могла-бы быть потенциально использована. Снимая на параллельных осях, мы легко можем ассоциировать воксели, хотя пространственное разрешение и зависит от базиса, массив изображений с разными базисами нам это может компенсировать. Но на перекрёстных осях этого не случится.
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой
Мне кажется картинка должна быть другой — в центре нормальное изображение, а вокруг него световакханалия из кучи переотражений.
Я вас спрошу скорее: если принять экспозицию как способ ограничения количества света, падающего на сенсор, можно ли создать это ограничение не длительностью захвата, а, скажем, затемняющим фильтром напротив одного из 9 элементов? Или необходимо что-то еще?
В результате будет эффект мультиэкспозиции с трясущимися руками, на гранях объектов будут артефакты.
Но при таком раскладе, экспозиция и усиление значительны, ибо должны быть достаточны для проработки теней, и в восстановленных светах мы получим шум и размытие движения ничем не меньше чем в тенях.
При традиционной двойной экспозиции, качество светов будет выше, за счёт сокращения времени экспозиции и\или усиления.
Но перефокусировка это лишь одно из приложений. Имея карту глубин, пользователь может в фотошопе применять различные фильтры для фона и объектов с минимальными затратами времени.
Ещё можно сегментировать картинку таким образом, чтобы заменять или выделять объекты на заданном диапазоне расстояний
Что до постобработки и большей гибкости в этой обработке, ну не знаю… Если это ответственная съёмка то заранее делается множество кадров, как с разной глубиной резкости так и с разных ракурсов.
Репортаж+быстрый фотошоп? Ну да, современным СМИ это понравится)))
Единственное вменяемое применение — это научная съёмка. Тогда причём тут индивидуальные фотографы?
Но есть еще забавные вещи, такие как «живые картинки», когда пользователь может играть с углом зрения. Или различные Z-depth-path обработки (не уверен, что это правильный термин), как например здесь:
youtu.be/OzDJFaQtfUY?t=225
Интересно, что вы имеете в виду под научной съемкой?
Не совсем понял ваш пример. Там векторная графика, при чём тут съёмка?
Под научной понимаю съёмку быстротекущих процессов в дорогостоящих экспериментах, краш-тестах с последующим анализом деформаций, разлётом осколков и т.д. Сейчас для этого используют несколько дорогостоящих камер, возможно их число получится сократить с помощью СП. Либо качественно улучшить анализ материала. Так же подумал про съёмку живой природы
… и я сейчас не только за фотографию и кинематограф говорю, но и за всякие специальные применения которым требуется специальная техника о которой и говорить-то не всегда можно
ИМХО сильная, с практической точки зрения, сторона вашей вундервафли в её обратимости (!) обратите на это внимание, да системы с множеством камер и проекторов будут лучше, но они сложны и дороги и существуют лишь в виде концептов. А из вашей стекляшки много-бы выйти что-то реально востребованное. (я не утверждаю что так оно и будет, тут нужно думать и считать, а мне влом, наигрался я в эти игры ещё со стереоскопией, но вам грех не проверить имея живой прототип)
Необычный объектив для обычной камеры или как перестать думать о фокусе