Тема HDR не очень хорошо проработана пока что. Но можно побрэйнштормить.
Я вас спрошу скорее: если принять экспозицию как способ ограничения количества света, падающего на сенсор, можно ли создать это ограничение не длительностью захвата, а, скажем, затемняющим фильтром напротив одного из 9 элементов? Или необходимо что-то еще?
Небольшое замечание — линз нет ) Для того чтобы выровнять картинки здесь нужно двигать зеркала, а искажения все, к тому же, нелинейные, так что калибровка — не самая простая задача. Тем более, если это не сильно влияет на конечный результат.
Для астрономии, виртуальная базовая линия очень мала, конечно. Disparity будет практически ноль.
Насчет военных — отличная идея! Учитывая, что компания немецкая ;)
=) Нет, компания называется по-другому, и хабр не разрешит сказать, как именно.
Продукт рассчитан как раз для индивидуальных фотографов.
Существуют камеры с интегрированными в опитку/сенсор фичами с похожим функционалом, но это другая история, конечно.
Lytro — глубоко интегрированное решение. Объектив не сменить, ничего не разобрать… В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой
Действительно, не показано. Дело в том, что нарисовать это сложно, так как нужно чертить в 3D. Например, угловые элементы результата формируются с помощью двух зеркал — верхнего и бокового. Когда в моем распоряжении окажется 3D трассировка — буду рад поделиться.
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой:
Надеюсь, это создаст какое-то общее впечатление…
1) Насчет дифракционной решетки не подскажу, извиняйте. Была какая-то причина, почему Lytro не сделали этого, а может быть это просто дороже — гадать не буду
2) По снежинке: если вы имеете в виду совпадение на картинке с absdiff — то это всего-навсего неидеальное выравнивание двух элементов. Достаточно небольших смещений влево-вправо, чтобы «вращать» это совпадение на любой угол =) Другими словами, совпадение может означать в том числе и попадание различных лучей снежинки друг на друга.
3) и 4) Насколько я понимаю, оба вопроса о разрешении. Одна из проблем — у вас нет доступа к софту камера, то есть включение этого режима будет на совести пользователя. Если камера поддерживает сверх-разрешение нативно — прекрасно. А если нет, то пользователь, скорее всего, будет ожидать хотя бы оригинального «полного» разрешения. Простора для творчества тут предостаточно, от «в лоб» интерполяции между элементами, до всяких там machine learning алгоритмов. Возможно, существует открытый софт. Но статей и ислледований на тему super-resolution — множество. Основная идея — мы можем использовать избыточность 9 элементов.
Почти. У них действительно массив линз вместо зеркального мультипликатора, а изображения, формируемые на сенсоре — это не N уменьшенных полных фреймов, как в данном случае, а такая мозаика, каждый элемент которой содержит кусочек оригинального изображения. Соседние элементы мозаики — немного сдвинуты и т. д.
С точки зрения обработки всего этого добра — должно быть сложнее, наверно
Все верно. Разрешение теряется в 9+ раз. "+" — потому зеркальный канал и оптические системы неизбежно съедают часть изображения по краям. Это раз.
Во-вторых, нужно понимать, что некоторые алгоритмы восстановления depth-map (если таковые используются) тоже немного съедают от каждого элемента, так как для некоторых частей эелементов отсутствует соответстие на других элементах и в таких областях мы имеем «unknown» depth-map.
Первая проблема потенциально может быть решена с помощью методов супер-резолюции, ведь несмотря на потерю мегапикселей, избыточность сохраняется — мы можем использовать все 9 маленьких элементов для восстановления одного, но «большого».
Вторая проблема решается экстраполяцией или пост-фильтром с использованием исходного изображения + полученной depth-map. Так некоторые алгоритмы «понимают» карту глубин у краев и «продлевают» ее к краям, основываясь на контенте исходного изображения
Я вас спрошу скорее: если принять экспозицию как способ ограничения количества света, падающего на сенсор, можно ли создать это ограничение не длительностью захвата, а, скажем, затемняющим фильтром напротив одного из 9 элементов? Или необходимо что-то еще?
Для астрономии, виртуальная базовая линия очень мала, конечно. Disparity будет практически ноль.
Насчет военных — отличная идея! Учитывая, что компания немецкая ;)
Продукт рассчитан как раз для индивидуальных фотографов.
Существуют камеры с интегрированными в опитку/сенсор фичами с похожим функционалом, но это другая история, конечно.
Lytro — глубоко интегрированное решение. Объектив не сменить, ничего не разобрать… В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой:
Надеюсь, это создаст какое-то общее впечатление…
2) По снежинке: если вы имеете в виду совпадение на картинке с absdiff — то это всего-навсего неидеальное выравнивание двух элементов. Достаточно небольших смещений влево-вправо, чтобы «вращать» это совпадение на любой угол =) Другими словами, совпадение может означать в том числе и попадание различных лучей снежинки друг на друга.
3) и 4) Насколько я понимаю, оба вопроса о разрешении. Одна из проблем — у вас нет доступа к софту камера, то есть включение этого режима будет на совести пользователя. Если камера поддерживает сверх-разрешение нативно — прекрасно. А если нет, то пользователь, скорее всего, будет ожидать хотя бы оригинального «полного» разрешения. Простора для творчества тут предостаточно, от «в лоб» интерполяции между элементами, до всяких там machine learning алгоритмов. Возможно, существует открытый софт. Но статей и ислледований на тему super-resolution — множество. Основная идея — мы можем использовать избыточность 9 элементов.
С точки зрения обработки всего этого добра — должно быть сложнее, наверно
Во-вторых, нужно понимать, что некоторые алгоритмы восстановления depth-map (если таковые используются) тоже немного съедают от каждого элемента, так как для некоторых частей эелементов отсутствует соответстие на других элементах и в таких областях мы имеем «unknown» depth-map.
Первая проблема потенциально может быть решена с помощью методов супер-резолюции, ведь несмотря на потерю мегапикселей, избыточность сохраняется — мы можем использовать все 9 маленьких элементов для восстановления одного, но «большого».
Вторая проблема решается экстраполяцией или пост-фильтром с использованием исходного изображения + полученной depth-map. Так некоторые алгоритмы «понимают» карту глубин у краев и «продлевают» ее к краям, основываясь на контенте исходного изображения