Это перевод-адаптация статьи, опубликованной инженерами Canon в японском журнале по прикладной физике Japanese Journal of Applied Physic.
Применение в фототехнике светочувствительных матриц позволило отойти от использования механического затвора и его вариаций. Это дало положительный эффект: отсутствие вибраций в момент спуска затвора и возможность значительно увеличить скорость съемки, не усложняя конструкцию. Но переход фототехники на новый уровень принес и новые проблемы, которые связаны со скоростной съемкой.
![image](https://habrastorage.org/r/w780q1/webt/dh/aj/zd/dhajzdsk-57eha99zpjjtgxle4i.jpeg)
Чтобы понять суть возникших затруднений, нужно разобрать принцип работы светочувствительных матриц. Говоря о них во множественном числе, мы подразумеваем матрицы, изготовленные по разным технологиям. В их работе есть и сходства, и принципиальные различия. Начнем с общих черт. Любая светочувствительная матрица состоит из набора фотодиодов, которые преобразуют падающий на них световой поток в электрический сигнал. Различие же заключается в способе накопления и считывания сигналов: выдержка снимка определяется не временем, на которое открывается затвор, а временем между обнулением заряда матрицы и моментом считывания с нее информации.
В CCD-матрице сигнал считывается построчно, и такой затвор называется бегущим, или rolling-затвором. Во время построчного считывания быстродвижущийся объект успевает изменить положение, поэтому на снимке возникают искажения. И чем больше скорость объекта, тем больше искажения на снимке.
Частично эта проблема решается в CMOS-матрицах, которые относительно недавно стали альтернативой CCD-матриц. Здесь считывание сигнала возможно с любого фрагмента матрицы и в любом порядке. Это не только увеличивает скорость обмена данными, но и позволяет получить произвольный доступ к отдельным пикселям.
По сути, CMOS-матрица является интегральной микросхемой, где каждый пиксель образует отдельную ячейку и имеет собственную обвязку, преобразующую заряд фотодиода в напряжение непосредственно в самом пикселе. В общем виде ячейка состоит из:
Во время съемки изображение формируется за счет синтеза нескольких кадров. С одной стороны, это дает глубину и насыщенность снимку, но с другой стороны, при дрожании или съемке движущихся объектов качество изображения снижается. Это выражается в размытости, «двойном» изображении или эффекте бегущего затвора. Виной тому — чередование процессов экспозиции и считывания. Примем условно за время экспозиции t. Тогда в момент t происходит съемка первого кадра. В период t+t считываются данные этого кадра. Затем, после сброса матрицы, выполняется следующий кадр. Таким образом, разрыв между кадрами составляет t. Такая ситуация аналогична алгоритму с rolling-затвором.
Одно из решений этой проблемы было предложено нашими разработчиками, и заключалось оно в следующем. В обычной ячейке CMOS-матрицы используется один конденсатор с обвязкой, выполняющий функцию элемента памяти, поэтому в любой момент времени съемки ячейка находится в состоянии или заряда этого конденсатора (экспозиция), или разряда (считывание). В ячейке же нашей разработки используется два элемента памяти. Благодаря этому могут происходить одновременно два процесса. После съемки первого кадра, во время считывания данных с одного элемента памяти, сразу же экспонируется следующий кадр с записью на второй элемент памяти. За счет этого обеспечивается непрерывность записи и стабильность изображения.
Однако смысл этого изобретения не ограничивается только непрерывностью съемки. Фактически мы получили несколько различных режимов работы CMOS-сенсора. Все зависит от процедуры считывания пикселей.
Возможность множественного накопления используется при выполнении серий экспозиций, например при чередовании коротких и длинных. При этом чередуются и запоминающие элементы: на одном накапливается сигнал коротких экспозиций, а на другом — длинных. При сравнении с CMOS-матрицей с одним запоминающим элементом и суммарной выдержкой равной серии из 5 коротких и 4 длинных экспозиций улучшение динамического диапазона составляет около 42 дБ.
Увеличение деталей обвязки пикселя приводит к повышению паразитного шума. Чтобы снизить его влияние, элементы ячейки располагаются по диагонали симметрично относительно фотодиода. От влияния светового потока они защищены световым экраном. Только для фотодиода оставлена апертура размером 1,3 мкм. Фокусировка падающего на фотодиод света осуществляется с помощью блока двойной линзы и световода. В блоке между линзами располагается цветной фильтр в соответствии с шаблоном Байера. Для световода применен материал с высоким показателем преломления. За счет этого световод в форме перевернутого конуса имеет небольшую высоту, соответствующую трем слоям медной проводки. Верхний диаметр световода —2,4 мкм, а нижний — 1,1 мкм.
Единичный пиксель матрицы, согласно шаблону Байера, состоит из пары пикселей с двойными ячейками памяти. Блок единичного пикселя включает в себя:
Общий размер матрицы — 2676 Н × 2200 V, что составляет почти 5,9 мегапикселя.
В сравнительной таблице даны характеристики различных режимов считывания разработанной CMOS-матрицы с двойной внутрипиксельной памятью и обычной матрицы, имеющей сопоставимые показатели.
Фактически разработанный CMOS-датчик изображения с шагом пикселя 3,4 мкм с двойной внутрипиксельной памятью имеет около 5,3 эффективных мегапикселя и динамический диапазон более 110 дБ при экспозиции в одном кадре с попеременным многократным накоплением. Такой режим особенно подходит для съемки движущихся объектов и может быть использован в кинокамерах, приборах машинного зрения, автомобилях, при воздушной съемке и в камерах наблюдения.
Применение в фототехнике светочувствительных матриц позволило отойти от использования механического затвора и его вариаций. Это дало положительный эффект: отсутствие вибраций в момент спуска затвора и возможность значительно увеличить скорость съемки, не усложняя конструкцию. Но переход фототехники на новый уровень принес и новые проблемы, которые связаны со скоростной съемкой.
![image](https://habrastorage.org/webt/dh/aj/zd/dhajzdsk-57eha99zpjjtgxle4i.jpeg)
Чтобы понять суть возникших затруднений, нужно разобрать принцип работы светочувствительных матриц. Говоря о них во множественном числе, мы подразумеваем матрицы, изготовленные по разным технологиям. В их работе есть и сходства, и принципиальные различия. Начнем с общих черт. Любая светочувствительная матрица состоит из набора фотодиодов, которые преобразуют падающий на них световой поток в электрический сигнал. Различие же заключается в способе накопления и считывания сигналов: выдержка снимка определяется не временем, на которое открывается затвор, а временем между обнулением заряда матрицы и моментом считывания с нее информации.
В CCD-матрице сигнал считывается построчно, и такой затвор называется бегущим, или rolling-затвором. Во время построчного считывания быстродвижущийся объект успевает изменить положение, поэтому на снимке возникают искажения. И чем больше скорость объекта, тем больше искажения на снимке.
Частично эта проблема решается в CMOS-матрицах, которые относительно недавно стали альтернативой CCD-матриц. Здесь считывание сигнала возможно с любого фрагмента матрицы и в любом порядке. Это не только увеличивает скорость обмена данными, но и позволяет получить произвольный доступ к отдельным пикселям.
По сути, CMOS-матрица является интегральной микросхемой, где каждый пиксель образует отдельную ячейку и имеет собственную обвязку, преобразующую заряд фотодиода в напряжение непосредственно в самом пикселе. В общем виде ячейка состоит из:
- фотодиода;
- электронного затвора;
- конденсатора, накапливающего заряд с фотодиода;
- усилителя сигнала;
- шины считывания строки;
- шины передачи сигнала процессору;
- линии сигнала сброса.
Во время съемки изображение формируется за счет синтеза нескольких кадров. С одной стороны, это дает глубину и насыщенность снимку, но с другой стороны, при дрожании или съемке движущихся объектов качество изображения снижается. Это выражается в размытости, «двойном» изображении или эффекте бегущего затвора. Виной тому — чередование процессов экспозиции и считывания. Примем условно за время экспозиции t. Тогда в момент t происходит съемка первого кадра. В период t+t считываются данные этого кадра. Затем, после сброса матрицы, выполняется следующий кадр. Таким образом, разрыв между кадрами составляет t. Такая ситуация аналогична алгоритму с rolling-затвором.
Одно из решений этой проблемы было предложено нашими разработчиками, и заключалось оно в следующем. В обычной ячейке CMOS-матрицы используется один конденсатор с обвязкой, выполняющий функцию элемента памяти, поэтому в любой момент времени съемки ячейка находится в состоянии или заряда этого конденсатора (экспозиция), или разряда (считывание). В ячейке же нашей разработки используется два элемента памяти. Благодаря этому могут происходить одновременно два процесса. После съемки первого кадра, во время считывания данных с одного элемента памяти, сразу же экспонируется следующий кадр с записью на второй элемент памяти. За счет этого обеспечивается непрерывность записи и стабильность изображения.
Однако смысл этого изобретения не ограничивается только непрерывностью съемки. Фактически мы получили несколько различных режимов работы CMOS-сенсора. Все зависит от процедуры считывания пикселей.
- При считывании с высокой частотой кадров насыщенность пикселей может происходить за счет или множественного насыщения фотодиода, или разового насыщения элемента памяти. При этом четкость изображения сочетается с насыщенностью.
- При режиме съемки с высокой насыщенностью происходит заполнение и считывание одновременно двух запоминающих элементов. При этом снижается периодичность считывания, что в качестве бонуса дает снижение общей потребляемой мощности.
Возможность множественного накопления используется при выполнении серий экспозиций, например при чередовании коротких и длинных. При этом чередуются и запоминающие элементы: на одном накапливается сигнал коротких экспозиций, а на другом — длинных. При сравнении с CMOS-матрицей с одним запоминающим элементом и суммарной выдержкой равной серии из 5 коротких и 4 длинных экспозиций улучшение динамического диапазона составляет около 42 дБ.
Увеличение деталей обвязки пикселя приводит к повышению паразитного шума. Чтобы снизить его влияние, элементы ячейки располагаются по диагонали симметрично относительно фотодиода. От влияния светового потока они защищены световым экраном. Только для фотодиода оставлена апертура размером 1,3 мкм. Фокусировка падающего на фотодиод света осуществляется с помощью блока двойной линзы и световода. В блоке между линзами располагается цветной фильтр в соответствии с шаблоном Байера. Для световода применен материал с высоким показателем преломления. За счет этого световод в форме перевернутого конуса имеет небольшую высоту, соответствующую трем слоям медной проводки. Верхний диаметр световода —2,4 мкм, а нижний — 1,1 мкм.
Единичный пиксель матрицы, согласно шаблону Байера, состоит из пары пикселей с двойными ячейками памяти. Блок единичного пикселя включает в себя:
- 2 фотодиода;
- 4 запоминающих элемента (конденсатора);
- 13 транзисторов.
Общий размер матрицы — 2676 Н × 2200 V, что составляет почти 5,9 мегапикселя.
В сравнительной таблице даны характеристики различных режимов считывания разработанной CMOS-матрицы с двойной внутрипиксельной памятью и обычной матрицы, имеющей сопоставимые показатели.
Режим считывания | 2 CDMEM с высокой частотой кадров | 2 CDMEMs высокая насыщенность | 2 CDMEM с высоким DR | 1 CDMEM нормальный |
---|---|---|---|---|
Технология процесса | FSI, 130 нм1P4M + LS CMOS | |||
Оптический формат | 2/3 дюйма | |||
Шаг пикселя | Квадрат 3,4, мкм | |||
Количествоэфф. пикселей | 2592 (В),×,2054 (В) = 5,3 М пикселей | |||
Источник питания | 3,3 В (аналоговый), 1,2 В (цифровой) | |||
Максимальная частота кадров | 120 кадров в секунду | 100 кадров в секунду | 60 кадров в секунду | 120 кадров в секунду |
Потребляемая мощность | 480 мВт | 400 мВт | 480 мВт | 450 мВт |
Полная вместимость скважины | 9500 е - | 19 000 е - | 940 000 е -(эквивалент) | 8100 е — или 16 200 е - |
Чувствительность @ зеленый | 30 000 е — / лк.с | 28 000 е — /лк.с | ||
Временной шум | 2,8 | 1,8 | ||
Динамический диапазон | 71 дБ | 77 дБ | 111 дБ | 73 дБ |
PLS CDMEM | −83 дБ | −89 дБ |
Фактически разработанный CMOS-датчик изображения с шагом пикселя 3,4 мкм с двойной внутрипиксельной памятью имеет около 5,3 эффективных мегапикселя и динамический диапазон более 110 дБ при экспозиции в одном кадре с попеременным многократным накоплением. Такой режим особенно подходит для съемки движущихся объектов и может быть использован в кинокамерах, приборах машинного зрения, автомобилях, при воздушной съемке и в камерах наблюдения.