Это перевод-адаптация статьи, опубликованной инженерами Canon в японском журнале по прикладной физике Japanese Journal of Applied Physic.
Применение в фототехнике светочувствительных матриц позволило отойти от использования механического затвора и его вариаций. Это дало положительный эффект: отсутствие вибраций в момент спуска затвора и возможность значительно увеличить скорость съемки, не усложняя конструкцию. Но переход фототехники на новый уровень принес и новые проблемы, которые связаны со скоростной съемкой.
Чтобы понять суть возникших затруднений, нужно разобрать принцип работы светочувствительных матриц. Говоря о них во множественном числе, мы подразумеваем матрицы, изготовленные по разным технологиям. В их работе есть и сходства, и принципиальные различия. Начнем с общих черт. Любая светочувствительная матрица состоит из набора фотодиодов, которые преобразуют падающий на них световой поток в электрический сигнал. Различие же заключается в способе накопления и считывания сигналов: выдержка снимка определяется не временем, на которое открывается затвор, а временем между обнулением заряда матрицы и моментом считывания с нее информации.
В CCD-матрице сигнал считывается построчно, и такой затвор называется бегущим, или rolling-затвором. Во время построчного считывания быстродвижущийся объект успевает изменить положение, поэтому на снимке возникают искажения. И чем больше скорость объекта, тем больше искажения на снимке.
Частично эта проблема решается в CMOS-матрицах, которые относительно недавно стали альтернативой CCD-матриц. Здесь считывание сигнала возможно с любого фрагмента матрицы и в любом порядке. Это не только увеличивает скорость обмена данными, но и позволяет получить произвольный доступ к отдельным пикселям.
По сути, CMOS-матрица является интегральной микросхемой, где каждый пиксель образует отдельную ячейку и имеет собственную обвязку, преобразующую заряд фотодиода в напряжение непосредственно в самом пикселе. В общем виде ячейка состоит из:
Во время съемки изображение формируется за счет синтеза нескольких кадров. С одной стороны, это дает глубину и насыщенность снимку, но с другой стороны, при дрожании или съемке движущихся объектов качество изображения снижается. Это выражается в размытости, «двойном» изображении или эффекте бегущего затвора. Виной тому — чередование процессов экспозиции и считывания. Примем условно за время экспозиции t. Тогда в момент t происходит съемка первого кадра. В период t+t считываются данные этого кадра. Затем, после сброса матрицы, выполняется следующий кадр. Таким образом, разрыв между кадрами составляет t. Такая ситуация аналогична алгоритму с rolling-затвором.
Одно из решений этой проблемы было предложено нашими разработчиками, и заключалось оно в следующем. В обычной ячейке CMOS-матрицы используется один конденсатор с обвязкой, выполняющий функцию элемента памяти, поэтому в любой момент времени съемки ячейка находится в состоянии или заряда этого конденсатора (экспозиция), или разряда (считывание). В ячейке же нашей разработки используется два элемента памяти. Благодаря этому могут происходить одновременно два процесса. После съемки первого кадра, во время считывания данных с одного элемента памяти, сразу же экспонируется следующий кадр с записью на второй элемент памяти. За счет этого обеспечивается непрерывность записи и стабильность изображения.
Однако смысл этого изобретения не ограничивается только непрерывностью съемки. Фактически мы получили несколько различных режимов работы CMOS-сенсора. Все зависит от процедуры считывания пикселей.
Возможность множественного накопления используется при выполнении серий экспозиций, например при чередовании коротких и длинных. При этом чередуются и запоминающие элементы: на одном накапливается сигнал коротких экспозиций, а на другом — длинных. При сравнении с CMOS-матрицей с одним запоминающим элементом и суммарной выдержкой равной серии из 5 коротких и 4 длинных экспозиций улучшение динамического диапазона составляет около 42 дБ.
Увеличение деталей обвязки пикселя приводит к повышению паразитного шума. Чтобы снизить его влияние, элементы ячейки располагаются по диагонали симметрично относительно фотодиода. От влияния светового потока они защищены световым экраном. Только для фотодиода оставлена ап��ртура размером 1,3 мкм. Фокусировка падающего на фотодиод света осуществляется с помощью блока двойной линзы и световода. В блоке между линзами располагается цветной фильтр в соответствии с шаблоном Байера. Для световода применен материал с высоким показателем преломления. За счет этого световод в форме перевернутого конуса имеет небольшую высоту, соответствующую трем слоям медной проводки. Верхний диаметр световода —2,4 мкм, а нижний — 1,1 мкм.
Единичный пиксель матрицы, согласно шаблону Байера, состоит из пары пикселей с двойными ячейками памяти. Блок единичного пикселя включает в себя:
Общий размер матрицы — 2676 Н × 2200 V, что составляет почти 5,9 мегапикселя.
В сравнительной таблице даны характеристики различных режимов считывания разработанной CMOS-матрицы с двойной внутрипиксельной памятью и обычной матрицы, имеющей сопоставимые показатели.
Фактически разработанный CMOS-датчик изображения с шагом пикселя 3,4 мкм с двойной внутрипиксельной памятью имеет около 5,3 эффективных мегапикселя и динамический диапазон более 110 дБ при экспозиции в одном кадре с попеременным многократным накоплением. Такой режим особенно подходит для съемки движущихся объектов и может быть использован в кинокамерах, приборах машинного зрения, автомобилях, при воздушной съемке и в камерах наблюдения.
Применение в фототехнике светочувствительных матриц позволило отойти от использования механического затвора и его вариаций. Это дало положительный эффект: отсутствие вибраций в момент спуска затвора и возможность значительно увеличить скорость съемки, не усложняя конструкцию. Но переход фототехники на новый уровень принес и новые проблемы, которые связаны со скоростной съемкой.
Чтобы понять суть возникших затруднений, нужно разобрать принцип работы светочувствительных матриц. Говоря о них во множественном числе, мы подразумеваем матрицы, изготовленные по разным технологиям. В их работе есть и сходства, и принципиальные различия. Начнем с общих черт. Любая светочувствительная матрица состоит из набора фотодиодов, которые преобразуют падающий на них световой поток в электрический сигнал. Различие же заключается в способе накопления и считывания сигналов: выдержка снимка определяется не временем, на которое открывается затвор, а временем между обнулением заряда матрицы и моментом считывания с нее информации.
В CCD-матрице сигнал считывается построчно, и такой затвор называется бегущим, или rolling-затвором. Во время построчного считывания быстродвижущийся объект успевает изменить положение, поэтому на снимке возникают искажения. И чем больше скорость объекта, тем больше искажения на снимке.
Частично эта проблема решается в CMOS-матрицах, которые относительно недавно стали альтернативой CCD-матриц. Здесь считывание сигнала возможно с любого фрагмента матрицы и в любом порядке. Это не только увеличивает скорость обмена данными, но и позволяет получить произвольный доступ к отдельным пикселям.
По сути, CMOS-матрица является интегральной микросхемой, где каждый пиксель образует отдельную ячейку и имеет собственную обвязку, преобразующую заряд фотодиода в напряжение непосредственно в самом пикселе. В общем виде ячейка состоит из:
- фотодиода;
- электронного затвора;
- конденсатора, накапливающего заряд с фотодиода;
- усилителя сигнала;
- шины считывания строки;
- шины передачи сигнала процессору;
- линии сигнала сброса.
Во время съемки изображение формируется за счет синтеза нескольких кадров. С одной стороны, это дает глубину и насыщенность снимку, но с другой стороны, при дрожании или съемке движущихся объектов качество изображения снижается. Это выражается в размытости, «двойном» изображении или эффекте бегущего затвора. Виной тому — чередование процессов экспозиции и считывания. Примем условно за время экспозиции t. Тогда в момент t происходит съемка первого кадра. В период t+t считываются данные этого кадра. Затем, после сброса матрицы, выполняется следующий кадр. Таким образом, разрыв между кадрами составляет t. Такая ситуация аналогична алгоритму с rolling-затвором.
Одно из решений этой проблемы было предложено нашими разработчиками, и заключалось оно в следующем. В обычной ячейке CMOS-матрицы используется один конденсатор с обвязкой, выполняющий функцию элемента памяти, поэтому в любой момент времени съемки ячейка находится в состоянии или заряда этого конденсатора (экспозиция), или разряда (считывание). В ячейке же нашей разработки используется два элемента памяти. Благодаря этому могут происходить одновременно два процесса. После съемки первого кадра, во время считывания данных с одного элемента памяти, сразу же экспонируется следующий кадр с записью на второй элемент памяти. За счет этого обеспечивается непрерывность записи и стабильность изображения.
Однако смысл этого изобретения не ограничивается только непрерывностью съемки. Фактически мы получили несколько различных режимов работы CMOS-сенсора. Все зависит от процедуры считывания пикселей.
- При считывании с высокой частотой кадров насыщенность пикселей может происходить за счет или множественного насыщения фотодиода, или разового насыщения элемента памяти. При этом четкость изображения сочетается с насыщенностью.
- При режиме съемки с высокой насыщенностью происходит заполнение и считывание одновременно двух запоминающих элементов. При этом снижается периодичность считывания, что в качестве бонуса дает снижение общей потребляемой мощности.
Возможность множественного накопления используется при выполнении серий экспозиций, например при чередовании коротких и длинных. При этом чередуются и запоминающие элементы: на одном накапливается сигнал коротких экспозиций, а на другом — длинных. При сравнении с CMOS-матрицей с одним запоминающим элементом и суммарной выдержкой равной серии из 5 коротких и 4 длинных экспозиций улучшение динамического диапазона составляет около 42 дБ.
Увеличение деталей обвязки пикселя приводит к повышению паразитного шума. Чтобы снизить его влияние, элементы ячейки располагаются по диагонали симметрично относительно фотодиода. От влияния светового потока они защищены световым экраном. Только для фотодиода оставлена ап��ртура размером 1,3 мкм. Фокусировка падающего на фотодиод света осуществляется с помощью блока двойной линзы и световода. В блоке между линзами располагается цветной фильтр в соответствии с шаблоном Байера. Для световода применен материал с высоким показателем преломления. За счет этого световод в форме перевернутого конуса имеет небольшую высоту, соответствующую трем слоям медной проводки. Верхний диаметр световода —2,4 мкм, а нижний — 1,1 мкм.
Единичный пиксель матрицы, согласно шаблону Байера, состоит из пары пикселей с двойными ячейками памяти. Блок единичного пикселя включает в себя:
- 2 фотодиода;
- 4 запоминающих элемента (конденсатора);
- 13 транзисторов.
Общий размер матрицы — 2676 Н × 2200 V, что составляет почти 5,9 мегапикселя.
В сравнительной таблице даны характеристики различных режимов считывания разработанной CMOS-матрицы с двойной внутрипиксельной памятью и обычной матрицы, имеющей сопоставимые показатели.
| Режим считывания | 2 CDMEM с высокой частотой кадров | 2 CDMEMs высокая насыщенность | 2 CDMEM с высоким DR | 1 CDMEM нормальный |
|---|---|---|---|---|
| Технология процесса | FSI, 130 нм1P4M + LS CMOS | |||
| Оптический формат | 2/3 дюйма | |||
| Шаг пикселя | Квадрат 3,4, мкм | |||
| Количествоэфф. пикселей | 2592 (В),×,2054 (В) = 5,3 М пикселей | |||
| Источник питания | 3,3 В (аналоговый), 1,2 В (цифровой) | |||
| Максимальная частота кадров | 120 кадров в секунду | 100 кадров в секунду | 60 кадров в секунду | 120 кадров в секунду |
| Потребляемая мощность | 480 мВт | 400 мВт | 480 мВт | 450 мВт |
| Полная вместимость скважины | 9500 е - | 19 000 е - | 940 000 е -(эквивалент) | 8100 е — или 16 200 е - |
| Чувствительность @ зеленый | 30 000 е — / лк.с | 28 000 е — /лк.с | ||
| Временной шум | 2,8 | 1,8 | ||
| Динамический диапазон | 71 дБ | 77 дБ | 111 дБ | 73 дБ |
| PLS CDMEM | −83 дБ | −89 дБ |
Фактически разработанный CMOS-датчик изображения с шагом пикселя 3,4 мкм с двойной внутрипиксельной памятью имеет около 5,3 эффективных мегапикселя и динамический диапазон более 110 дБ при экспозиции в одном кадре с попеременным многократным накоплением. Такой режим особенно подходит для съемки движущихся объектов и может быть использован в кинокамерах, приборах машинного зрения, автомобилях, при воздушной съемке и в камерах наблюдения.
