В лаборатории к инвертированному оптическому микроскопу Zeiss Axio Observer 3 подключена промышленная камера The Imaging Source DFK 33UX265 для выполнения металлографических задач: анализ зерна, неметаллических включений, поиска дефектов структуры. Мне стало интересно, как она устроена и что есть у нее "под капотом". Когда мы проводим анализ, то не задумываемся о постобработки, а под "капотом" любой камеры есть много интересных режимов. Я ухватился за 12-битный монохромный Bayer-формат (часто обозначаемый как 12-bit Bayer Packed) — это формат RAW-данных, при котором с сенсора с фильтром Байера считывается 12 бит информации на пиксель без цветовой интерполяции. Это обеспечивает более высокий динамический диапазон (4096 уровней яркости) по сравнению с 8-битным форматом (256 уровней), сохраняя «сырые» данные.
Большинство программ, связанных с металловедением принимают картинку в 8 бит. И я хотел бы разобраться в вопросе, а так ли нужен при оценке и автоматизации режим 12 бит.
Краткие характеристики камеры:
USB 3.0 Color Industrial Camera
1/1.8 " Сенсор Sony Exmor
разрешение 2048x1536 пикселей
частота кадров до 60 кадр/с
Global затвор
триггерный вход и I/O
Общие сведения | |
Разрешение @ частота кадров | 2048x1536 Y800 @ 60 кадр/с |
2048x1536 Y16 @ 27 кадр/с | |
2048x1536 YUY2 @ 18 кадр/с | |
2048x1536 Y411 @ 60 кадр/с | |
2048x1536 YUY2 @ 15 кадр/с | |
2048x1536 RGB24 @ 12 кадр/с | |
Чувствительность | 0.05 лк |
Динамический диапазон | 8/12 бит |
Интерфейс (оптический) | |
ИК фильтр | есть |
Сенсор | Sony IMX265LQR |
Затвор | Global |
Формат | 1/1.8 " |
Разрешение | 2048x1536 |
Размер пикселя | 3,45 мкм х 3,45 мкм |
Разъем объектива | C/CS |
Интерфейс (электрический) | |
Интерфейс | USB 3.0 |
Напряжение | 4.5-5.5 В |
Ток | 250 мA при 5 В |
Интерфейс (механический) | |
Габариты | 29 мм х 29 мм х 43 мм |
Масса | 65г |
Настройки | |
Затвор | 20 мкс-30 с |
Усиление | 0-48 дБ |
Баланс белого | от -2 дБ до +6 дБ |
Условия работы | |
Температура работы | -5..45 °C |
Температура хранения | -20..60 °C |
Влажность при работе | 20-80% без образования конденсата |
Влажности при хранении | 20-95 % без образования конденсата |
Сам микроскоп может быть укомплектован множеством дополнительных опций. Это настоящий конструктор Lego.
Когда в настройках промышленной камеры вы видите выбор «8 bit» или «12 bit RAW (Bayer)», возникает логичный вопрос:
это просто больше цифр — или реальный прирост качества?
Разберёмся инженерно.
Что вообще означают 8 и 12 бит
Разрядность определяет, на сколько уровней делится сигнал.
12 бит дают в 16 раз больше градаций, чем 8 бит.
Разрядность | Уровни яркости |
8 бит | 256 |
12 бит | 4096 |
Важно: речь идёт не о «красоте картинки», а о точности представления аналогового сигнала сенсора.
Немного выжимки возьму из статьи: https://habr.com/ru/articles/772380/
В большинстве случаев каждый канал готового к публикации изображения описывается одним байтом на отсчет. Этого вполне достаточно для нормального восприятия изображения человеческим глазом. Давайте убедимся в этом.
Изображение в формате PNG (для исключения потерь информации), цветовое пространство RGB.Слева — 8 бит на канал, справа — 4 бита на канал.
Мониторы и глаза у всех разные, поэтому возможно несколько вариантов:
Левая часть картинки выглядит для вас естественно. На правой небо безнадежно испорчено, однако, обратите внимание, паруса и море почти не пострадали. Вероятнее всего, это справедливо для большинства читателей.
Вы видите явную «полосатость» неба в левой половине. Тут две возможности:
а) у вас профессиональный монитор и очень хорошее зрение, поздравляю!,
б) у вас дешевый монитор, матрица которого показывает только 6 бит вместо 8, и тогда небо испорчено, хотя и в меньшей степени, чем справа.
Кадр сделан на вполне приличный фотоаппарат в формате RAW с глубиной цвета 12 бит, с правильной экспозицией, поэтому вариант изначально дефектной картинки мы с негодованием отметаем.
Почему же для парусов и моря оказалось достаточно всего 4 бит на канал? Ответ прост: именно в этих областях изображения очень много мелких деталей. Психофизиология восприятия устроена так, что мы не замечаем в этом случае незначительные искажения яркости и оттенка отдельных пикселей. На этом же принципе основан дизеринг — преднамеренное добавление шума для устранения «полосатости».
В большинстве случаев для показа на современных экранах используют глубину цвета 8 бит, и этого вполне достаточно для практических целей.
При печати дело обстоит аналогично. В цветовой модели CMYK, используемой в полиграфии, часто ограничиваются шкалой от 0 до 100 в каждом из каналов. При этом не каждая комбинация значений описывает уникальный цвет, условия просмотра с бумаги обычно хуже, чем с экрана (непредсказуемое и неравномерное освещение, дефекты носителя и печати), так что и здесь 8-битного RGB-исходника достаточно. То же и с дорогой качественной фотопечатью: наверное, технически можно создать изображение с большей глубиной цвета, но зритель этого не увидит.
Зачем же тогда вообще нужно больше 8 бит на канал?
Мы живем в мире с очень высокой контрастностью. Зрение позволяет различать детали и в тенях, и в наиболее светлых участках за счет аккомодации, то есть бессознательной регулировки интенсивности падающего на сетчатку светового потока. В ясный солнечный день мы можем рассматривать предметы на открытой местности и внутри строения с маленькими окнами без искусственного освещения, но только по очереди, не одновременно. Эта особенность кажется нам естественной, мы привыкли к ней с раннего детства, и поэтому обычно не замечаем.
Иначе обстоит дело при фото- и видеосъемке. Камера не знает, на какой участок изображения следует обратить внимание, и поэтому вынуждена фиксировать всю картину как есть. Если сохранять изображение, полученное с матрицы, с глубиной цвета 8 бит на канал, будет неизбежно потеряна детализация или в светах, или в тенях, а чаще сразу и там, и там. Именно так происходит при сохранении снимков в формате JPEG, и впоследствии никакая дополнительная обработка не позволяет «вытянуть» ранее потерянную информацию.
Если же при съемке задать пониженную контрастность, чтобы в динамический диапазон файла «влезли» и света, и тени, то картинка будет выглядеть блеклой и невыразительной. Потребуется дополнительная обработка, в результате которой середина диапазона яркостей будет растянута, а края сжаты.
Сверху вниз: градиент от черного до белого с глубиной цвета 8 бит, тот же градиент, «растянутый» посередине, и то же самое, но с глубиной цвета 4 бита.
Если у вас качественный монитор и хорошее зрение, вы увидите разницу между верхней и следующей полосой. Ниже я продублировал ту же ситуацию, но с уменьшенной глубиной цвета для наглядности иллюстрации принципа.
На итоговом результате это будет выглядеть как полосы в областях плавного изменения яркости, или, выражаясь профессиональным языком фотографов, бандинг.
С цветными изображениями все еще хуже, поскольку к яркостным полосам добавится еще и заметное искажение оттенков, которое очень трудно исправить. Тот же эффект будет наблюдаться в большей или меньшей степени при любых операциях с цветом.
Для борьбы с этим дефектом исходный материал сохраняют с большей глубиной цвета — 10, 12 и даже 14 бит, в зависимости от технических возможностей оборудования. Обычно это формат RAW для фото и MPEG 10 бит 4:2:2 для видео, хотя видеокамеры среднего и высокого уровня тоже умеют сохранять RAW. Тогда при сохранении готового изображения в 8-битном представлении после обработки градиенты остаются визуально плавными. Важно всю обработку проводить при глубине цвета не меньшей, чем у оригинала, и загрублять данные только при финальном сохранении.
Как формируется изображение
Упрощённая схема для промышленной камеры:
Свет → Объект → Сенсор → АЦП → RAW → ПК → Обработка
Если выбран режим 12 bit:
Сенсор → 12-bit АЦП → RAW Bayer → ПК
Если выбран 8 bit:
Сенсор → 12-bit АЦП → усечение до 8 bit → ПК
Главный вывод 8 бит — это просто сжатый 12-битный сигнал.
12-битный поток Bayer из промышленной камеры:
без демозаики
без гаммы
без шумоподавления
без повышения резкости
без цветокоррекции
Именно это и называется RAW.
Сравнение с RAW в Canon / Nikon
Параметр | Промышленная камера | Фотоаппарат |
Разрядность | 12 bit | 12–14 bit |
Bayer | Да | Да |
Обработка | Минимальная | Есть скрытая |
Цель | Измерения | Эстетика |
По физике сигнала — это один и тот же тип данных. Но философия разная:
Фотоаппарат делает RAW удобным для обработки. Промышленная камера делает RAW честным для измерений.
Квантование:
Аналоговый сигнал непрерывен. После АЦП он дискретизируется.
При 8 бит шаг квантования в 16 раз меньше, чем при 12 бит: Это критично для слабоконтрастных деталей.
Динамический диапазон
Теоретический выигрыш: На практике ограничение задаёт шум сенсора. Но в тёмных областях структуры прирост чувствуется.
Это значит:
При слабом сигнале шум доминирует.
12 бит не победят физику.
Но они не добавят дополнительного квантового шума.
Почему в микроскопии часто используют монохромные камеры
Каждый пиксель регистрирует только один цвет. Если приходит зелёный фотон (это больше касается флуоресцентной микроскопии): что мы получаем: половина пикселей его теряет.
Почему теряем - так устроена физика получения изображения с матрицы фотоаппарата.
Фильтр Байера
Фильтр Байера (шаблон Байера) — двумерный массив цветных фильтров, которыми накрыты фотодиоды фотоматриц. Используется для получения цветного изображения в матрицах цифровых фотоаппаратов, видеокамер и сканеров. Фильтр Байера состоит из 25 % красных, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.
Исторически это самый первый из массивов цветных фильтров. Назван по имени его создателя, доктора Байера, сотрудника компании Кодак, запатентовавшего предложенный им фильтр в 1976 г. Для отличия от других разновидностей его называют GRGB, RGBG, или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB.
Матрица — это устройство, воспринимающее спроецированное на него изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для воспринятия цветного изображения каждый фотоприемник накрывается светофильтром одного из первичных цветов: красного, зелёного, синего.
Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Недостающие компоненты цвета рассчитываются процессором камеры путём интерполяции данных из соседних ячеек. Это называется демозаизацией. Таким образом, в формировании конечного цветового значения пикселя участвует 9 или более фотодиодов матрицы.
В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:
G | R |
B | G |
Фотодиодов зелёного цвета в каждой ячейке вдвое больше, чем фотодиодов других цветов, и в результате разрешающая способность такой структуры наибольшая в зелёной области спектра (в которой чувствительность глаза максимальна).
Так выглядит Гусь - "шахматка"
Гусь после интерполяции
Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости по-английски называется sharpening. При этом процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более чётких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает его размытость. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах функции коррекции изображения отсутствуют совсем, либо их можно выключить.
Заключение
Таким образом, в цветной камере часть света теряется фильтром. В монохромной — нет.
Поэтому в научной микроскопии чаще используют монохромные сенсоры.
Не нужны 100 мегапиксельные камеры - они дают дополнительный шум.
Нужно сопоставлять камеру с разрешающей способностью оптической системы микроскопа.
Лучше получать 12-14 бит, проводить постобработку уже "в компьютере, а не в камере" из-за несовершенных алгоритмов постобработки в камере, но часто можно и пренебречь этим и захватывать в 8 бит. Нужно понимание, когда тебе необходимо получать 12-14 бит, а когда 8 бит.
Нужно получать фотографии с правильной экспозицией, если фотография будет пересвечена, то практически невозможно выхватить информацию из светлых областей.
Шум это нормально, с ним можно работать.
Не проводить излишнюю постобработку, если она только целесообразна.
Как реально использовать
Где 12 бит реально дают преимущество в металлографии
1. Границы зерна (ASTM E112, ГОСТ 5639)
Переход может быть слабоконтрастным.
8 бит иногда «съедают» переход. 12 бит сохраняют градиент.
2. Неметаллические включения в металле
Мелкие точки на фоне шума:
8 бит → нестабильная сегментация, 12 бит → стабильная бинаризация
3. Обезуглероживание
Плавный переход феррит–перлит лучше анализируется в 12 бит.
4. AI-сегментация Нейросети чувствительны к квантованию.
12 бит: меньше ступенчатости, лучше обучение, стабильнее инференс.
Когда 12 бит не нужны
Пересвет
Низкий динамический диапазон сцены
Только визуальный просмотр
Уже ограничение шумом сенсора
Архитектура обработки в ПК
Правильный pipeline:
RAW 12 bit → хранение как uint16
↓
float32 обработка
↓
8-bit preview
Главный принцип: Сначала сохранить максимум информации, потом уменьшать.
Практический вывод 12 бит — это не маркетинг.
Это: больший динамический диапазон, меньше квантование, стабильнее анализ, лучше для AI. Но: это не магия, не увеличивает разрешение, не победит shot noise.
Если кратко
Для красивой картинки — 8 бит достаточно. Для измерений — 12 бит предпочтительнее.
