Оптика в техническом зрении. Лекция 4: Разрешающая способность / Хабр

Привет, Хабр!

Меня зовут Андрей, я – специалист по оптическим системам, расчётчик и конструктор в одном лице.

Это четвёртая, последняя и самая сложная статья из курса основ прикладной оптики, который был создан несколько лет назад для внутреннего обучения CV-разработчиков в моей компании. Для её полного понимания необходимо прочитать все предыдущие статьи курса.

В этой статье мы поговорим о разрешающей способности: насколько чётко и насколько далеко может увидеть конкретный объектив с конкретным сенсором.

Статья сочетает как упрощённые идеи из теории оптических систем, так и мой личный опыт, накопленный за годы работы с системами технического зрения.

Статью отрецензировали двое кандидатов наук по оптике и трое CV-программистов, за что я им очень благодарен. Такая вычитка добавила ценные комментарии и подсветила моменты, которые стоило раскрыть подробнее. В итоге получилась, без сомнения, лучшая научно-популярная статья по разрешающей способности на русском языке.

Дисклеймер

Напоминаю, что курс – не полный и не избыточный. У него нет цели создать комплексное понимание оптики; он лишь объясняет конкретный ряд вопросов, с которыми чаще всего сталкиваются специалисты по техническому зрению, работающие с покупными объективами. Назначение курса ‒ быстрое обучение и практическая шпаргалка для CV-программистов.

Содержание

Разрешающая способность
― Разрешающая способность объектива
― Разрешающая способность сенсора
― Пример: расчёт разрешающей способности сенсора

Теоретический предел разрешения объектива
― Дифракция и изображение бесконечно малой точки
― Дифракционный предел разрешения
― Пример: расчёт теоретического предела
― Теоретический предел и реальные объективы

Разрешающая способность по пикселям и фокусному расстоянию
― Учёт дифракции
― Учёт аберраций
― Учёт дискретности приёмника
― Учёт байеровских субпикселей

Сравнение двух подходов

Разрешающая способность реальных объективов
― Измерение разрешающей способности
― Частотно-контрастная характеристика

Согласование объектива и сенсора
― Согласование по графику ЧКХ
― Согласование по разрешающей способности
― Согласование при отсутствии данных

Частные случаи разрешающей способности
― Разрешающая способность на близком расстоянии
― Разрешающая способность микроскопов
― Разрешающая способность тепловизоров
― Разрешающая способность и нейросети

Наблюдение реальных объектов
― Обнаружение, распознавание и идентификация
― Критерий Джонсона

Снижение разрешающей способности
― Френелевское отражение
― Светорассеяние
― Разъюстировка
― Атмосфера

Термины, используемые в статье:

Период – расстояние между двумя точками или штрихами на объекте. Пример: 10 мм.

Предел разрешения – наименьшее расстояние между двумя изображениями точек или штрихов, которые ещё видятся раздельно. Пример: 0,01 мм. Обратите внимание: период –
в плоскости объекта, предел – в плоскости изображения.

Угловой предел разрешения – предел разрешения, выраженный в угловой мере.

Разрешающая способность – величина, обратная пределу разрешения. Пример: 100 лин/мм.

Разрешение – разрешение сенсора, количество пикселей по ширине и высоте.
Пример: Full HD 1920×1080

В рамках статьи слова штрихи и линии идентичны и используются как синонимы.

Введение

Для задач технического зрения часто возникает ситуация: необходимо подобрать оптику, чтобы увидеть X с расстояния Y. Например, детектировать номер автомобиля с дорожной камеры. Под этой задачей практически всегда понимается поиск минимально приемлемого решения ‒ так, телескоп гарантированно увидит что угодно, но по массо-габаритным характеристикам, полю зрения и условиям эксплуатации не является приемлемым вариантом.

В процессе создания такой оптической системы возникает ряд вопросов. Какой объектив выбрать: с фокусным расстоянием 100 мм, 150 мм, 200 мм? А какую камеру и с каким сенсором использовать? А что с диафрагменным числом? А если купить, а потом окажется, что оптика не видит то, что нужно?

В этой статье я постараюсь раскрыть эти вопросы так, чтобы ответы на них можно было применять при подборе объективов без погружения в дебри оптики и математики.

Вынужден предупредить: расчёт разрешающей способности объективов не имеет однозначного решения. Не существует методики, которая всегда даёт правильный результат. Есть общая теория, ряд практических моментов, связанных с условиями наблюдения и некоторые эмпирические наработки, доказавшие применимость на практике. Мы всё это разберём, но итоговое решение по покупаемой оптике ‒ скорее искусство, нежели сухой математический расчёт. Стопроцентно правильный ответ позволяет получить только натурные испытания.

Разрешающая способность

Посмотрим на картинку:

Объектив строит изображение двух близко расположенных точек (например, двух звёзд). Рисунок слева ещё позволяет понять, что наблюдаются две близкие точки, рисунок справа – уже нет. По правому рисунку нельзя определить, слились ли изображения двух точек, изначально наблюдается овал, или это просто астигматизм объектива.

Если изображения двух точек различаются раздельно, то говорят, что объектив их разрешает.

Теперь рассмотрим такую картинку:

Здесь изображён набор штрихов уменьшающегося шага. Предположим, что картинка простирается дальше вправо, а период штрихов уменьшается до бесконечно малой ширины.

При скольжении взгляда слева направо однажды наступит момент, когда глаз уже не сможет различить штрихи и промежутки между ними – картинка сольётся в единый серый фон. Это означает, что достигнут предел разрешения глаза. Период штрихов на картинке стал настолько мал, что глаз больше не разрешает изображения двух соседних штрихов.

Предел разрешения – это число, расстояние между двумя изображениями штрихов на сетчатке. Если посчитать, сколько таких расстояний уложится на один миллиметр, то получится разрешающая способность глаза.

Всё то же самое происходит с объективами и сенсорами. У каждой оптической системы есть предел, после которого она перестаёт разрешать близкорасположенные элементы объекта. Наличие такого предела было обнаружено вместе с появлением первых объективов, что естественным образом привело к исследованию вопроса разрешающей способности.

Существует два определения разрешающей способности. Они не противоречат друг другу, а используются одновременно, в зависимости от ситуации:

Разрешающая способность – способность различить две близко расположенные точки. Это качественное определение. Используется для характеристики объектива в целом: «У этого объектива достаточная разрешающая способность для применения в нашей системе»
Разрешающая способность – величина, обратная пределу разрешения. Это количественное определение. Используется для сравнений и расчётов: «Разрешающая способность этого объектива – 100 линий на миллиметр»

Иногда вместо разрешающей способности говорят проще: разрешение. Но в рамках статьи используется именно термин «разрешающая способность», чтобы избежать путаницы с разрешением сенсора.

Разрешающую способность рассматривают для точек и для штрихов.

Точка – самое простое из возможных изображений. Более сложные объекты можно рассматривать как совокупность бесконечно большого количества точек (это упоминалось во второй статье курса). Поэтому общая теория разрешающей способности рассматривается для двух точек.

Штрих (линия) – более удобный объект для практических тестов. Поэтому на практике разрешающую способность обычно оценивают по штрихам.

Иногда вместо штрихов на мм говорят пар линий на мм. Это одно и то же – под парой линий понимается пара из чёрного и белого штрихов. Разрешающая способность 100 лин/мм означает, что на 1 мм объектив разрешает 100 чёрных штрихов или 100 пар из чёрного и белого штрихов.

В первой статье упоминалось, что объектив строит изображение сам по себе, независимо от наличия или отсутствия сенсора – физическое изображение предмета висит в воздухе за объективом. Сенсор также имеет своё разрешение, не привязанное к объективу. Потому и у объектива, и у сенсора есть свои пределы разрешения, а итоговая разрешающая способность оптической системы является сочетанием разрешающих способностей её компонентов.

Разрешающая способность объектива

Для объектива разрешающая способность – это резкость, способность передать на сенсор мелкие детали. Разрешающая способность объектива ограничивается аберрациями, дифракцией, светораспределением внутри объектива и яркостью наблюдаемой сцены. Аберрации рассматривались во второй лекции, световые потери от виньетирования – в третьей. Остальные причины будут разобраны в этой статье.

Разрешающая способность объектива иногда прямо указывается в спецификации. Поскольку качество изображения падает от центра изображения к краю, разрешающую способность указывают отдельно для центра и для края кадра:

Для штрихов на пределе разрешения геометрия построения такая же, как и для изображения (что логично, так как штрихи – часть изображения):

Разумеется, в реальном объективе изображения штрихов будут размыты, но формулы от этого не меняются.

Предел разрешения обратен разрешающей способности. Если разрешающая способность объектива известна, то можно вычислить предел разрешения h и, в зависимости от конкретной задачи, рассчитать:

угловой предел разрешения ψ
период на объекте H

Если объект находится на бесконечности (или достаточно большом расстоянии), то a′ ≈ f′, и формула для ψ упрощается:

Угловой предел разрешения ψ для бесконечности

Для предметов на бесконечности период H не рассматривается, поскольку он становится бесконечно большим.

CV-программисты часто рассчитывают разрешающую способность оптической системы по расстоянию между пикселями, подставляя его в формулы вместо h. Однако этот метод имеет ряд ограничений и подводных камней. Границы его применимости рассмотрены в разделе «Разрешающая способность по пикселям и фокусному расстоянию».

Разрешающая способность сенсора

Разрешающая способность сенсора – это уровень детализации изображения, полученного от объектива. Разрешающая способность сенсора зависит от размера пикселя: в большинстве случаев чем он меньше, тем выше разрешающая способность.

Напоминание. Не следует путать разрешающую способность сенсора (количество пикселей на 1 мм) и разрешение сенсора (количество пикселей по ширине и по высоте).

Размер пикселя обычно указан в спецификации. Если такой информации нет, то его можно вычислить через формат и разрешение сенсора (пример расчёта – далее).

Теперь о том, как сенсор воспринимает штрихи и точки. Сенсор ‒ дискретная система и в пределах одного пикселя не способна к полутонам. Каждый пиксель выдаёт конкретный фототок. Чтобы сенсор различил две точки, между ними должен находиться хотя бы один менее засвеченный пиксель:

Восприятие дискретным приёмником двух точек

Отсюда следует, что:

Предел разрешения сенсора – удвоенный размер пикселя
Разрешающая способность сенсора – количество пар пикселей на один миллиметр

Полная аналогия с парами линий на миллиметр у объектива: чтобы разрешить два чёрных штриха, между ними должен находиться белый штрих. Пара линий – пара пикселей.

Иногда разрешение сенсора указывают в мегапикселях. Количество мегапикселей (миллионов пикселей) – число, которое получается перемножением количества пикселей по ширине и по высоте. Так сенсор 1920×1080 имеет 2073600 пикселей или 2 мегапикселя (Мп). Может показаться, что увеличение числа мегапикселей повышает разрешающую способность сенсора, но это не всегда так. Для сравнения двух сенсоров по разрешающей способности необходимо смотреть на размер пикселя. Сенсоры 2 Мп и 5 Мп с размером пикселя 5 мкм имеют разное разрешение, но одинаковую разрешающую способность. Сенсор 5 Мп просто физически больше сенсора 2 Мп и при использовании всего лишь даст более широкое поле зрения.

Технически, чем меньше размер пикселя, тем выше разрешающая способность. Однако использование сенсоров с маленькими пикселями приводит к снижению светочувствительности и увеличению шумов. Иногда уменьшение размера пикселя ниже определённого предела может снизить разрешающую способность сенсора – так же, как чрезмерное закрытие диафрагмы уже не повышает, а понижает итоговую резкость. Поэтому необдуманно использовать сенсоры с наименьшим размером пикселя не стоит.

Согласование объектива и сенсора по разрешающей способности рассмотрено в разделе «Согласование объектива и сенсора».

Пример: расчёт разрешающей способности сенсора

Задача:

Найти разрешающую способность сенсора формата 2/3″ с разрешением 1920×1080.

Решение:

Найдём диагональ сенсора в миллиметрах: 16,93⋅2/3 = 11,286 мм
Найдём диагональ сенсора в количестве пикселей: √(1920²+1080²) = 2203 пикселей
Найдём размер пикселя: 11,286 / 2203 = 0,00512 = 5,12 мкм → 5 мкм
Найдём разрешающую способность: 1/(2⋅0,005) = 100 лин/мм

Ответ:

Разрешающая способность сенсора – 100 линий на миллиметр.

Комментарии:

Диагональ сенсоров измеряется в видиконовских дюймах (~2/3 от стандартного дюйма)
Размер пикселя неровный, так как между микролинзами на сенсоре часто есть зазоры. На этом сенсоре между пикселями размером 5 мкм имеются промежутки 0,12 мкм
Разрешающую способность следует считать по размеру самих пикселей, без промежутков

Теоретический предел разрешения объектива

Иногда заказчик системы технического зрения запрашивает нереалистичные параметры уровня голливудских фильмов, где со спутника читают текст на смартфоне. В этом случае полезно уметь считать теоретический предел углового разрешения объектива, чтобы не искать несуществующие в природе объективы, а сразу понимать, что реализация запрашиваемых параметров физически невозможна.

За теоретический предел разрешения объектива отвечает дифракция.

Дифракция и изображение бесконечно малой точки

Дисклеймер

Теория дифракции обширна и сложна. Желающие могут открыть любой университетский учебник общей физики и восхититься, а оптика рассматривает дифракцию гораздо глубже, чем общеобразовательный курс. Кроме того, при применении теоретических выкладок к практическим задачам разрешающей способности ситуация ещё сильнее усложняется, поскольку на теорию накладываются характеристики конкретного прибора. Потому я позволил себе упростить теоретическую базу и интерполировать ряд частных случаев к универсальному критерию, который весьма прост для практического применения и одновременно достаточно точен относительно строгой теории.

Дифракция в оптике – нарушение прямолинейного распространения света из-за взаимодействия световых волн с препятствиями. Дифракция присутствует в любом объективе, так как свет дифрагирует на материальных отверстиях: оправах линз и диафрагме.

Интересный факт

Дифракция приводит к огибанию световыми волнами препятствий и проникновению света в область геометрической тени.

Предположим, у нас есть идеальный объектив, в котором исправлены все аберрации. Однако даже такой объектив не сможет сфокусировать свет в бесконечно малую точку. Вместо резкого изображения в фокальной плоскости появится дифракционное изображение точки:

Примечание. Иногда используют более общий термин дифракционная картина. Дифракционная картина относится не только к точке, но и к любому изображению, сформированному дифракцией и последующей взаимной интерференцией световых волн. Дифракционное изображение точки также часто называют просто дифракционной точкой.

Дифракционное изображение точки состоит из яркого центрального пятна, окружённого набором колец быстро спадающей яркости. Теоретически, количество колец бесконечно, но на практике рассматривают одно, максимум – два кольца: в центральном пятне сосредоточено 83,78% всей энергии, в первом кольце ‒ 7,22%, во втором ‒ 2,77%, в третьем ‒ 1,46% и так по ниспадающей. Яркость дальних колец настолько мала, что ей можно пренебречь.

В случае отсутствия аберраций это процентное распределение энергии не зависит от фокусного расстояния и диафрагменного числа объектива. Однако от них зависит диаметр дифракционной картины – диаметр центрального пятна и всех колец.

Для графического отображения дифракционного изображения точки используется функция рассеяния точки (ФРТ или PSF – point spread function). График ФРТ описывает сечение дифракционной картины, которое важно для понимания теоретического предела разрешения.

Рассмотрим график ФРТ. В случае белого цвета каждая длина волны строит своё дифракционное изображение точки, немного отличающееся шириной, поэтому для простоты считаем свет монохромным.

Ось X на графике можно считать плоскостью сенсора. По оси X отложены размеры изображения дифракционной точки в микрометрах, по оси Y – пространственное распределение световой энергии, нормированное так, что 1 ‒ высота графика ФРТ для идеального объектива. Центральный пик (нулевой максимум) ФРТ идеального объектива всегда имеет высоту 1; центральные пики реальных объективов имеют высоту меньше 1, отображая, насколько реальный объектив уступает идеальному.

График ФРТ рассчитывается для фокальной плоскости. При дефокусировке ФРТ заметно меняется: в центре появляется тёмное пятно, окружённое ярким кольцом:

Если объектив, как это всегда бывает, неидеален, то на дифракционное изображение точки накладывается влияние аберраций. По мере их увеличения реальная дифракционная точка всё дальше отходит от идеальной:

ФРТ зеркально-линзового телескопа с оптической схемой Ричи ‒ Кретьена F12/1750

ФРТ восьмилинзового фотообъектива F4.4/100

ФРТ старого фотообъектива Zeiss Planar F5/50

Реальную дифракционную точку можно наблюдать непосредственно за объективом, если рассматривать в микроскоп изображение искусственной звезды. Искусственную звезду получают, разместив в фокальной плоскости длиннофокусного коллиматора точечную диафрагму, диаметр которой меньше дифракционного предела разрешения коллиматора, и специфическим образом её засветив.

Точечная диафрагма диаметром 5 мкм. Микроотверстие на фотографии незаметно

Подробно про коллиматоры и их использование будет рассказано в разделе «Измерение разрешающей способности».

Когда испытуемый объектив строит изображение такой искусственной звезды, в его фокальной плоскости наблюдаются подобного рода картины:

Можно заметить, что дифракционное изображение правой точки несимметрично и слегка вытянуто в овал. Это происходит потому, что дифракционную точку помимо аберраций могут искажать:

качество стекла: оптическая неоднородность и дефекты плавки
погрешности изготовления оптических деталей
неточность сборки и юстировки

По виду дифракционной точки можно оценить качество изображения конкретного объектива:

Виды изображений дифракционной точки при различных дефектах объективов

Чистая дифракционная точка, высококачественный объектив
Сферическая аберрация
Кома
Астигматизм или пережатие линз в оправах
Свили или грубые неоднородности показателя преломления стекла
Локальный завал края линзы

Интересный факт

Контроль объективов при сборке по дифракционному изображению точки повсеместно применялся до конца XX века и иногда применяется сейчас. Также это способ полевой юстировки телескопов: непосредственно перед наблюдением качество юстировки и термостабилизацию проверяют, рассматривая в сильный окуляр изображение яркой одиночной звезды.

Анализ дефектов объектива сам по себе интересен, но в контексте теоретического предела разрешения рассматривается безаберрационный объектив – очевидно, что аберрации этот предел ухудшают. Чтобы не оперировать совсем уж идеальными понятиями, можно считать, что в качестве объектива используется качественный телескоп. Как видно по графику ФРТ для телескопа системы Ричи‒Кретьена, его расчётная дифракционная точка идеальна; реальная дифракционная точка очень близка к ней, поскольку хорошие и дорогие телескопы проходят контроль качества по интерференции или дифракции – например, по критерию «не более одного видимого дифракционного кольца».

Дифракционный предел разрешения

Вернёмся к графику ФРТ. Центральное пятно в дифракционной картине называется диск Эйри (в честь британского астронома Джорджа Эйри):

Радиус диска Эйри рассчитывается по формуле:

$R_{Эйри}=1.22\lambda\frac{f'}{D}$

λ – длина волны света

f'/D – диафрагменное число объектива

Формула показывает, что размер диска Эйри зависит только от диафрагменного числа и длины волны света. Из этого следует важный промежуточный вывод:

Объективы любого фокусного расстояния дают одинаковые размеры дифракционных точек, если у объективов выставлены одинаковые диафрагменные числа.

Теперь посмотрим, как разрешаются две дифракционные точки.

На рисунке изображён идеальный объектив, формирующий изображение двух бесконечно удалённых точек, разнесённых на угол Ψ. Если угол Ψ достаточно большой, то в фокальной плоскости мы видим то, что изображено на рисунке справа: два дифракционных изображения. Объектив разрешает две точки.

Теперь начнём уменьшать угол Ψ. В этом случае дифракционные изображения начнут приближаться друг к другу, и однажды настанет момент, когда мы уже не сможем их разрешить: оба изображения сольются в единую картину:

Слияние изображений двух дифракционных точек

Предел дифракционной разрешающей способности объектива – это такой минимальный угол Ψ, при котором две дифракционные точки ещё видны раздельно.

Закономерно возникает вопрос, когда их ещё считать различимыми. Сам Рэлей предложил критерий, впоследствии названный его именем: два дифракционных изображения точки ещё считаются различимыми, если нулевой максимум одной точки расположен на первом минимуме второй точки (на первом тёмном кольце):

Согласно критерию Рэлея, предельный угол разрешающей способности равен:

$\psi_{рад}=\frac{R_{Эйри}}{f'}$

Подставив одну формулу в другую, используя длину волны середины видимого спектра 0,55 мкм и переведя радианы в секунды, получаем:

$\psi=\frac{1,22\lambda \cdot f'}{D\cdot f'}(рад)=\frac{1,22\lambda}{D}(рад)=\left(\frac{1,22\lambda}{D}\cdot 206265\right)^{″}=\frac{138,4^{″}}{D}\approx\frac{140^{″}}{D}$

D – диаметр входного зрачка. Чтобы получить его, необходимо разделить фокусное расстояние объектива на текущее диафрагменное число.

Существуют и другие критерии предельного угла, но они не сильно отличаются от критерия Рэлея. Критерий Рэлея лучше всего подходит для качественных объективов технического зрения.

Формула 140″/D – теоретический предел углового разрешения. Поскольку его физическая причина – дифракция, его также называют дифракционным пределом угловой разрешающей способности. Этот предел не зависит от фокусного расстояния объектива – оно сокращается при расчёте. Отсюда следует контринтуитивный, но важный окончательный вывод:

Теоретический предел разрешения не зависит от фокусного расстояния объектива.
Он зависит только от диаметра входного зрачка и длины волны света.

Диаметр входного зрачка расположен в знаменателе дроби. Чем сильнее закрыта диафрагма – тем больше размер диска Эйри и, соответственно, предельный разрешаемый угол. Этим объясняется влияние диафрагмы на резкость, описанное в предыдущей статье:

Закрытие диафрагмы уменьшает диаметр входного зрачка и повышает резкость за счёт уменьшения аберраций, в первую очередь – аберраций широких пучков (сферической аберрации и комы). Однако такое повышение резкости происходит только до определённого предела, после которого резкость вновь начинает падать, на этот раз ‒ необратимо. Это происходит потому, что при закрытии диафрагмы увеличивается размытие изображения из-за дифракции. В какой-то момент дифракционное размытие становится слишком большим и перебивает эффект от падения аберраций.

Пример: расчёт теоретического предела

Задача:

Найти теоретический предел угловой разрешающей способности по критерию Рэлея для объектива с фокусным расстоянием 100 мм и диафрагмой, установленной на значение 5.6

Решение:

Найдём диаметр входного зрачка: 100/5,6= 17,86 мм
Найдём теоретический предел: Ψ 140″/17,86= 7,84″ ≈ 8″. Округлять всегда следует в большую сторону

Ответ:

8 угловых секунд.

Дополнение к расчёту:

Упрощённая формула 140"/D дана для видимого диапазона. Для объективов, работающих в других длинах волн, необходимо использовать полную формулу 122λ/D и подставлять соответствующие длины волн:

ультрафиолетовый диапазон (UV-камеры)
UV: 0,2-0,4 мкм, λ=0,3 мкм
видимый диапазон (самые массовые объективы)
Visible: 0,4 – 0,8 мкм, λ=0,55 мкм
ближний инфракрасный диапазон (ближний ИК: SWIR-камеры)
SWIR, Short-Wave InfraRed: 0,8 – 1,4 мкм, λ=1,2 мкм
средний инфракрасный диапазон (средний ИК: чаще всего охлаждаемые тепловизоры)
MWIR, Middle-Wave InfraRed: 3 – 5 мкм, λ=4 мкм
дальний инфракрасный диапазон (дальний ИК: чаще всего неохлаждаемые тепловизоры)
LWIR, Long-Wave InfraRed: 8 – 12(14) мкм, λ=10 мкм

При расчёте следует использовать одинаковые единицы измерения для длины волны и диаметра входного зрачка (например, миллиметры).

Теоретический предел и реальные объективы

Критерий Рэлея изначально применялся в астрономии, где дальнейший систематизированный опыт по наблюдению двойных звёзд позволил даже повысить предельный угол разрешающей способности до эмпирической формулы 120″/D. Однако телескопы – специализированные и дорогие приборы. Их оптические схемы и угловые поля практически уничтожают аберрации, а точность изготовления, сборки и юстировки минимизирует отклонения достигнутых характеристик от расчётных. Обычные коммерческие серийные объективы, очевидно, не соответствуют этим высоким критериям. Потому они часто не достигают угла ψ, рассчитанного по критерию Рэлея, особенно на краях кадра.

Соберём в одном месте весь список причин, искажающих изображение дифракционной точки и снижающих реально разрешаемый угол ψ:

монохроматические аберрации (особенно полевые)
спектр длин волн (хроматические аберрации + λ в формуле дифракционного предела)
качество стекла (оптическая неоднородность и дефекты плавки)
погрешности изготовления оптических деталей
неточности сборки и юстировки объектива

На картинках ниже приведены ФРТ одного из рассчитанных мной объективов. При анализе статистическими методами смоделированы погрешности изготовления оптических деталей и неточности сборки/юстировки. У всех графиков масштаб по осям X и Y одинаков.

Падение ФРТ в реальном объективе с диафрагменным числом F4.5

При анализе графиков ФРТ важна не высота центрального пика, а его диаметр в зоне, в которой собирается основная энергия. Этот диаметр рассчитывается через среднеквадратичное отклонение (RMS) координат падения лучей и содержит приблизительно 80% энергии.

Сравнение диаметров пятен рассеяния для идеального и реального объективов

Теперь посмотрим непосредственно на пятна рассеяния этого объектива на сенсоре для случая удачной комбинации допусков изготовления и сборки. Слева пятно рассеяния для центра поля зрения (угловое поле 0°), справа – для края кадра (угловое поле 2°). Несимметричность осевого пятна вызвана моделированием децентрировок линз в оправах.

Пятна рассеяния реального объектива с диафрагменным числом F4.5

Числовые характеристики пятен:

Радиус диска Эйри ‒ 3,268 мкм
Радиус энергетического пятна рассеяния (RMS) для центра кадра ‒ 4,212 мкм
Радиус энергетического пятна рассеяния (RMS) для края кадра ‒ 6,774 мкм
Радиусы, куда попало 100% прошедших лучей (GEO), в случае хороших объективов не рассматриваются – они получаются слишком большими при слишком малом количестве световой энергии в «хвостах» ФРТ:

По пятнам рассеяния можно заметить, что RMS на оптической оси соизмерим с диском Эйри, в то время как RMS на краю поля зрения вдвое превышает диск Эйри. Если прикрыть диафрагму на один «стоп», с F4.5 до F5.6, то для объектива на оптической оси можно смело использовать формулу теоретического предела: ψ = 140″/D:

Пятна рассеяния этого же объектива с диафрагменным числом F5.6

Однако формула теоретического предела не всегда применима в практических задачах по двум причинам:

Объективы часто имеют пятна рассеяния значительно больше диска Эйри, особенно при сильно открытых диафрагмах.
Объектив работает совместно с сенсором, дискретность которого изменяет реальную разрешающую способность оптической системы.

По этой причине полезно сформировать ограничения и рекомендации по применению формулы теоретического предела:

Формула верна для центра поля зрения (когда объект находится на оптической оси).
Формула достаточно хорошо применима к объективам, аберрации в которых малы: объективы с фиксированным и коротким фокусным расстоянием, малым угловым полем и прикрытой диафрагмой.
Не следует применять формулу к объективам с заметными аберрациями. К ним относятся: светосильные, широкоугольные, трансфокаторы с большим перепадом увеличений.
Чем сильнее закрыта диафрагма ‒ тем выше вероятность, что формула применима, поскольку влияние аберраций снижается, а диаметр диска Эйри растёт. Для объективов с сильно закрытой диафрагмой (#F10…#F12 и темнее) формула чаще всего даёт правильный результат.

Дополнительная информация:

Формула дана для объектива, состоящего из минимума компонентов, где входной зрачок располагается в начале системы. К такому типу объективов относятся телескопы, подзорные трубы и некоторые простые фотообъективы. В сложных объективах с внутренним расположением апертурной диафрагмы диск Эйри имеет несколько иные размеры, индивидуальные для каждого объектива. Однако и в этом случае для приблизительной оценки можно опираться на критерий Рэлея.
Дифракция происходит на каждой оправе и каждой диафрагме. Входной зрачок берётся для расчёта потому, что обычно диаметр апертурной диафрагмы ‒ самый маленький в оптической системе. Если перед объективом установить заслонку с круглым отверстием, то свет начнёт дифрагировать на ней сильнее, чем на изначальном входном зрачке.
Формула верна для круглого входного зрачка без центрального экранирования.
Дифракционная картина для тонкой линии (штриха) немного иная, чем для точки, но очень близка к ней. Для прикладных расчётов можно использовать формулу диска Эйри.

Возвращаясь к тому, с чего начинался раздел о дифракции. Основное предназначение критерия Рэлея – рассчитать физический предел, обойти который нельзя. Это позволяет на старте проекта оценить принципиальную достижимость желаемых параметров. Если заказчик хочет нечто неординарное ‒ рационально следовать такому алгоритму:

Из условий задачи рассчитать требуемое угловое разрешение ψ
Исходя из полученного значения ψ высчитать требуемый диаметр входного зрачка D
Диаметр входного зрачка сориентирует по приблизительной величине фокусного расстояния (которое чаще всего в 3–5 раз больше диаметра входного зрачка)

В случае нереалистичных запрашиваемых параметров рассчитанные габариты требуемого объектива скорректируют ожидания заказчика и позволят не взять в работу невыполнимый проект.

Интересный факт

Автор статьи, будучи студентом, выигрывал Всероссийскую олимпиаду по оптике и ряд оптических олимпиад уровнем ниже. На одной из них как раз попадалась задача – оценить, сможет ли спутник фоторазведки с орбиты увидеть на поверхности Земли спичечный коробок.

Разрешающая способность по пикселям и фокусному расстоянию

Существует другой подход к оценке предельной разрешающей способности. Его часто используют CV-программисты, но применять его следует осторожно : при неточном обращении он даёт излишне оптимистичные результаты, недостижимые на практике.

Суть подхода интуитивно понятна и проста: считается, что объектив разрешает две точки, если они попадают на разные пиксели:

Расчёт разрешающей способности по пикселям

Способ выглядит логичным, и я много раз видел, как люди, волею судьбы столкнувшиеся с оптикой, используют его на практике. Но он таит в себе ряд ограничений и подводных камней, без учёта которых его применение не имеет смысла. Их стоит изучить перед тем, как использовать этот подход.

Учёт дифракции

Поскольку теоретический предел обойти нельзя, пиксельное разрешение необходимо сравнивать с дифракционным. Если пиксельный предел по расчёту меньше дифракционного, то пиксельный метод применять нельзя.

Это достаточно частая ошибка: люди соединяют длиннофокусный объектив и сенсор с мелким пикселем и думают, что так можно получить высокую разрешающую способность. Однако вместо этого при просмотре в масштабе «1:1» получается лишь мутная картина, размытая дифракцией (а заодно и аберрациями).

«Лица, освоившие приближённые законы геометрической оптики, привыкшие оперировать со светящимися точками и параллельными пучками … поражаются косности оптиков-профессионалов, не догадывающихся для рассмотрения молекул взглянуть на изображение в микроскопе через второй микроскоп.
Академик С.А. Вавилов, предисловие к книге «О возможном и невозможном в оптике» профессора Г.Г. Слюсарева

Учёт аберраций

Реальные объективы имеют аберрации, погрешности изготовления и прочие несовершенства, упомянутые в прошлых разделах. Пятно рассеяния от аберраций даже по RMS практически всегда превосходит размер пикселя.

Существуют специфические дифракционно ограниченные оптические системы (например, телескопы), размер аберрационных пятен в которых меньше диска Эйри, но в объективах для технического зрения пятно рассеяния всегда больше размера пикселя:

Размер пятна рассеяния больше размера пикселя не мешает получать резкие изображения, но при анализе пиксельной разрешающей способности о наличии аберраций следует помнить. Если объектив длиннофокусный, широкопольный или просто плохой, а сенсор имеет мелкие пиксели, то итоговое разрешение, как и в случае дифракции, будет лимитировано объективом, а не сенсором.

В разделе про теоретический предел отмечено, что его не следует применять к объективам с заметными аберрациями. То же самое верно и для пиксельного критерия. Хочу отметить это особо, так как при расчёте по пикселям и фокусному расстоянию о существовании в объективе аберраций часто забывают.

Учёт дискретности приёмника

Дискретность приёмника может искажать изображение не только добавив к нему пиксельность. Если объектив проецирует на сенсор изображение с периодической структурой, шаг которой соизмерим с шагом пикселей, то итоговая картина воспринятия сенсором такого изображения напоминает интерференцию. В зависимости от ситуации, периодические структуры могут либо полностью исчезать:

Взаимодействие дифракционных изображений с пикселями. Источник

…либо складываться в псевдоструктуры увеличенного шага:

Формирование псевдоструктур на дискретном сенсоре. Источник

Этот эффект называется aliasing или муар:

Муар. Откройте картинку в полном разрешении – узоры изменятся

Ярсик, кот ведущего программиста нашего отдела нейросетей, демонстрирует муар

Иногда объективы намеренно делают немного менее резкими, чем они могли бы быть, либо добавляют к ним так называемый фильтр низких частот (optical low pass filter). Оба решения направлены на то, чтобы на сенсор не попадали частоты, соизмеримые с шагом пикселей.

Фильтр низких частот слегка размывает изображение

Реалистичная оценка разрешающей способности объектива должна учитывать характеристики объекта наблюдения: что именно требуется рассмотреть. Обнаружение зебр в саванне или подсчёт количества пчёл могут вызвать сложности.

Учёт байеровских субпикселей

Фотодиоды сенсора не различают цвета, так как они преобразуют энергию фотонов любой длины волны в электрический ток. Для получения цветного изображения каждый фотодиод накрывают микроскопическим светофильтром красного, зеленого или синего цветов. Чаще всего они располагаются в виде сетки, которая носит название фильтр Байера. Итоговое цветное изображение формируется процессором или самой камерой путём анализа данных от соседних ячеек разных цветов (дебайеризация или алгоритм демозаики). Этот алгоритм также влияет на конечное качество детализации и может приводить к появлению ложных цветов и эффекту ступенчатых краев.

В чём подвох. Пиксель ‒ это группа, где присутствуют все три цвета. Единичные фотодиоды, накрытые одним из трёх светофильтров, называются субпиксели. Но некоторые производители дешёвых бытовых камер указывают не количество пикселей, а количество субпикселей. Простейшая маркетинговая уловка, которая позволяет формально увеличить число пикселей сенсора в четыре раза и продавать 2-мегапиксельную камеру как 5-мегапиксельную. Обычно в таких ситуациях производитель тактично не приводит размер пикселя в документах на камеру.

При работе в видимом диапазоне необходимо использовать в расчёте размер полного трёхцветного пикселя.

Сравнение двух подходов

В какой-то степени эти два подхода антагонистичны:

Дифракционный предел разрешения опирается на физику и размеры минимальной преграды, на которой дифрагирует свет. Этот расчёт определяет предел возможностей объектива и никак не зависит от сенсора.
Пиксельный предел разрешения опирается на геометрию и конструктивные параметры оптической системы ‒ фокусное расстояние и параметры сенсора. Такой расчёт зависит от сенсора напрямую через размер пикселя.
Дифракционный предел не зависит от фокусного расстояния, но зависит от диаметра входного зрачка.
Пиксельный предел зависит от фокусного расстояния, но не зависит от диаметра входного зрачка.

При решении конкретной задачи полезно рассчитать оба предела и опираться на худший из них, так как именно он будет лимитировать фактическую разрешающую способность оптической системы.

Разрешающая способность реальных объективов

Иногда расчёт предела разрешения ни дифракционным, ни пиксельным методом не имеет смысла. Это бывает в трёх случаях:

Разрешающая способность объектива напрямую указана в спецификации
Разрешающую способность объектива можно измерить
Для объектива известен график частотно-контрастной характеристики (ЧКХ)

Первый случай не требует разъяснений, а вот оставшиеся два полезно разобрать подробнее.

Измерение разрешающей способности

Измерение разрешающей способности объективов проводят по мирам. Мира (от фр. mirer ‒ вглядываться, смотреть на просвет) ‒ испытательная пластинка, на которую нанесены тестовые знаки определённой структуры.

Самым известным примером миры является таблица для проверки остроты зрения:

Оптометрическая таблица. Слева ‒ таблица Сивцева, справа ‒ таблица Головина (для людей, не владеющих русским языком)

Для тестирования объективов наиболее характерным образцом является штриховая мира:

Штриховая мира ГОИ (ГОИ – Государственный оптический институт им. Вавилова)

При измерении разрешающей способности мира должна располагаться там же, где и объект наблюдения. Потому для объективов, смотрящих на бесконечность, миру делают маленькой, прозрачной и располагают в фокальной плоскости длиннофокусного коллиматора.

Коллиматор (от лат. collimo, искажённое лат. collineo – направляю по прямой линии) ‒ оптический прибор, формирующий изображение тест-объекта на бесконечности. В первой статье показано, что идущие из бесконечности лучи фокусируются объективом в фокальной плоскости. Но ход лучей можно развернуть обратно: поместить в фокальной плоскости тест-объект и ярко его засветить. Тогда лучи, идущие из любой точки тест-объекта, после объектива будут идти параллельно. Это называется искусственная бесконечность:

Коллиматоры не только позволяют создать бесконечность в комнате, но и рассматривать на бесконечности такие тест-объекты, которые невозможно получить на полевых испытаниях.

Объективы коллиматоров имеют чрезвычайно высокое разрешение на оптической оси. Для корректной работы фокусное расстояние и диаметр входного зрачка коллиматора подбирают больше, чем у тестируемого объектива.

Классическим примером является коллиматор из состава оптической скамьи ОСК-2:

Осветитель с конденсором, молочным стеклом и сменными светофильтрами
Револьверный механизм с набором мир
Коллиматор с фокусным расстоянием 1600 мм
Оправа для крепления объективов. Оснастка перед коллиматором может меняться

Револьверный механизм ОСК-2 с набором штриховых мир ГОИ

Мира ГОИ коллиматора ОСК-2 крупным планом

Мира ГОИ содержит 25 элементов, в каждом элементе – четыре квадрата со штрихами в разных направлениях. Из-за комы и астигматизма пятна рассеяния несимметричны, что приводит к разной разрешающей способности в разных направлениях даже для одной и той же точки кадра:

Изменение разрешающей способности в зависимости от направления штрихов

Считается, что объектив разрешает тот элемент миры, в котором различимо направление штрихов для всех четырёх квадратов.

Существует много самых разнообразных мир. Миры для печати в хорошем разрешении можно скачать здесь. Только перед их использованием прочтите раздел «Разрешающая способность на конечном расстоянии», он будет ниже.

Изображение миры можно рассматривать двумя способами:

Объектив без камеры. Изображение миры рассматривается непосредственно за объективом в микроскоп, где оно висит в воздухе в фокальной плоскости объектива. Так измеряется разрешающая способность самого объектива.
Объектив с камерой. Изображение миры рассматривается на экране монитора в режиме 1:1, когда один пиксель сенсора приблизительно соответствует одному пикселю монитора. Так измеряется совместное разрешение системы «объектив + камера».

Во втором случае на высоких частотах часто проявляется aliasing (муар). На мирах это выглядит так: штрихи различаются в правильном направлении, но они менее резкие, а их период примерно в два раза больше, чем должен быть. Это псевдоштрихи, упомянутые в разделе «Учёт дискретности приёмника» ‒ два близких штриха сливаются в один:

Штриховая мира при наблюдении через объектив с камерой. Зона aliasing’а выделена белым. Размытие штрихов и цифр ‒ от аберраций объектива

Оптическая скамья ОСК-2 достаточно распространена в России (под заказ её изготавливают до сих пор), но она проектировалась ещё в 50-е годы и морально устарела. Современные установки для измерения разрешающей способности механизированы и компьютеризированы, но принцип их работы идентичен. Они имеют лишь одно заметное отличие ‒ вместо линзового объектива используется зеркало, позволяющее тестировать объективы любого спектрального диапазона.

Тестовая установка TVT300 компании Inframet

Изображение миры тестовой установки TVT300 на тестируемой камере

Интересный факт

Можно заметить некоторую деградацию дизайна миры Inframet относительно миры ОСК-2. Штрихи миры Inframet направлены в двух направлениях вместо четырёх и расположены не в порядке уменьшающегося шага. Не всё современное оборудование по определению лучше.

Установка для измерения ЧКХ ImageMaster Universal компании Trioptics

Автору статьи в своей практике довелось пересекаться со всеми тремя вышеперечисленными установками.

Интересный факт

Несмотря на моральное устаревание, ОСК-2 обладает рядом уникальных возможностей и до сих пор активно используется для некоторых задач. В частности, миры ОСК-2 обладают намного меньшим размером штрихов, чем самые мелкие миры зеркальных коллиматоров (наименьшее угловое разрешение наименьшего элемента самой мелкой миры ‒ 0,64").

В установках с зеркальными объективами используются миры из тонких стальных пластин с прорезанными штрихами. Это позволяет использовать миру для всего спектрального диапазона.

Металлическая мира. Подобного рода миры стоят в современных тестовых установках

Чаще всего у разработчиков систем технического зрения нет возможности измерять параметры объективов. Но некоторые изготовители оптики приводят необходимые данные в спецификациях. Однако разрешение только в линиях на миллиметр встречается довольно редко, в основном для старых фотообъективов. Данные о разрешающей способности современной оптики гораздо чаще приводят в виде графиков частотно-контрастной характеристики (ЧКХ).

Частотно-контрастная характеристика

Английское название частотно-контрастной характеристики ‒ функции передачи модуляции, modulation transfer function (MTF). Её график показывает, с каким контрастом отображается какой период миры.

Построение графика можно представить следующим образом. В объектив проецируется абсолютно контрастная идеальная мира с бесконечно уменьшающимся шагом. Объектив строит её изображение. Поскольку изображения штрихов размываются из-за дифракции и аберраций, при уменьшении периода штрихов их дифракционные хвосты накладываются друг на друга и снижают общий контраст:

Падение контраста при уменьшении периода изображений штрихов

Значение контраста для любого периода определяется по формуле Майкельсона:

Max и Min – максимальная и минимальная яркость штрихов

Значения контраста для каждого периода переносят на график. По оси X откладывают период миры, а по оси Y ‒ контраст.

Обычно ЧКХ показывают для нескольких угловых полей. Поля на графике отмеряются от оптической оси: если предельное диагональное угловое поле объектива 10°, то на ЧКХ самым большим полем будет 5°.

На графике выше показаны линии ЧКХ для полей 1,5° и 3°. Для каждого поля, кроме осевого пучка, рисуются две кривые: T (tangential) и S (sagittal). Как упоминалось выше, разрешающая способность в разных направлениях разная, потому и на графике ЧКХ она приводится в двух астигматических сечениях. Для оценки разрешающей способности по полю можно брать среднее значение двух кривых. Например, на приведённом графике при 150 лин/мм для углового поля 3°:

контраст в сечении T ≈ 0,14
контраст в сечении S ≈ 0,24
средний контраст ≈ 0,19

ЧКХ отражает суммарный эффект всех аберраций объектива и служит быстрым и удобным методом оценки качества изображения.

Иногда на графике (см. выше) показывают линию теоретического (дифракционного) предела. Отклонение графиков ЧКХ от дифракционного предела показывает, насколько конкретный объектив хуже такого же по параметрам идеального объектива.

Также иногда кривые на графике дают не для угловых полей, а для расстояний от оптической оси (от центра сенсора). В этом случае поля указываются не в градусах, а в миллиметрах:

ЧКХ с отображением угловых полей в миллиметрах для 2/3″ объектива Kowa LM50JC10M F2.8/50

Чтобы правильно оценивать качество изображения в различных частях кадра, необходимо смотреть, где на сенсоре располагаются линии угловых полей. Например, вот как переносятся поля с предыдущего графика ЧКХ на сенсор 1920×1080 (2/3″):

Положения угловых полей с графика ЧКХ на сенсоре

Диафрагменное число, для которого рассчитан график ЧКХ, указывают под графиком. ЧКХ обычно приводят для максимального диафрагменного числа объектива. Как известно из предыдущей статьи, при закрытии диафрагмы резкость сначала повышается (из-за уменьшения аберраций), а затем снова падает (из-за дифракции). В контексте ЧКХ это выглядит так: если выложить подряд графики для каждого из диафрагменных чисел, то сначала все кривые поднимаются, а затем опускаются.

ЧКХ двух объективов сравниваются не только по контрасту на высоких частотах ‒ они ответственны лишь за разрешение мелких деталей. Основные детали изображений передаются средними частотами. Выше показано, что высокие частоты иногда намеренно устраняют, чтобы не возникал муар, а изображение стало более «мягким». При выборе из двух объективов надо сравнивать не только высокие, но и средние частоты, а конкретный объектив подбирать под конкретную задачу технического зрения.

Хорошие производители объективов приводят график ЧКХ. Например, Kowa ‒ можно выбрать любой объектив и прокрутить страницу вниз. В разделе Techn. Details будут указаны тип сенсора и разрешающие способности для центра и для края, а в разделе Downloads можно скачать график ЧКХ (MTF).

Большинство производителей приводят расчётные графики ЧКХ. Их можно опознать по графикам из Zemax (программы для расчёта оптических систем) ‒ они выглядят точно так же, как графики выше. ЧКХ реальных объективов из-за неточности изготовления и сборки примерно на 10% ниже.

Измерение ЧКХ производят на установках типа ImageMaster Universal по дифракционному изображению точки или острого края (полуплоскости). Микроскоп установки снимает график ФРТ и по нему рассчитывает реальную ЧКХ для необходимого диапазона частот.

Примечание. Обратите внимание на прекрасный комментарий к статье от @AndreyDmitriev о измерении разрешающей способности в рентгеновском диапазоне. Отличаются конструктивная реализация мир и способ получения графика, аналогичного ЧКХ, но общий физический принцип измерения идентичен.

Согласование объектива и сенсора

Общая разрешающая способность оптической системы является сочетанием разрешающих способностей объектива и сенсора. Возможны три варианта такого сочетания:

Если объектив сильно лучше сенсора, то потенциал более дорогого объектива не будет полностью реализован, а на изображении может появиться aliasing (муар).
Если сенсор сильно лучше объектива, то потенциал сенсора не будет полностью реализован, а изображение будет нерезким – сенсор подчеркнёт все аберрации.
Если объектив и сенсор сочетаются оптимально, то и оптическая система работает в наилучшем режиме.

Как можно заметить, менее качественный компонент сочетаемой пары не только лимитирует суммарную разрешающую способность, но и способен превратить достоинство более сильной части в недостаток. При подборе компонентов для систем технического зрения желательно согласовывать объектив с сенсором.

Если один из компонентов заметно опережает по разрешающей способности второй, то в системе имеется запас по качеству. Этот запас рациональнее использовать не для подчёркивания недостатков более слабого компонента, а для усиления других параметров системы:

купить менее резкий, но более дешёвый объектив
использовать светочувствительный сенсор с крупными пикселями

и так далее.

Разрешение сенсора и размер его пикселя известны всегда, так что методика согласования полностью зависит от того, что известно о разрешающей способности объектива. Возможны три способа согласования, и каждый последующий менее точен, чем предыдущий:

Согласование по графику ЧКХ
Согласование по разрешающей способности в линиях на миллиметр
Согласование при отсутствии данных о разрешающей способности

Согласование по графику ЧКХ

Если для объектива известен график ЧКХ, то его согласование с сенсором оценивают по контрасту на частоте Найквиста из теории об��аботки сигналов. Как легко заметить по ФРТ, сечение изображения на сенсоре можно рассматривать как непрерывный график. Поэтому к оптическому изображению применимы классические принципы дискретизации и восстановления аналоговых сигналов.

Дискретизация аналогового изображения на пикселях сенсора

Частота Найквиста равна половине частоты дискретизации приёмника. Так, для сенсора с размером пикселя 5 мкм:

частота дискретизации самого сенсора: 1/0,005 = 200 лин/мм
частота Найквиста: 1/(2⋅0,005) = 100 лин/мм

Для оценки качества изображения применяют следующие эмпирические значения контраста на частоте Найквиста:

контраст 0,2 – приемлемое изображение
контраст 0,3 – хорошее изображение
контраст 0,4 и выше – отличное изображение

Разумеется, можно решать и обратную задачу: подбирать под желаемое качество изображения требуемый размер пикселя.

Сенсор характеризуется частотой Найквиста. Объектив – графиком ЧКХ. Анализ контраста на частоте Найквиста для разных угловых полей даёт понимание, какое качество изображения в каких зонах кадра даст соединение такого сенсора и такого объектива.

Пример:

Проанализировать согласование сенсора с размером пикселя 2,8 мкм и объектива Kowa LM50EC-IR F2.4/50 и оценить ожидаемое качество изображения этой комбинации.

Оценка контрастов на частоте Найквиста:

Частота Найквиста для сенсора равна: 1/(2⋅0,0028)=178 лин/мм. Контраст на этой частоте составляет:

на оптической оси: ~0,45
для расстояния 5,75 мм от центра: 0,46(T) и 0,29(S), среднее ~0,37
для расстояния 7,7 мм: 0,43(T) и 0,26(S), среднее ~0,35
на краю поля зрения объектива для расстояния 9,6 мм: ~0,42

Интерпретация контрастов:

На всём поле зрения качество изображения высокое: отличное в центре и на краях, близкое к отличному – в средней области кадра.
Если диагональ сенсора меньше 9,6 мм, то область с высоким контрастом на краю не будет использована. С этим придётся смириться. При необходимости это можно поправить некоторой подвижкой сенсора вдоль оптической оси, поскольку ЧКХ изменяется при дефокусировке.
Заметное расхождение кривых T и S для полей 5,75 и 7,7 свидетельствует о том, что разрешающая способность в разных направлениях различна (астигматизм и, возможно, кома в объективе). Кривая Т выше порога частоты Найквиста, кривая S ‒ ниже. Это означает, что размытие будет заметнее в одном из направлений. Пример такого эффекта показан на картинке «Изменение разрешающей способности в зависимости от направления штрихов», приведённой ранее.

Даже с учётом того, что ЧКХ реального объектива немного ниже расчётной, можно с уверенностью сказать, что такая комбинация объектива и сенсора даст хорошее и резкое изображение.

Пример:

Необходимо рассчитать все доступные параметры и оценить согласование оптической системы:

Камера с сенсором 1920×1080 (FullHD) и размером пикселя 4,5 мкм
Объектив с фокусным расстоянием 35 мм, для которого приведён график ЧКХ:

Согласование по полю:

Найдём размеры сенсора в миллиметрах: 1920⋅0,0045×1080⋅0,0045 = 8,64×4,86 мм
Найдём диагональ сенсора через теорему Пифагора: √[(8,642)+(4,862)] = 9,92 мм
Угловые поля на графике указаны в плоскости сенсора в мм. Половина диагонали сенсора: 9,92/2 = 4,96 мм. Самое большое допустимое поле для сенсора – 5,5 мм. Сенсор меньше допустимого поля и может работать с объективом без виньетирования

Согласование по разрешающей способности:

Найдём частоту Найквиста: 1/(2⋅0,0045) = 111 лин/мм
Найдём на графике контраст для центра сенсора (красная линия): ≈ 0,4
Интерполируем контраст для края сенсора: на графике приведены линии T и S для 4,4 мм (зелёные) и для 5,5 мм (синие). Контраст для 4,96 расположен примерно посередине между ними: ≈ 0,35
Учитываем, что в реальном объективе ЧКХ несколько ниже: 0,4⋅0,9 = 0,36; 0,35⋅0,9 = 0,315
Разница в разрешении в центре кадра и на самом краю: 0,4/0,315 = 1,27 ≈ 25%

Ответ:

Объектив и сенсор подходят друг другу и будут хорошо работать совместно. При их соединении получится хорошее качество изображения по всему полю со снижением резкости в краевых областях кадра на четверть от центральной области.

Анализировать согласование по полю не требуется, когда в спецификациях указан формат. Однако объективы не всегда корректно работают с самыми большими сенсорами из своей спецификации – производители умалчивают о коэффициенте виньетирования в такой паре.

По опыту, в системах технического зрения контраст на частоте Найквиста выше 0,2 часто оказывается достаточным. Требуемая резкость изображения должна выбираться рационально, исходя из специфики конкретной задачи.

Согласование по разрешающей способности

Разрешающая способность в линиях на миллиметр

Согласование по пределу разрешающей способности следует рассматривать как упрощённое, но менее точное использование метода согласования по ЧКХ. В отличие от линий графика ЧКХ, дающих однозначную связь между разрешающей способностью и контрастом, число линий на миллиметр – неточное значение (поскольку неизвестен контраст).

Если посмотреть несколько объективов, для которых приведены оба вида данных, то можно заметить, что разрешающая способность для разных объективов имеет несколько разный контраст:

объектив LM50JCM-WP – 120 лин/мм, контраст на оси 0,42
объектив LM8JCM-V – 120 лин/мм, контраст на оси 0,48
объектив LM12HC-V – 120 лин/мм, контраст на оси 0,39

При анализе разрешающей способности объектива по мире разные люди называют разные результаты, и потому иногда требуется минимум два наблюдателя и несколько измерений на каждого с последующим усреднением. Граница, до которой штрихи ещё видятся слитно, а после – раздельно, несколько субъективна. Потому и значения плавают: в отличие от ЧКХ с однозначной математикой расчёта, каждый производитель определяет предел разрешения по-разному – например, где-то смотрит человек, а где-то – уже алгоритм. Потому часто значения ровные, например, 100 или 120 лин/мм – они попросту округлены.

В качестве эмпирического значения можно считать, что разрешение в лин/мм указано для контраста 0,4 на оптической оси.

Объектив Юпитер-11 и его ЧКХ. Разрешающая способность по ТУ: 42 лин/мм – центр, 29 лин/мм – край кадра 24×36 мм

Кривая ЧКХ для осевого пучка в окрестностях указанного значения разрешающей способности в лин/мм часто близка к прямой линии, что можно использовать для оценки согласования.

Пример:

Необходимо оценить согласование объектива с разрешающей способностью на оптической оси 120 лин/мм и сенсора с пикселем 3,5 мкм.

Решение:

Отметим на пустом графике ЧКХ точку пересечения частоты 120 лин/мм и контраста 0,4
Проведём прямую линию между этой точкой и началом графика, получив тем самым интерполяцию по прямой
Зная, как примерно выглядят линии ЧКХ (слегка прогнутой вниз дугой), нарисуем приблизительную осевую линию графика ЧКХ
Найдём частоту Найквиста для 3,5 мкм: 1/(2⋅0,0035) = 143 лин/мм
Найдём контраст на частоте Найквиста для обеих линий: 0,28 и 0,34
Итоговый контраст на частоте Найквиста можно взять как среднее между этими двумя контрастами: (0,28+0,34)/2 = 0,31 ≈ 0,3

Ответ:

Объектив и сенсор будут хорошо работать друг с другом.

Дополнение:

Иногда разрешающая способность объектива указана в спецификации не прямо, а косвенно, через размер пикселя сенсора:

Указание разрешающей способности через размер пикселя

В этом случае предварительно необходимо перевести размер пикселя в разрешающую способность, а затем применять аналогичные вычисления. Так, разрешающая способность для объектива с картинки выше приблизительно равна:

$\frac{1}{2⋅0,00274}=182,5 ≈ 180(лин/мм)$

Если размер пикселя имеющегося сенсора не сильно отличается от размера пикселя в спецификации на объектив, то согласующий расчёт можно не проводить.

Согласование при отсутствии данных

Часто объективы, особенно дешёвые модели с маркетплейсов, не имеют никаких данных о разрешающей способности. В этом случае можно очень приблизительно оценить согласование следующим образом:

Разрешающая способность сенсора считается равной удвоенному шагу пикселей. Выше было показано, что чтобы различить две точки, необходимо иметь пустой пиксель между ними.
Разрешающая способность объектива считается по формуле 1,22λ/D и через фокусное расстояние переводится в количество линий на миллиметр в фокальной плоскости.
Полученные значения сравниваются.

Пример:

Необходимо оценить согласование объектива F4/200 и сенсора с пикселем 4 мкм.

Решение:

Найдём диаметр входного зрачка: 200/4 = 50 мм
Найдём угловой предел разрешения: 140ʺ/50 = 2,8ʺ = 0,00077°
Рассчитаем линейный предел разрешения в фокальной плоскости: 200⋅tg(0,00077°) = 0,0027 мм = 2,7 мкм
Рассчитаем пиксельную разрешающую способность сенсора: 4 мкм⋅2 = 8 мкм
Сравним разницу дифракционного и пиксельного разрешения: 8/2,7 = 2,96 ≈ 3^×

Интерпретация результатов:

Объектив по дифракционному пределу втрое выше, чем предел разрешения для сенсора. Однако следует заметить, что дифракционный предел – это верхняя граница, а реальные объективы могут разрешать заметно хуже. Расчётное значение линейного предела разрешения равно 2,7 мкм, но в реальности оно может быть и 3, и 4, и 5. Эмпирическая верхняя граница – удвоенный линейный предел (для нашего случая – 5,2 мкм).

Для более близкого к правде ответа необходимо оценить потенциальное качество объектива по внешним признакам:

К какому типу относится объектив? Объектив фотоаппарата или объектив технического зрения? Фотообъективы на оси близки к дифракционному пределу, а простые объективы техзрения с Алиэкспресса – далеко не всегда.
Какого года выпуска объектив? У старых объективов, рассчитанных в докомпьютерную эпоху, разрешающая способность ниже, чем у современных объективов того же класса.
Дорогой или дешёвый? У дорогих разрешения выше за счёт более точного изготовления деталей и сборки.
Какое у объектива угловое поле для максимального формата сенсора? Чем больше поле – тем дальше реальное разрешение на оптической оси от теоретического предела.
Известной марки или ноунейм? Известные производители следят за качеством продукции.

и так далее.

Такой анализ опирается на интуицию и опыт, относительно неточен и потому не может служить однозначным ответом. Однако он позволяет сориентировать с примерным ответом, а это всё же лучше, чем ничего.

Ответ:

Даже удвоенный дифракционный предел у объектива меньше пиксельного предела. Можно ожидать, что объектив хорошо соединится с сенсором. Возможен риск муара при наблюдении объектов, похожих на миры или сетки, если объектив резкий, а угловой размер мелких деталей на наблюдаемом объекте близок к пределу разрешения.

У этого способа есть два обязательных критерия. Способ подходит:

только для согласования при условии работы вдаль (на бесконечность)
только для объективов с фиксированным фокусным расстоянием

Если объектив не соответствует обоим этим критериям (например, куплен дешёвый трансфокатор с Алиэкспресса), то этот способ неприменим.

Частные случаи разрешающей способности

Некоторые задачи, связанные с разрешающей способностью, имеют характерные особенности. Их можно вывести из информации, упомянутой ранее, но проще разобрать ряд частных случаев отдельно, нежели надеяться, что читатель выведет их сам.

Разрешающая способность на близком расстоянии

При тестировании объективов часто встречается следующая ошибка: тестовую миру скачивают из интернета, распечатывают, вешают на стену, фокусируются на ней объективом и оценивают разрешающую способность.

Ошибка в том, что объектив работает не в оптимальном режиме. Подавляющее число объективов рассчитано для работы на бесконечность. Да, они имеют перефокусировку на конечное расстояние, но это не то состояние, на которое производился аберрационный расчёт. На конечном расстоянии ЧКХ объектива ниже. Снижение небольшое, но поскольку разрешающая способность ‒ всегда предельное значение, итоговое разрешение становится меньше, особенно на краях кадра:

Падение ЧКХ при фокусировке на конечное расстояние

Именно по этой причине в оптических лабораториях измерение разрешающей способности производят на коллиматорах ‒ они создают искусственную бесконечность.

Измерение разрешающей способности на бесконечности и на конечном расстоянии

Существует отдельная малочисленная группа объективов, специально рассчитанных для работы на конечное расстояние. Такие объективы применяются в промышленности для задач, где требуется максимальная резкость именно на близком расстоянии ‒ например, контроль печатных плат:

Объектив Kowa LM35LF. Поскольку объектив предназначен для работы на конечное расстояние, поле зрения указано в миллиметрах, а не в углах:

ЧКХ объектива Kowa LM35LF, рассчитанная для конечного расстояния 1000 мм. WD ‒ working distance — ЧКХ объектива Kowa LM35LF, рассчитанная для конечного расстояния 1000 мм. WD ‒ *working distance*

Обратите внимание на большой размах между графиками для астигматических сечений T и S в объективе Kowa LM35LF Line Scan. Этот объектив предназначен для работы с линейным сенсором (сенсоры с разрешением вида 1×2048). Такие сенсоры имеют только одну рабочую координату вместо двух, и при расчёте объектива специально увеличена разрешающая способность для рабочего сечения T (вдоль линейного массива пикселей) за счёт снижения разрешающей способности в нерабочем сечении S (поперёк линейного массива пикселей):

Перераспределение астигматизма между сечениями T и S для использования совместно с линейным сенсором

Также существуют объективы, которые конструкционно не фокусируются на бесконечность. Обычно это объективы для работы на близком расстоянии с большим увеличением:

Объектив для работы только на конечном расстоянии

Чаще всего для прикладных задач используются обычные объективы, перефокусированные на конечное расстояние. В этом случае, даже при наличии графиков ЧКХ, следует помнить, что такие графики рассчитываются для «базового» состояния объектива, а оно практически всегда подразумевает фокусировку на бесконечность. При использовании такого объектива на близкое расстояние следует помнить, что ЧКХ будет немного ниже.

Если всё-таки приходится работать с мирой на конечном расстоянии, то желательно распечатать её побольше и отнести от объектива подальше. Как показано в первой статье, зависимость перефокусировки (z′) от расстояния до объекта (a) квадратичная, так что падение качества изображения на относительно больших расстояниях незаметно.

Чем меньше фокусное расстояние, тем короче дистанция, на которой можно работать с распечатанной мирой. Длиннофокусные объективы однозначно требуют коллиматоров, тогда как короткофокусным может хватить пары-тройки метров, чтобы достигнуть практической бесконечности.

Разрешающая способность микроскопов

Разрешающая способность объективов микроскопов (микрообъективов) также определяется дифракцией, но иначе. Предел разрешения микрообъектива указывают не в плоскости изображения, как у обычных объективов, а в плоскости предмета:

Предел разрешения микроскопа в предметной плоскости

При подборе объектива для микроскопа часто заранее известен минимальный размер, который необходимо рассмотреть. Потому для удобства выбора предел разрешения микрообъективов сразу указывается в предметной плоскости.

Предел разрешения микрообъектива – размер ∆ – рассчитывается по формуле: ∆=λ/2A, где А – числовая апертура микрообъектива, указанная непосредственно на нём.

Пример:

Рассчитать минимальный шаг штриховой миры, которую ещё сможет различить микрообъектив с числовой апертурой 0.55

Решение:

$∆=\frac{λ}{2A}=\frac{0,55}{2⋅0,55}=\frac{1}{2}=0,5(мкм)$

Ответ:

Минимально различимый шаг штрихов миры – 0,5 мкм.

Параметры микрообъектива 50X Mitutoyo #87-229

В теории разрешающей способности микроскопа множество тонкостей, но они выходят далеко за рамки данной статьи. Формула ∆=λ/2A удобна для оценки потенциальной разрешающей способности микрообъективов, на которые нет документов.

Интересный факт

Чтобы повысить разрешающую способность микроскопа, необходимо увеличить числовую апертуру. Она определяется формулой A = n⋅sin(α), где n – показатель преломления среды между объектом и микрообъективом, α – передний апертурный угол (светотехнический аналог диафрагменного числа для конечных расстояний). Если капнуть на объект наблюдения жидкость с высоким показателем преломления (иммерсионную жидкость) и окунуть в неё специальный иммерсионный объектив, то можно повысить числовую апертуру до значений, недостижимых в воздухе. Это привело к появлению иммерсионной микроскопии (от англ. immersion – погружение).

Разрешающая способность тепловизоров

Тепловизионная оптика имеет два ключевых отличия:

Тепловизоры работают на больших длинах волн: до 12–14 мкм. В соответствии с формулой ψ = 1,22λ/D, при увеличении длины волны λ во столько же раз увеличивается угловой предел разрешения ψ.
Высокий показатель преломления и низкая дисперсия германия (основного материала для тепловизионных линз), а также возможность изготовления асферических поверхностей свободного профиля и киноформов позволяют получать объективы с малыми аберрациями:

ЧКХ дешёвого тепловизионного объектива F1.0/10. ЧКХ в центре кадра близка к дифракционному пределу

ЧКХ рассчитанного в моём отделе тепловизионного двухлинзового объектива F0,95/100 мм с асферической линзой и киноформом. Такой объектив фактически безаберрационный на всём поле зрения

Из-за того, что разрешающая способность тепловизионной оптики ограничена дифракцией, в таких объективах стараются максимально повысить диафрагменное число ‒ благо, технологии и оптические характеристики материалов это позволяют. Тепловизионные трансфокаторы доходят до #F1.2, а объективы с фиксированным фокусным расстоянием имеют #F1, #F0.9 и даже выше.

Самые распространённые размеры пикселей для тепловизоров ‒ 17 и 12 мкм. Если рассчитать радиус диска Эйри, то обнаружится, что он соизмерим с шагом пикселя: так, для объектива #F1 и длины волны 10 мкм (середина дальнего ИК диапазона) радиус диска Эйри равен 12,2 мкм. При этом, как мы помним, для разрешения двух точек необходимо три пикселя. Получаем:

пиксельный предел разрешения для 17 мкм: 36 мкм
пиксельный предел разрешения для 12 мкм: 24 мкм
предел разрешения по критерию Рэлея: 12,2 мкм

Пиксельный предел разрешения заметно хуже дифракционного. Вспоминаем совет из главы «Сравнение двух подходов»:

При решении конкретной задачи полезно рассчитать оба предела разрешения и опираться на худший из них (так как именно он будет лимитировать фактическое разрешение).

Следовательно, разрешающую способность тепловизоров следует рассчитывать по пикселям и фокусному расстоянию.

Разрешающая способность и нейросети

При использовании нейросетей для поиска и распознавания объектов на оптическую систему часто накладывается требование: размер изображения на сенсоре должен составлять не менее конкретного количества пикселей. Под это требование при имеющемся сенсоре рассчитывается необходимое фокусное расстояние объектива (пример расчёта).

В этой относительно простой ситуации есть подводный камень, аналогичный упомянутому в разделе про разрешающую способность по пикселям и фокусному расстоянию. Такой расчёт предполагает безаберрационность объектива, в то время как реальные объективы имеют заметные аберрации.

Чаще всего такая ситуация возникает при наблюдении на большие расстояния. Процесс работы выглядит так:

Расчёт даёт требование фокусного расстояния в сотни миллиметров
Под эту задачу ищется объектив
Обнаруживается, что с таким фокусным расстоянием доступны лишь трансфокаторы
Покупается трансфокатор. В целях экономии берётся что подешевле (условный Алиэкспресс)
Обнаруживается, что качество изображения трансфокатора неудовлетворительное: при формальном выполнении условия размера в пикселях изображение плохое
Нейросеть, обученная на выборке хороших фотографий, не может распознать получаемое изображение

Отсюда следует два вывода, неоднократно подтвердившие себя на практике:

Необходимо следить, чтобы объектив был достаточно резкий для решаемой задачи (контраст не менее 0,2 на частоте Найквиста).
Нейросеть должна обучаться на картинках схожего качества (качество изображений в обучающей выборке должно быть близким к тому, которое даёт объектив). В идеале стоит собирать датасет непосредственно при помощи используемого объектива.

Наблюдение реальных объектов

Пока мы говорили про разрешающую способность в контексте миры и производной от неё ЧКХ, что накладывало два фактора, отличающие эти условия от реальных:

Мира имеет форму заранее известной геометрии, оптимальную для распознавания. В реальных условиях надо рассматривать самые разные объекты: дефекты печатных плат, автомобильные номера, лица людей.
Мира имеет абсолютный контраст. Даже формально чёрно-белые автомобильные номера в реальных условиях имеют контраст ниже в условиях слабой освещённости, запыления и т.д.

В чистом виде разрешающая способность применима для весьма узкого круга задач, объекты наблюдения в которых достаточно контрастны и просты. Из примеров можно вспомнить астрономию (наблюдение двойных звёзд, рассматривание каньонов на Луне) или промышленные камеры (чтение штрих- и QR-кодов, детектирование дефектов металлопроката). В таком случае можно напрямую решать задачу методами, приведёнными выше в статье.

Однако значительная часть задач технического зрения требует подбора оптики для более сложных ситуаций. Классический пример ‒ чтение грязных номеров автомашин дорожной камерой. При этом сам автомобильный номер ‒ простой для распознавания объект, который в хороших условиях наблюдения можно рассматривать как миру. Часто требуется работать с намного более сложными объектами, например, теми же лицами. Лицо настолько непохоже на миру, что простые методы расчёта предела разрешения бессильны.

Чем сложнее объект, чем запутаннее фон, на котором объект наблюдается, и чем меньше между ними различий ‒ тем сложнее становится подбор оптики. Детектировать покупателя на входе магазина и обнаружить солдата в камуфляже на фоне кустов ‒ принципиально разные задачи.

По теме обнаружения и распознавания сложных объектов написано множество статей и защищено немало диссертаций. К сожалению, единой методики расчёта не существует. Каждую конкретную задачу необходимо решать творчески, прикладывая оптические знания и практический опыт к конкретной ситуации.

Ниже я дам несколько общих рекоме��даций, позволяющих подбирать оптику чуть более осознанно.

Обнаружение, распознавание и идентификация

Из военного дела в оптику пришла трёхступенчатая классификация по трём событиям:

Обнаружение ‒ выделение пятна, соответствующего объекту, на окружающем фоне. Пример: на дороге появилось что-то движущееся.
Распознавание ‒ отнесение обнаруженного объекта к определенному классу. Пример: понимание, что на дороге грузовик, автобус или танк.
Идентификация ‒ однозначное отнесение обнаруженного объекта к определенному типу внутри класса. Пример: определение модели танка и его принадлежности к той либо другой стороне конфликта.

Комментарий-дополнение от одного из наших программистов:
Сразу скажу – я понимаю, что эти события описываются с другого ракурса, но тем не менее обозначу, что между собой мы называем их несколько иначе.
То, что здесь называется обнаружением, мы называем локализацией. Локализация объекта на изображении – определение его границ (выделение пятна на фоне).
То, что здесь называется распознаванием, мы называем классификацией. Буквально – отнесение обнаруженного объекта к определенному классу.
То, что здесь называется идентификацией, мы называем распознаванием. Эта задача смежна с классификацией, потому что в теории нам ничего не мешает сделать эти подклассы такими же классами.
Ещё мы используем термин детектирование – это локализация + классификация. Современные нейросетевые детекторы находят объект, обводят его в рамку и сразу присваивают ему класс.

При наблюдении сложных объектов дополнительно говорят о вероятности обнаружения, распознавания и идентификации. Иногда требования о вероятности конкретного события непосредственно вписывают в техническое задание.

При использовании нейросетей к вероятности события добавляется уверенность (confidence score). Этот параметр указывает, с какой вероятностью нейросеть считает, что опознала объект правильно. Дополнительно могут нормироваться вероятность ложноположительных и ложноотрицательных срабатываний.

В зависимости от типа задачи выбирается необходимое событие. Примеры:

Система охраны воздушного пространства аэропорта. Требуемое событие ‒ обнаружение. Необходимо подать сигнал тревоги, когда в охраняемой зоне появился неучтённый летающий объект ‒ и не так уж важно, это квадрокоптер, жирный гусь или случайно занесённый ветром оторванный воздушный змей. Рационально остановиться на обнаружении и за счёт этого увеличить поле зрения оптической системы, а распознавание и идентификацию вынести на другой объектив.
Система охраны границы или периметра. Требуемое событие ‒ распознавание. Человек или лось у забора вызывают принципиально разные сценарии реагирования.
Бесконтактная СКУД с доступом по фотографии лица. Требуемое событие – идентификация. Необходимо достаточное качество ключевых элементов лица, чтобы отличить одного человека от другого.

Для каждого события дополнительно назначаются минимальная требуемая вероятность и, при необходимости, уверенность.

Иногда добавляют дополнительные события. Система классификации ‒ не догма, при необходимости её адаптируют под конкретную задачу. Её предназначение ‒ точнее сформировать требования к оптической системе.

Критерий Джонсона

Количество штрихов на размер цели. Иллюстрация из оригинальной работы Джонсона Analysis of image forming systems, 1958. — Количество штрихов на размер цели. Иллюстрация из оригинальной работы Джонсона *Analysis of image forming systems, 1958.*

В середине XX века исследователь Джон Джонсон из подразделения приборов ночного видения армии США провёл ряд полевых испытаний по наблюдению добровольцами различных объектов в ПНВ, и статистически их обобщил. В результате он определил необходимое количество штрихов эквивалентной миры на размере цели, требуемое для обнаружения, распознавания и идентификации с вероятностью 0,5:

Обнаружение: 1 ± 0,25 штриха
Ориентация в пространстве: 1,4 ± 0,35 штриха
Распознавание: 4 ± 0,8 штриха
Идентификация: 6,4 ± 1,5 штриха

Впоследствии эти значения были откорректированы и округлены, в результате чего появился так называемый критерий Джонсона:

Для вероятности 0,5 необходимое число штрихов на изображении составляет:

Обнаружение: 1
Распознавание: 4
Идентификация: 8

Поскольку размеры изображений измерялись в штрихах миры (парах линий), при переходе к пикселям число умножилось на два. Пара штрихов из чёрного и белого штрихов превратилась в пару из тёмного и светлого пикселей.

Для вероятности 0,5 необходимое число пикселей на ключевом размере изображения составляет:

Обнаружение: 2 px
Распознавание: 8 px
Идентификация: 16 px

Однако вероятность 0,5 для обнаружения можно заменить броском монеты. Для пересчёта на более высокую вероятность вывели эмпирические множители:

Вероятность восприятия	1,0	0,95	0,8	0,5	0,3	0,1	0,02	0
Множитель	3,0	2,0	1,5	1,0	0,75	0,5	0,25	0

Прямое применение критерия Джонсона простое. Зная размер объекта, необходимый размер изображения в пикселях и размер пикселя, по требуемой дистанции наблюдения можно вычислить необходимое фокусное расстояние ‒ и наоборот.

Критерий Джонсона очень любят заказчики, производители и поставщики оптики, поскольку он подкупает своей простотой. Однако эта простота обманчива: как и у разрешающей способности по пикселям и фокусному расстоянию, необходимо учитывать ряд нюансов:

В современных источниках требуемое количество пикселей для каждого события разнится, при этом вероятность не указывают, что открывает поле для спекуляций (особенно в рекламе).
Ключевой размер изображения, на котором считается необходимое количество пикселей, каждый назначает как хочет. Сам Джонсон, судя по всему, использовал минимальный габарит, тогда как сейчас чаще встречается диагональный размер (квадратный корень из суммы квадратов ширины и высоты).
Не учитывается сложность наблюдаемой сцены: количество отвлекающих факторов и нецелевых объектов в поле зрения.
Не учитываются особенности самой цели: количество и размеры ключевых характеристик, влияющих на распознавание и идентификацию. Так, в одной из статей, подвергшей критике критерий Джонсона, отмечается его непригодность для некоторых морских целей по причине того, что значительная часть площади корабля не имеет характерных особенностей и не помогает в распознавании.
Не учитывается контраст цели на фоне. У самого Джонсона в работе много посвящено контрасту и отношению сигнал/шум в контексте экспериментов, тогда как в расчётах по критерию Джонсона контраст во внимание не принимается.
Не учитывается качество объектива (ЧКХ) в плане разрешения мелких деталей, хотя количество требуемых штрихов по критерию Джонсона мало. Если изображение размыто до состояния пятна, то неважно, сколько пикселей оно занимает ‒ возможно лишь обнаружение.
В оригинальном эксперименте объекты наблюдались через ПНВ образца 50х годов. Сейчас критерий переносят на любую оптику без учёта того, что особенности изображения там могут быть иными. Например, в тепловидении иногда важнее температурный контраст, нежели размер в пикселях.
Эксперименты с нейросетями показали, что для их использования с приемлемой вероятностью и уверенностью требуется значительно большее количество пикселей. При этом нейросети распознают многие паттерны лучше людей.
Не учитывается атмосфера и её влияние. Распознать цель в ясный день и в дождь ‒ задачи принципиально разной сложности.

Критерий Джонсона не учитывает эти и многие другие факторы, и потому фактически не подходит для достоверной оценки требуемых параметров оптической системы и может служить лишь стартовой точкой. Для реального решения задачи количество пикселей, которое должно умещаться на изображении, следует подбирать индивидуально. В большей части случаев коммерческого технического зрения это проще всего определить через натурные испытания.

Критерий Джонсона был сформулирован почти 70 лет назад и к настоящему моменту объективно устарел. На протяжении долгого времени его тем или иным способом пытаются улучшить. Обычно улучшение производят добавлением учёта факторов из списка выше (и не только), смоделированных сложной математикой. Например, дальности обнаружения объекта на неоднородном поле теплового излучения фона определяется по формуле:

$l_0^{(н)}=\frac{\left[ΔT_{раз}f′r_{Σ}(𝜈)(T_ef_k)^\frac{1}{2}×\left(\frac{d}{f′}\right)^2hD^*\right]⋅\int_{λ_1}^{λ^2}𝑆(λ)\tau_o(λ)\tau_a(λ)\left[ε(λ)A(λ,T(x,y),\overline{T})+ε_ф(λ)A_ф(λ,T_ф(x,y),\overline{T_ф}\right]dλ}{{6\sqrt{2}\alpha\beta\sqrt{Δf_R}N⋅mk_э\left[1+K^2(\overline{Ф}_ф)+K_ф^2I_ф^2\right]}^\frac{1}{2}}$

Источник

Новиков С.Н., Поликанин А.Н. Методика расчета дальности действия тепловизора на основе объединенных параметров температурной чувствительности и разрешения // Труды учебных заведений связи. 2019. Т. 5. № 4. С. 6–14. DOI:10.31854/1813-324X-2019-5-4-6-14

Иногда этот неслабый математический аппарат упаковывают в соответствующий софт, который по исходным данным позволяет рассчитать требуемые характеристики оптической системы. Искать такой софт бесполезно, из-за дороговизны разработки и очевидного двойного назначения доступ к нему закрыт. Этот софт лишь изредка упоминается в оптических статьях, но само его существование служит наглядной иллюстрацией, насколько далеко шагнул мир со времён критерия Джонсона.

Снижение разрешающей способности

Напоследок стоит упомянуть несколько причин, которые снижают разрешающую способность и при этом часто встречаются на практике. Иногда разработчик может сам себе подпортить разрешение и даже не заметить этого.

Как многократно упомянуто в статье, разрешающая способность объективов зависит от контраста – как на частоте Найквиста, так и на средних частотах. Уменьшение контраста приводит к падению разрешающей способности.

Контраст можно снизить двумя путями – либо добавить паразитный свет тёмным областям, либо затенить светлые. Большинство способов этого раздела завязаны на один из этих двух путей.

Френелевское отражение

При прохождении света через границу двух сред с разными показателями преломления часть света отражается от границы. Это явление называется френелевское отражение, так как параметры отражённого и проходящего света описываются формулами Френеля. В случае перпендикулярного (или близкого к нему) падения лучей количество прошедшего света определяется по формуле:

$F_\bot=\left(\frac{n-1}{n+1}\right)^{2}F_0$

F₀ – падающий световой поток
n – показатель преломления стекла (в среднем n = 1,5...1,5)

��ля борьбы со световыми потерями на границе воздух–стекло применяют просветляющие покрытия. На оптическую деталь в вакууме напыляется последовательность тонких плёнок, в которых происходит интерференция. Толщина и состав плёнок подбираются так, чтобы световые волны, отражённые от двух поверхностей слоёв, интерферировали и гасили друг друга. В результате световая энергия не может отразиться и присоединяется к световому потоку, который проходит сквозь границу сред.

Световые покрытия, просветлённые на одну длину волны, имеют остаточный окрас, противоположный пропускаемой длине волны в цветовом круге. Так, первые просветляющие покрытия зрительных труб имели красновато-малиновый отблеск (1) за счёт того, что просветлялись на желто-зелёную длину волны 0,55 мкм (2), пик цветовой чувствительности глаза:

Современные многослойные просветляющие покрытия практически не имеют остаточного окраса и выглядят полностью прозрачными, особенно на плоских оптических деталях.

Снижение разрешающей способности может возникнуть, если оптическую систему закрыть самодельным защитным стеклом без покрытия. При перпендикулярном падении на границе сред теряется в среднем ~5% светового потока. Следовательно, при добавлении к объективу непросветленного защитного стекла теряется по 5% на каждой границе воздух–стекло, что снижает количество прошедшего света на ~10% (0,95⋅0,95 ≈ 0,9).

Ещё сильнее ситуация ухудшается, когда защитное стекло сильно наклоняют относительно оптической оси. Зависимость коэффициента отражения от угла падения нелинейна. Примерно до 42° он слабо отличается от коэффициента для перпендикулярного падения, а потом начинает быстро расти:

Зависимость коэффициента отражения от угла падения лучей. Две кривые – разложение света после отражения на поляризационные составляющие

Интересный факт

Такая зависимость приводит к тому, что на больших углах падения стёкла работают почти как зеркала, что можно наблюдать, например, на витринах магазинов.

Просветление работает в конкретном спектральном диапазоне. Защитное стекло с просветлением на 1,5 мкм может пропускать в видимом диапазоне даже хуже, чем стекло без просветляющего покрытия.

Параметры просветлённого защитного стекла. Указаны рабочий спектральный диапазон и остаточный коэффициент отражения (R – reflection) — Параметры просветлённого защитного стекла. Указаны рабочий спектральный диапазон и остаточный коэффициент отражения (R – *reflection*)

Во многих случаях световые потери на отражение могут быть компенсированы камерой. Но в условиях слабой освещённости потеря даже 10% может стать критичной.

Отсюда следуют два практических вывода, как не снизить разрешающую способность (и общее качество изображения) в случае слабой освещённости:

Не использовать защитные стёкла без просветления или с просветлением на нерабочий оптический диапазон.
Если необходимо наблюдать сквозь стекло, то следует стремиться минимизировать угол между плоскостью стекла и оптической осью объектива.

Светорассеяние

Проблема светорассеяния важна прежде всего для оптиков-конструкторов, но программистам также полезно её учитывать. При попадании в объектив интенсивного светового потока или боковой засветки возникают многократные переотражения от поверхностей линз и внутренних стенок оправ. Этот паразитный свет, достигая сенсора, существенно снижает контраст изображения:

Один и тот же объектив с паразитным светом и без

При разработке системы технического зрения необходимо следить, чтобы световой поток, попадающий в объектив, не был слишком сильным, а в поле зрения или около него не находились яркие источники света.

Частично эту проблему решают экранирующие бленды.

Разъюстировка

При длительной эксплуатации трансфокаторов со временем могут стереться и уменьшиться в диаметре скользящие втулки направляющих штифтов (коллары). Это нарушает центрировку объектива. Децентрировки и наклоны линз – одни из самых сильных факторов, снижающих качество изображения. Даже небольшой перекос оправы может вызвать заметное падение резкости и необычные оптические эффекты вроде комы на оптической оси.

Замена изношенных втулок на направляющих штифтах. Кадр из видео

Также серьёзные поломки, такие как люфт направляющих штифтов или трещины в оправах, могут произойти даже при однократном ударе по объективу – например, при его падении. Особенность внутренних поломок в том, что снаружи объектив может казаться целым, но резкость и, следовательно, разрешающая способность у него упали. Объектив придётся заменить или сдать в ремонт.

Резкость на краю до удара и после. Кадры из видео

Объективы, особенно оснащённые внутренними подвижными элементами, требуют бережного обращения. После любых ударов необходимо не ограничиваться внешним осмотром, а провести полную проверку работоспособности и качества изображения.

Атмосфера

Окна прозрачности атмосферы. К ним привязаны оптические диапазоны

Существует причина падения разрешающей способности, очевидная на уровне ошибки выжившего, но про которую иногда забывают: атмосфера неидеальна. При разработке уличных и полевых оптических систем этот фактор всегда надо держать в уме ‒ при больших дистанциях он становится критичным.

Даже идеально чистый воздух не абсолютно прозрачен. Световой поток ослабляется в зависимости от дистанции согласно формуле:

$F=F_0\cdot e^{–αl}$

F₀ – исходный световой поток
α – коэффициент поглощения
l – расстояние до объекта

Атмосферные явления также заметно снижают качество и дальность работы оптики.

Таблица ‒ Метеорологическая дальность видимости:

Кодовый номер	Погодные условия	Дальность видимости, м
0	Плотный туман	менее 50
1	Густой туман	50…200
2	Туман	200…500
3	Лёгкий туман	500…1000
4	Слабый туман	1000…2000
5	Дымка	2000…4000
6	Лёгкая дымка	10 000
7	Ясно	20 000
8	Очень ясно	50 000
9	Совершенно ясно	свыше 50 000

Также в атмосфере присутствуют области с разной температурой воздуха, а с изменением температуры меняется и показатель преломления. Этот эффект называют атмосферной рефракцией. К ней добавляется турбулентность атмосферы, которая перемещает разнотемпературные области воздуха. В итоге наблюдается дрожание далёких изображений, особенно заметное на длиннофокусных объективах.

Интересный факт

Этот эффект можно наблюдать невооружённым глазом, если в мороз приоткрыть окно и смотреть через щель. На стыке холодного и тёплого воздуха возникнет подвижный градиент показателя преломления, и изображение начнёт дрожать.

Миражи и фата-морганы – также следствие атмосферной рефракции.

Реальная разрешающая способность в полевых условиях может быть в разы меньше расчётной или экспериментально измеренной в лаборатории. Часть светового потока, несущая информацию об объекте, попросту исчезнет в атмосфере.

Тезисы (стоит запомнить)

Разрешающая способность оптической системы является сочетанием разрешающей способности объектива и разрешающей спос��бности сенсора.
Даже идеальный объектив изображает бесконечно малую точку как дифракционную картину (диск Эйри) конечного размера.
Теоретический предел разрешения объектива определяется дифракцией и зависит от диаметра входного зрачка и длины волны света. От фокусного расстояния объектива теоретический предел не зависит.
Предел углового разрешения объектива для видимого диапазона можно рассчитать по формуле: ψ = 140"/D, для остальных оптических диапазонов – по формуле ψ = 1,22λ/D.
Формула теоретического предела хорошо соответствует реальному пределу разрешения только для объективов с малыми аберрациями и только вблизи оптической оси. Во всех остальных случаях её стоит воспринимать лишь как непреодолимое граничное значение.
При расчёте разрешающей способности по пикселям и фокусному расстоянию следует учитывать нюансы, перечисленные в статье. Сильнее всего влияют аберрации, из-за которых реальное разрешение объектива может быть в несколько раз ниже, чем рассчитанное через пиксели.
При расчёте предела разрешения полезно сравнить дифракционный и пиксельный пределы и опираться на тот, который даёт худший результат.
Лучший способ оценить качество объектива для технического зрения ‒ частотно-контрастная характеристика (ЧКХ).
Реальную разрешающую способность объективов измеряют по мирам на коллиматорах или на установках для измерения ЧКХ. Можно использовать и распечатанные миры, но они должны располагаться на достаточном расстоянии от объектива.
При согласовании объектива с сенсором следует оценивать контраст на частоте Найквиста.
При наблюдении миры или иного мелкоструктурного объекта через объектив с камерой часто появляется муар.
Разрешающую способность тепловизоров следует оценивать по пиксельному пределу.
При наблюдении реальных объектов отдельно оценивают обнаружение, распознавание и идентификацию, а также вероятности этих событий. Для оценки часто используют критерий Джонсона, но он применим лишь как стартовая точка. Гарантированный результат дают только полевые испытания.
При работе на дальних дистанциях следует учитывать влияние атмосферы.

Дополнительная литература

В.Н. Чуриловский, Теория оптических приборов, 1966 – фундаментальное пособие по прикладной оптике (несколько устаревшее, но теория описана хорошо).
Д.Д. Максутов, Астрономическая оптика, 1979 – в этой книге дифракция расписана простым и понятным языком, но в основном в контексте астрономии.
Smith, W. J., Modern Optical Engineering, 2000 – фундаментальное пособие по оптике на английском языке, достаточно простое (проще, чем Чуриловский).
Nasse, H. H., How to Read MTF Curves, 2008.
Johnson, J. Analysis of image forming systems, 1958.

Все вышеуказанные источники описывают дифракцию и дифракционный предел разрешения. Комплексного пособия по разрешающей способности в целом я за свою жизнь так и не нашёл. Пришлось написать самому.