Основы оптического потока в ML: от первых принципов к уравнениям Лукаса-Канаде и Хорна-Шанка

Аннотация

Настоящая статья представляет собой развернутое исследование, посвященное систематическому изучению классических алгоритмов оценки оптического потока — фундаментальной задачи компьютерного зрения. Основной целью работы является последовательный и строгий вывод ключевых методов, начиная от базовых физических постулатов и заканчивая завершенными, готовыми к реализации математическими моделями. В центре внимания находится уравнение ограничения оптического потока, выводимое из краеугольного предположения о постоянстве яркости, и два основополагающих, принципиально различных подхода к решению этой недоопределенной задачи: локальный метод Лукаса-Канаде, основанный на предположении о пространственной согласованности потока в малой окрестности, и глобальный метод Хорна-Шанка, вводящий условие плавности (гладкости) потока в виде регуляризирующего функционала. Подробно анализируются теоретические основания каждого подхода, их математический аппарат, включая вывод и решение соответствующих систем уравнений, а также проводится сравнительный анализ их сильных сторон и присущих им фундаментальных ограничений, таких как проблема апертуры и чувствительность к нарушениям исходных предположений.

Практическая значимость и верификация теоретических положений исследования обеспечиваются детальной численной реализацией обоих алгоритмов в среде MATLAB. Экспериментальная часть включает генерацию и обработку синтетических последовательностей с заведомо известным вектором движения для объективной количественной оценки точности, а также тестирование на реальных видеоданных для анализа устойчивости в условиях шумов, изменений освещенности и текстуры. Проведенное сравнение визуализирует ключевые различия в характере получаемых полей потока (разреженное против плотного), оценивает вычислительную эффективность и робастность методов в различных сценариях.

В заключительной части работы обосновывается тезис о непреходящей актуальности рассмотренных классических подходов. Доказывается, что, несмотря на революционное развитие глубоких нейросетевых архитектур для оценки оптического потока, понимание принципов, математической сущности и ограничений методов Лукаса-Канаде и Хорна-Шанка остается критически важным. Эти методы формируют концептуальную и математическую основу, необходимую как для корректной интерпретации и усовершенствования современных data-driven моделей, часто использующих классические постулаты в функциях потерь, так и для разработки новых гибридных и эффективных решений в широком спектре задач компьютерного зрения, робототехники и анализа видео.

Введение.

Начнем с понятия оптического потока .Оптический поток (ОП) определяется как двумерное векторное поле, видимое наблюдателем, которое характеризует кажущееся перемещение яркостных паттернов, поверхностей или границ объектов в последовательности изображений. Это понятие принципиально отличается от реального, физического движения объектов в трехмерном пространстве. Оптический поток является проекцией трехмерных движений на плоскость изображения и может возникать не только из-за перемещения объектов, но и вследствие движения камеры, изменения условий освещения или геометрических искажений. Таким образом, задача оценки оптического потока — это задача интерпретации изменений в двумерном сигнале (изображении), а не прямая регистрация трехмерной траектории. Это различие лежит в основе фундаментальной неоднозначности проблемы.

Алгоритмы оценки оптического потока находят широкое применение в современных технологиях, являясь критически важным компонентом для анализа динамических сцен. Ключевые области применения включают:

• Отслеживание объектов и трекинг: Построение траекторий движущихся объектов в видеопотоке.

• Компенсация движения (Motion Compensation): Повышение эффективности видеокодирования и стабилизация видео.

• Стереозрение и восстановление 3D-структуры: Анализ перемещений для определения глубины и рельефа сцены.

• Робототехника и автономное вождение: Навигация, оценка собственного движения (EGOMOTION), обнаружение препятствий и планирование траектории.

• Анализ действий и распознавание активности: Выделение паттернов движения для классификации действий человека.

• Входные признаки для нейронных сетей: Плотные поля оптического потока служат мощным дескриптором динамики сцены, используемым в качестве входных данных для современных архитектур глубокого обучения в задачах сегментации видео, прогнозирования и детекции аномалий.

Математическая задача оценки оптического потока является некорректно поставленной (ill-posed) в смысле Адамара. Основное уравнение, связывающее изменения яркости с компонентами вектора скорости, предоставляет лишь одно ограничение на два неизвестных (горизонтальную и вертикальную составляющие вектора потока u и v) в каждой точке изображения. Это приводит к так называемой проблеме апертуры: локально, внутри малой апертуры, можно определить только компонент движения вдоль градиента яркости, но не перпендикулярно ему (нормальный поток). Таким образом, для получения единственного и устойчивого решения в каждой точке требуется привлечение дополнительных, априорных предположений о природе искомого векторного поля. Разработка, формализация и эффективная реализация этих предположений составляют суть классических методов.

Целью данной работы является строгое и последовательное изложение основ классических методов оценки оптического потока, от исходных физических гипотез до пригодных для практической реализации математических моделей. Статья преследует задачу не только представить конечные уравнения, но и детально вывести их, раскрывая логику преодоления принципиальной неоднозначности задачи. Основное внимание уделяется двум исторически значимым и концептуально различным подходам: локальному методу Лукаса-Канаде (1981) и глобальному методу Хорна-Шанка (1981). Их теоретический анализ подкрепляется практической верификацией: в среде MATLAB реализуются численные схемы обоих методов, проводится их тестирование на синтетических и реальных данных с последующим сравнительным анализом точности, устойчивости и вычислительной сложности. Структура статьи отражает эту логику: после введения и вывода основного уравнения ограничения, подробно рассматривается каждый из двух методов, затем следует описание практической реализации и экспериментов, и, наконец, обсуждается связь классических подходов с современными методами машинного обучения.

Начнем с предположение о постоянстве яркости (Brightness Constancy Constraint - BCC).

Краеугольным камнем большинства классических методов оценки оптического потока является гипотеза о постоянстве яркости. Она постулирует, что интенсивность или яркость некоторой точки трехмерной сцены, проецируемой в пиксель с координатами (x, y), не изменяется в течение малого промежутка времени при её перемещении между последовательными кадрами.

Это предположение следует рассматривать как локальную аппроксимацию более сложных физических процессов. Оно справедливо при соблюдении ряда условий: малые перемещения объекта или камеры, отсутствие окклюзий (когда одна часть сцены перекрывает другую) и существенных изменений освещенности в самой сцене. Фактически, оно утверждает, что наблюдаемое изменение яркости пикселя вызвано исключительно движением, а не изменением свойств самой поверхности или освещения.

Математически это фундаментальное предположение записывается следующим уравнением:

Примечание к формуле (1): Это уравнение является основным ограничением (constraint). Оно напрямую связывает неизвестные параметры движения (Δx, Δy) с наблюдаемыми данными — значениями пикселей в последовательных кадрах. Однако решить его в таком виде невозможно, так как оно нелинейно относительно искомых смещений.

где:

•  — функция интенсивности (яркости) изображения в точке с координатами (x, y) в момент времени t,

•  — неизвестные смещения точки (пикселя) вдоль осей X и Y за малый промежуток времени 

Чтобы сделать уравнение (1) разрешимым, необходимо его линеаризовать. Для этого применяется разложение в ряд Тейлора для правой части уравнения, предполагая, что смещения и промежуток времени являются малыми величинами.

Разложим  в ряд Тейлора первого порядка в окрестности точки (x, y, t):

где:

•  — пространственные частные производные (градиенты яркости) по осям x и y соответственно. Они отражают, как быстро меняется яркость изображения в данной точке в пространстве.

• — частная производная по времени. Она показывает, как меняется яркость в данной фиксированной точке кадра с течением времени.

• Многоточием обозначены члены высших порядков, которые считаются пренебрежимо малыми при малых перемещениях.

Теперь подставим это разложение в исходное предположение о постоянстве яркости (1):

Вычитая из обеих частей уравнения и разделив все слагаемые на Δt, получаем фундаментальное соотношение:

Введя обозначения для компонент вектора оптического потока (которые являются предельными формами , а также обозначив пространственные производные как  и временную производную как , приходим к основному уравнению оптического потока (Optical Flow Constraint Equation):

Примечание к формуле (2): Это линейное уравнение относительно неизвестных компонент скорости u и v. Оно устанавливает, что пространственный градиент яркости, скалярно умноженный на вектор скорости, компенсирует локальное изменение яркости во времени. Несмотря на линеаризацию, проблема остается недоопределенной (aperture problem): одно уравнение связывает две неизвестные переменные (u, v). Это означает, что из данного уравнения можно восстановить только компоненту скорости, направленную вдоль градиента яркости (нормальный поток), но не полный вектор. Для решения этой неоднозначности требуется введение дополнительных предположений о гладкости или глобальных свойствах потока.

Поскольку в рамках исходной гипотезы величины смещенийи интервал времени Δt предполагаются малыми, правую часть нелинейного уравнения (1) можно аппроксимировать, разложив функцию I в ряд Тейлора первого порядка в окрестности точки (x, y, t). Физически это означает, что мы рассматриваем движение и изменение яркости как локально гладкие, непрерывные процессы, без резких скачков.

Пренебрегая членами высшего порядка малости (например, пропорциональными и т.д.), которые вносят пренебрежимо малый вклад при малых аргументах, получаем следующую линейную аппроксимацию:

Примечание к формуле (2): Это ключевой шаг линеаризации, который преобразует исходное нелинейное ограничение в линейную форму относительно неизвестных смещений Δx и Δy. Точность этой аппроксимации напрямую зависит от справедливости предположения о "малости" движения и гладкости функции I.

где:

• ∂I/∂x, ∂I/∂y — частные производные (компоненты градиента) функции яркости по пространственным координатам в точке (x, y, t). Они характеризуют направление и скорость наибольшего увеличения яркости в окрестности данной точки в кадре.

• ∂I/∂t — частная производная яркости по времени в фиксированной точке (x, y). Она отражает непосредственное изменение интенсивности в этом пикселе от одного кадра к следующему.

Подставив полученное разложение (2) в исходное фундаментальное предположение о постоянстве яркости (1) —  — мы заменяем правую часть её линейной аппроксимацией. В результате приходим к следующему соотношению:

Примечание к формуле (3): На этом этапе фундаментальное предположение преобразовано в вычислительно удобную форму. Член I(x, y, t) присутствует в обеих частях приближённого равенства. Его сокращение является следующим логическим шагом, который приводит нас к уравнению, связывающему пространственные и временные изменения яркости с искомыми смещениями.

Далее, сокращая I(x, y, t) в левой и правой частях приближённого равенства (3), получаем базовое линеаризованное ограничение:

Это уравнение уже можно использовать для оценки движения. Для перехода к стандартной форме уравнения оптического потока его обычно делят на  (предполагая, что ), что даёт:

Вводя обозначения для компонент вектора скорости (оптического потока) как, а также компактные обозначения для производных, окончательно приходим к каноническому виду основного уравнения ограничения оптического потока:

Сократив в выражении (3) общий член I(x, y, t) и разделив все слагаемые на Δt, получим основное уравнение ограничения для оптического потока:

Примечание к формуле (4): Это уравнение является рабочим следствием гипотезы постоянства яркости и её линеаризации. Оно связывает:

1. Пространственные изменения сцены (градиент): .

2. Наблюдаемое изменение во времени: .

3. Искомую скорость перемещения: .

В пределе при  приближение переходит в равенство, а отношения смещений ко времени определяют мгновенные компоненты вектора скорости — оптического потока. Вводя стандартные компактные обозначения для пространственно-временных производных и компонент вектора скорости, окончательно записываем классическое уравнение ограничения оптического потока (OFCE):

Примечание к формуле (5): Это уравнение — фундаментальный результат и отправная точка для большинства методов расчёта оптического потока. Оно представляет собой линейную связь между градиентом изображения, компонентами скорости и локальным изменением яркости.

где:

•  — компоненты градиента яркости (∇I) изображения в точке (x, y). Градиент — это вектор, указывающий направление наискорейшего увеличения интенсивности.

• — частная производная яркости по времени, характеризующая изменение интенсивности в фиксированной точке пиксельной сетки.

•  — искомые горизонтальная и вертикальная компоненты вектора оптического потока (пикселей в секунду или за единицу времени между кадрами).

Примечание к формуле (5): Это уравнение — фундаментальный результат и отправная точка для большинства методов расчёта оптического потока. Оно представляет собой линейную связь между градиентом изображения, компонентами скорости и локальным изменением яркости.

Но возникает проблема апертуры и необходимость дополнительных ограничений.Как же это решить?

Уравнение (5) является линейным относительно двух неизвестных u и v. Его можно переписать в векторной форме:

Это уравнение определяет в пространстве скоростей (u, v) не конкретную точку, а целую прямую линию возможных решений. Геометрически оно означает, что известной величиной является лишь скалярная проекция вектора потока (u, v) на направление градиента яркости ∇I = (Iₓ, Iᵧ). Эту величину называют нормальным потоком (uₙ) — компонентой скорости, направленной вдоль градиента. Она может быть найдена однозначно:

Примечание к формуле (7): Нормальный поток — это единственная информация о движении, которую можно извлечь из локального анализа изменения яркости в окрестности точки. Её физический смысл: скорость, с которой движущийся объект "пересекает" изолинии яркости (контуры) на изображении.

Однако компонента потока, ортогональная градиенту (тангенциальная), из уравнения (5) не определяется. Эта компонента соответствует движению вдоль контура равной яркости (изофоты), которое не приводит к изменению интенсивности в данной точке.

Эта принципиальная неоднозначность известна как проблема апертуры. Она возникает потому, что, наблюдая движение через условное "окно" (апертуру) в несколько пикселей, невозможно отличить истинное движение объекта от скольжения вдоль однородного края. Проблема апертуры делает задачу оценки полного вектора оптического потока некорректно поставленной (ill-posed): у нас одна уравнение (5) на две неизвестные (u, v) в каждой точке.

Следовательно, для получения единственного и устойчивого решения в каждой точке изображения необходимо ввести дополнительное априорное предположение (регуляризующее ограничение) о свойствах искомого векторного поля потока. Это предположение должно "доопределить" задачу, позволив вычислить тангенциальную компоненту скорости. Именно в выборе и формализации этого дополнительного ограничения и заключаются ключевые методологические различия между классическими подходами, такими как метод Лукаса-Канаде и метод Хорна-Шанка.

Начнем с метода Лукаса - Канаде , чтобы решить проблему апертуры.

Как было показано, фундаментальное уравнение оптического потока (5), будучи записанным в векторной форме :

Уравнение означает, что изменение интенсивности в точке изображения связано с пространственным градиентом и скоростью перемещения. Оно используется для оценки движения между кадрами в компьютерном зрении.

приводит к проблеме апертуры, поскольку определяет лишь нормальную компоненту скорости (7), оставляя тангенциальную компоненту неопределённой. Для получения единственного и устойчивого решения в каждой точке необходимо дополнительное ограничение.

Метод Лукаса-Канаде предлагает локальный подход к решению этой проблемы. Вместо независимой оценки потока в каждом пикселе, метод вводит ключевое априорное предположение, позволяющее использовать информацию из пространственной окрестности для устранения неоднозначности.

Разберем локальное предположение о потоке.

Основное допущение метода формулируется так: вектор оптического потока  постоянен в пределах небольшой пространственной окрестности  вокруг анализируемого пикселя .

Физический смысл: Это предположение справедливо для малых участков изображения, соответствующих фрагментам одного объекта или одной поверхности. В таком фрагменте движение можно аппроксимировать параллельным переносом (плоским смещением), что означает одинаковую скорость для всех пикселей окна.

Математически это означает, что для любого пикселя внутри окрестности  выполняется одно и то же уравнение (6):

Смысл уравнения:Изменение яркости в точке (правая часть) объясняется движением объекта (вектор ) вдоль градиента яркости (вектор ). Это основное предположение для оценки движения между последовательными кадрами видео.

Таким образом, из одного уравнения с двумя неизвестными мы получаем систему из NN уравнений (где  — количество пикселей в ) с теми же двумя неизвестными . Для  система, как правило, становится переопределённой (overdetermined).

Перепишем систему для всех точек окрестности Ω в матричной форме.Обозначим для каждой i−ой точки в окне:

Метод собирает данные из небольшой окрестности (несколько пикселей) и решает задачу методом наименьших квадратов, находя такое v, которое наилучшим образом удовлетворяет уравнению ограничения для всех точек окрестности одновременно. Это делает оценку устойчивой к шуму.

Тогда система из  уравнений примет вид:

,где

Это матричное представление переопределённой системы для расчёта оптического потока в окрестности из N точек методом наименьших квадратов (Лукаса-Канаде). Примечание: Матрица A состоит из пространственных производных яркости, вектор b — из временных производных. Каждое уравнение в системе — это запись условия постоянства яркости (уравнение (5)) для своего пикселя.

Поскольку система переопределена и может не иметь точного решения из-за шума и нарушения предположения о постоянстве потока, ищется решение vv, минимизирующее сумму квадратов ошибок (Least Squares):

Это целевая функция (функционал ошибки) метода наименьших квадратов для вычисления оптического потока в рамках подхода Лукаса-Канаде.

•  — сумма квадратов ошибок (отклонений) по всем точкам  окрестности.

• Внутри суммы:  — это невязка уравнения оптического потока для каждой точки.

• Задача: найти такие u и v, которые минимизируют сумму квадратов этих невязок по окрестности

Таким образом, вместо точного выполнения уравнения в одной точке (что невозможно из-за шума и апертурной проблемы) ищется компромиссное решение для всего окна, что даёт более надёжную оценку движения.

Решение этой задачи МНК находится из условия равенства нулю градиента функции  по :

Это условие минимума целевой функции E(u,v)E(u,v) (суммы квадратов ошибок) для оптического потока.

• Уравнения означают, что в точке оптимальных параметров (u,v) градиент функции E равен нулю.

• Это стандартное необходимое условие экстремума в методе наименьших квадратов.

• Решение этих двух уравнений (приравнивание частных производных к нулю) приводит к нормальной системе уравнений , откуда находится искомый вектор оптического потока .

Таким образом, эти условия формализуют поиск наилучшего (в смысле минимальной квадратичной ошибки) вектора смещения для окрестности пикселей.

Еще раз повторюсь , это приводит к нормальным уравнениям (уравнениям Лукаса-Канаде):

В развёрнутой форме:

Примечание: Матрица — это матрица структуры градиентов (структурный тензор) размерности 2x2. Она характеризует распределение градиентов яркости в окрестности . Её обратимость — ключевое условие для решения.

, где все суммы () берутся по окрестности .

Решение системы нормальных уравнений существует и единственно, если матрица  обратима (невырождена). Это условие выполняется, когда градиенты яркости в окрестности  имеют хотя бы две различных ориентации.

Примечание: Если все градиенты в окне коллинеарны (например, на идеальном прямом крае), то det⁡()=0. В этом случае метод Лукаса-Канаде не может определить тангенциальную компоненту потока вдоль этого края — проблема апертуры проявляется на уровне окрестности. Условие хорошей обусловленности матрицы требует наличия в окне угловой точки или сложной текстуры.

Финальное решение записывается в явном виде:

Резюмируя , метод Лукаса-Канаде преодолевает проблему апертуры, заменяя точечное предположение на локально-пространственное:

1. Предположение: Постоянство вектора потока (u,v)(u,v) в малой окрестности ΩΩ.

2. Формализация: Составление переопределённой системы уравнений оптического потока для всех пикселей окна.

3. Решение: Применение метода наименьших квадратов для нахождения вектора vv, наилучшим образом удовлетворяющего всей системе.

4. Условие работоспособности: Наличие в окрестности вариаций градиента яркости по разным направлениям (текстура), что обеспечивает обратимость структурного тензора .

Таким образом, метод эффективно усредняет информацию от нескольких пикселей, что позволяет восстановить полный двумерный вектор потока, но лишь в тех точках, где локальная текстурная информация достаточна для этого.

Перейдем к другому методу - методу Хорна - Шанка.В отличие от локального подхода Лукаса-Канаде, метод Хорна-Шанка предлагает глобальное решение проблемы апертуры. Он вводит регуляризующее ограничение не на малую окрестность, а на всё векторное поле оптического потока в целом.

Идея состоит в том , что векторное поле оптического потока  является гладким (smooth) по всему изображению. Это означает, что соседние точки на реальном объекте имеют схожие скорости, а резкие изменения векторов потока (разрывы) возможны только на границах объектов и должны быть минимальными.

Математическая формулировка: Гладкость поля формализуется как минимизация суммы квадратов градиентов его компонент. Чем меньше вариация скорости в пространстве, тем более гладким считается поле. Соответствующий функционал гладкости​ имеет вид:

Примечание: Данный функционал штрафует большие пространственные производные компонент u и v, тем самым подавляя резкие скачки и способствуя плавному изменению векторов потока.

Итак, мы имеем функционал гладкости Eₛ, который является квадратичной мерой локальных изменений векторного поля V = (u,v). Минимизация этого функционала — это не просто технический приём, а наложение фундаментального физического априорного предположения о мире: соседние точки пространства (или изображения) стремятся двигаться или изменяться согласованно.

Чтобы найти поле (u, v), которое минимизирует Eₛ, мы применяем вариационное исчисление. Рассматриваем малые вариации функций , обращающиеся в ноль на границе области. Требование равенства нулю первой вариации функционала  приводит нас к уравнениям Эйлера-Лагранжа ( , которое мы выводили в прошлой статье ) для каждой компоненты.

Для компоненты u:

Поскольку Eₛ зависит только от производных (uₓ² + uᵧ²), а не от самой u, уравнение упрощается до:

Аналогично для v.

Итог:

, где  — оператор Лапласа.

Можно сделать вывод , что поле, доставляющее абсолютный минимум функционалу гладкости Eₛ при заданных граничных условиях, является гармонической функцией. Это прямой мост к теории потенциала, где гармонические функции обладают свойствами максимальной гладкости, среднего значения и отсутствия локальных экстремумов.

На практике мы работаем с дискретной сеткой пикселей (i, j). Производные аппроксимируются конечными разностями. Например:

Тогда вклад в Eₛ от одного пикселя можно локально аппроксимировать как:

продолжение апроксимации:

Суммируя такие вклады по всем пикселям, мы получаем дискретный аналог функционала гладкости. Его минимизация приводит к системе линейных уравнений, где значение в каждом узле стремится стать средним арифметическим значений в соседних узлах (в силу свойства гармонических функций).

В матричной форме: Минимизация дискретного Eₛ эквивалентна решению системы Lu = 0, где L — дискретный аналог оператора Лапласа (лапласиан), часто представленный в виде пятиточечного шаблона (конечно-разностная схема).

Но есть незадача.Базовая квадратичная модель Eₛ имеет критический недостаток: она изотропна. Она штрафует любые резкие изменения — как нежелательный шум, так и физически значимые границы движущихся объектов. В результате минимизация "размазывает" резкие перепады скорости, делая границы объектов нечёткими.

Это приводит к необходимости создания анизотропных или нелинейных моделей гладкости.

Решение проблемы изотропности

Первый вариант анизотропная регуляризация на основе данных изображения.Первый логический шаг к решению — сделать штраф за негладкость зависящим от структуры самого изображения.

Функционал:

где w(s) — убывающая функция, например, w(s) = exp(-s²/σ²).

Здесь ∇I — величина градиента интенсивности в исходном изображении. В однородных областях изображения (небо, стена) градиент мал, и функция w(||∇I||) близка к единице. Это означает, что здесь действует обычное сильное сглаживание, подавляя шум. Напротив, на контурах объектов, где ∇I велик, вес w становится близким к нулю. Это ослабляет регуляризацию, разрешая полю потока изменяться резко именно там, где с большой вероятностью проходит граница движения.

Ключевое отличие от классики: Регуляризация перестаёт быть изотропной. Она становится адаптивной и анизотропной — её сила меняется в зависимости от локальных особенностей изображения, "обтекает" его границы. Это уже качественный скачок, однако в основе по-прежнему лежит L2-норма градиента потока, что математически тяготеет к созданию плавных, а не строго кусочно-постоянных полей.

Второй вариант регуляризация на основе тотальной вариации (TV): переход к L1-норме.

Следующий концептуальный прорыв связан с изменением самой меры гладкости — переходом от квадрата градиента (L2-норма) к его модулю (L1-норма).

Функционал:

Математические свойства L1-нормы принципиально иные. Минимизация тотальной вариации допускает наличие разрывов (скачков) в результирующем поле, одновременно поддерживая обширные области постоянства. В контексте оптического потока это означает, что поле стремится быть кусочно-постоянным: внутри движущегося объекта поток будет однородным, а на его границах — чётко меняться. Это идеально соответствует физике движения жёстких объектов.

Преимущество перед L2: В то время как L2-регуляризация "боится" больших градиентов и плавно их сглаживает, TV-регуляризация относится к ним более "лояльно", сохраняя резкие границы. Она напрямую решает проблему размытия краёв, заложенную в исходной модели Хорна-Шанка.

Третий же вариант гибридные подходы: регуляризация Хубера и Шарбонье.

На практике чистый L1-функционал сложен для минимизации из-за своей негладкости. Компромиссным и часто более эффективным решением становится использование robust-функций, которые объединяют лучшие свойства L1 и L2 норм.

Функционал:

Функция ρ(s) (примеры):

Функция Хубера:

Функция Шарбонье:

(при малых s ведёт себя как s²/2ε, при больших — как |s|).

Маленький параметр ε задаёт порог. Для малых градиентов (предположительно, шум или плавные изменения) функция ведёт себя как s². Это обеспечивает эффективное и стабильное сглаживание, как в L2-случае. Для больших градиентов (предположительно, истинные границы) функция переходит в линейный режим, аналогичный L1, что позволяет сохранять разрывы.

Практическая ценность: Такой подход математически более удобен (функция дифференцируема всюду) и устойчив в численных алгоритмах, сохраняя при этом ключевое преимущество — способность не штрафовать чрезмерно резкие, но оправданные изменения потока.

Функция Шарбонье, , введённая в гибридный функционал , является не просто математической уловкой, а ключевым шагом в практической реализации философии TV-регуляризации.

Интуиция и связь с предыдущими этапами:

1. От L2 к L1 через гладкость: Она представляет собой гладкую (C^∞) аппроксимацию модуля |s|. Если анизотропная регуляризация на основе  научила систему где ослаблять сглаживание, то переход от ∇u² к  меняет само качество сглаживания, закладывая возможность разрывов. Однако чистое TV (|) непригодно для градиентных методов из-за недифференцируемости в нуле. Функция Шарбонье решает эту проблему.

2. Двухрежимный характер: Как и функция Хубера,  обладает квадратично-линейным поведением, но без точки излома:

   •  (режим L2): . В этом режиме она действует как сильный квадратичный регуляризатор, эффективно подавляя мелкомасштабный шум и обеспечивая численную устойчивость.

   •  (режим L1): . Здесь она ведёт себя как модуль, почти не наказывая за большие градиенты. Это позволяет полю потока формировать резкие границы между объектами, реализуя кусочно-постоянную структуру, к которой стремится чистая TV-регуляризация.

Для функционала, содержащего член , вывод уравнений Эйлера-Лагранжа усложняется, но приводит к сходной итерационной структуре. Ключевое изменение — замена постоянного параметра регуляризации λ на локально-адаптивный вес, зависящий от текущей оценки градиента.

Обобщённая схема для компоненты  (аналогично для ) на итерации  принимает вид:

Примечание к схеме:

1. Адаптивное сглаживание: Вес  — это сердцевина метода. При малых градиентах вес  велик, что делает член  большим и усиливает сглаживание (режим L2). При больших градиентах ( вес  мал, что ослабляет сглаживание в окрестности предполагаемого края, позволяя значению  «оторваться» от среднего по соседям (режим L1).

2. Стабильность: Знаменатель никогда не обращается в ноль благодаря  и , что гарантирует устойчивость итераций.

3. Неявная анизотропия: Хотя исходный функционал  формально изотропен, итерационная схема через вес  реализует анизотропную регуляризацию, управляемую данными (data-driven). Сила сглаживания автоматически адаптируется к предполагаемой структуре самого поля потока , а не только исходного изображения .

Где:

•  — текущие средние значения по окрестности (например, 4-связной).

•  — оценка величины градиента  на предыдущей итерации (часто вычисляется дискретно, например, .

•  — функция влияния (influence function), прямо следующая из производной Шарбонье.

Таким образом, функция Шарбонье (наряду с функцией Хубера) — это не просто «удобный компромисс». Это практический инструмент, который воплощает в вычислительно эффективной форме концептуальный прорыв TV-регуляризации.

Её использование приводит к нелинейной итерационной схеме Гаусса-Зейделя, где параметр регуляризации  умножается на адаптивный вес . Эта схема позволяет алгоритму работать с логикой L1-сглаживания — сохранять резкие границы — наследуя при этом численную добротность L2-подходов — устойчивость и скорость сходимости. Параметр  в этом свете перестаёт быть просто «малым числом»; он становится критическим порогом, который алгоритм использует для классификации вариаций поля потока на «шум» (квадратично подавляемый) и «структуру» (линейно сохраняемую), непосредственно влияя на финальное качество оценки оптического потока.

Делая , вывод из метода Хорна - Шанка можно сказать ,что эволюция регуляризации в методе Хорна-Шанка демонстрирует фундаментальный прогресс в понимании задачи оптического потока. От базового изотропного сглаживания, которое слепо размывает все границы, через адаптацию к структуре изображения, к радикальному переходу на TV-регуляризацию, допускающую разрывы, — каждый шаг был приближением к более физически адекватной модели мира. Финальное внедрение гладких robust-функций (Хубера и Шарбонье) стало не просто техническим улучшением, а ключевым синтезом, который сохранил концептуальную строгость подхода L1 (сохранение чётких границ), обеспечив при этом вычислительную устойчивость и эффективность, присущие L2-методам. В результате мы получили не просто «сглаженное» поле скоростей, а интеллектуально сегментированное — с чёткими границами движущихся объектов и однородными областями внутри них, что вплотную приближает нас к решению исходной проблемы апертуры на глобальном уровне.

Теоретический прогресс, отражённый в эволюции регуляризации, находит своё непосредственное воплощение и проверку в практической плоскости. Следующий раздел посвящён реализации классических методов оптического потока в среде MATLAB, их сравнительному анализу и проверке на синтетических и реальных данных.

Продолжим на основе созданных тестовых изображений. Ниже приведен пример следующего этапа — вычисления оптического потока методом Лукаса-Канаде на основе двух последовательных кадров I1 и I2.

На изображении показана схема, иллюстрирующая метод вычитания кадров (frame difference method) — базовую технику в компьютерном зрении и обработке видео для обнаружения движения.

Суть метода: Если объект движется, то в последовательных кадрах он находится в разных позициях. Вычитание кадров выделяет эти изменяющиеся области, позволяя обнаружить факт движения и локализовать движущиеся объекты относительно статичного фона.

Основное применение: Детектирование движения, сегментация переднего плана, системы видеонаблюдения, сжатие видео.

Изображение 1: Кадр 1 (t)

• Что изображено:
  Белый квадрат на чёрном фоне, расположенный ближе к левой части изображения.

• Координаты центра:
  ​, ​.

• Особенности:
  Квадрат слегка зашумлён (добавлен гауссовский шум для реалистичности).

• Назначение:
  Это исходный кадр в момент времени tt, который будет использоваться для сравнения со следующим кадром.

Изображение 2: Кадр 2 (t+Δt)

• Что изображено:
  Тот же белый квадрат, но смещённый вправо и вниз относительно первого кадра.

• Смещение:
  По оси x: +5 пикселей, по оси y: +3 пикселя.

• Особенности:
  Также содержит шум, идентичный первому кадру.

• Назначение:
  Это кадр в момент времени , демонстрирующий движение объекта.

Изображение 3: Разность кадров I(x,y,t+Δt) – I(x,y,t)

• Что изображено:
  Цветная карта разности пикселей между вторым и первым кадрами.

• Интерпретация цветов:

  • Синий/тёмный цвет: области без изменений (разность ≈ 0).

  • Зелёный/жёлтый/красный: области с положительной разностью (объект появился или стал ярче).

  • Фиолетовый/тёмно-синий: области с отрицательной разностью (объект исчез или стал темнее).

• Назначение:
  Наглядно показывает, где произошли изменения между кадрами. Яркие области соответствуют краям движущегося квадрата.

Общая цель визуализации:

• Продемонстрировать движение объекта между двумя последовательными кадрами.

• Подготовить данные для последующего вычисления оптического потока или других методов анализа движения.

• Показать, как даже небольшое смещение объекта может быть визуализировано через разность кадров.

После того как были сгенерированы тестовые изображения с движущимся квадратом и визуализирована их разность, становится очевидным: изменение яркости между кадрами несёт в себе информацию о движении. Однако простое вычитание кадров лишь показывает где произошли изменения, но не отвечает на вопрос как двигался объект, с какой скоростью и в каком направлении.

Для ответа на этот вопрос необходимо перейти к анализу пространственно-временных производных яркости ( прикрепляю следующие изображения ).

На втором этапе мы вычислили три ключевые величины:

• ∂I/∂x и ∂I/∂y — показывают, как меняется яркость в пределах одного кадра по горизонтали и вертикали. Именно на границах объекта эти производные максимальны, что соответствует краям квадрата.

• ∂I/∂t — отражает изменение яркости во времени в каждой точке изображения.

Эти три производные связаны фундаментальным соотношением — уравнением ограничения яркости(изображение 3):

Изображение 2 . На этих кадрах изображены производные яркости в 2D и 3D пространствах.

Изображение 3 .Уравнение ограничения яркости в точке (100, 100):
Ixu + Iyv + It = 0
0.0383u + -0.0186v + -0.0324 = 0

В итоге визуализация производных и уравнения ограничения яркости служит важным теоретическим и наглядным мостом между этапом генерации данных и этапом вычисления оптического потока. Она показывает, почему задача восстановления движения — это не просто вычитание кадров, а решение системы уравнений, основанной на физике изменения изображения.

Вот постепенно подходим к методу Лукаса-Канаде , производные которого выводили раннее — это классический локальный подход к оценке оптического потока, основанный на предположении о постоянстве скорости в малой окрестности каждой точки. В отличие от глобальных методов, он решает уравнение ограничения яркости независимо для небольших областей изображения, что делает его устойчивым к локальным изменениям и вычислительно эффективным. На данном этапе мы применяем этот метод к ранее созданным тестовым изображениям, чтобы оценить смещение движущегося квадрата и визуализировать полученное поле скоростей. Результаты включают как векторные карты потока, так и статистические распределения величин и направлений скоростей, что позволяет проанализировать точность и ограничения метода в условиях зашумлённых данных.

Анализ показывает сцену с преобладающим однонаправленным движением объектов на низких скоростях. Это характерно для организованного транспортного или пешеходного потока.

Поговорим о параметрах каждого графика и о точности метода .

1. Оптический поток Лукаса-Канаде

На изображении видно 200×200 пикселей, красные векторы показывают направление движения. Длина векторов ≈ 2–3 пикселя в среднем. Векторы сконцентрированы на границах квадрата — там, где есть перепады яркости.

2. 3D визуализация потока

Поверхность яркости первого кадра показана в 3D. Красные векторы выходят из точек с ненулевым градиентом. Масштаб векторов увеличен в 5 раз для наглядности. Угол обзора –30° по азимуту, 60° по высоте.

3. Распределение величин скоростей

Гистограмма показывает:

• 0–0.5 px: ~85% векторов (фон, шум).

• 1–3 px: ~10% (движение границ квадрата).

• >3 px: <5% (выбросы).

4. Распределение направлений

Углы векторов (в радианах) группируются вокруг:

• –0.5 до 0.5 рад (горизонтальное движение вправо).

• 1.0 до 1.5 рад (движение вниз-вправо).
  Это соответствует смещению квадрата на Δx = +5 px, Δy = +3 px.

5. Точность метода

Истинное смещение: (u=5.00, v=3.00).
Среднее вычисленное: (u≈–0.15, v≈–0.09).
Метод не даёт точной глобальной оценки, но локально показывает направление движения на границах объекта.

Глобальная количественная точность метода оказывается ограниченной: средние оценки скорости существенно отличаются от реальных значений смещения (расчётные ≈ –0.15, –0.09 против истинных 5.00, 3.00). Это связано с сильным влиянием шума, а также с тем, что метод эффективно работает лишь в окрестностях контрастных границ, в то время как однородные области остаются неинформативными.

Таким образом, метод Лукаса-Канаде является полезным инструментом для качественного анализа движения и выделения направленных изменений в последовательности кадров, но его применение для точного измерения абсолютных скоростей требует дополнительной постобработки, фильтрации шумов и учёта глобальных ограничений.

Теперь подойдем к рассмотрению следующего метода , метод Хорна-Шанка является классическим глобальным подходом к оценке оптического потока, в основе которого лежит идея регуляризации. В отличие от локального метода Лукаса-Канаде, который предполагает постоянство скорости в малой окрестности, метод Хорна-Шанка вводит дополнительное условие гладкости всего поля скоростей. Это позволяет получать плотное поле потока даже в областях с низкой текстурой, где локальные методы неэффективны. В данном этапе мы применяем этот метод к тем же тестовым изображениям с движущимся квадратом, чтобы сравнить его работу с ранее полученными результатами и оценить влияние параметра регуляризации

Изображение демонстрирует анализ движения в видео или последовательности кадров. Метод Хорна-Шанка оценивает, как перемещаются пиксели от одного кадра к другому, и результаты представлены в виде карт величины, направления, 3D-поверхности и векторного поля. Это классический подход в компьютерном зрении для задач отслеживания движения и анализа видеоданных.

Анализ визуализаций метода Хорна-Шанка

1. Оптический поток Хорна-Шанка (векторное поле):
   На изображении видно плотное поле красных векторов, покрывающее всё изображение, включая однородные области фона и внутреннюю часть квадрата. Векторы направлены преимущественно вправо-вниз, что соответствует движению квадрата. Длина векторов примерно одинакова в пределах объекта, что отражает эффект сглаживания.

2. Карта величины скорости:
   Цветная карта показывает распределение модуля скорости по изображению. Наибольшие значения (жёлто-красные оттенки) сосредоточены на границах квадрата, где перепады яркости максимальны. Внутри квадрата и на фоне величины скоростей снижены (сине-зелёные тона), но не нулевые — это следствие глобальной регуляризации.

3. Карта направления скорости:
   Цветовая палитра HSV кодирует направление векторов. Преобладают оттенки, соответствующие углам в диапазоне от 0 до радиан (движение вправо-вниз), что согласуется с истинным смещением квадрата (Δx=5, Δy=3).

4. 3D поверхность величины скорости:
   Трёхмерный график визуализирует модуль скорости как высоту. Чётко видны «холмы» на границах квадрата и «равнина» в однородных областях. Поверхность является гладкой благодаря регуляризации.

5. 3D векторное поле:
   Векторы наложены на поверхность яркости первого кадра. Направление векторов в основном совпадает с направлением движения, а их плотность демонстрирует глобальный характер метода.

6. Сравнение с методом Лукаса-Канаде:
   На последнем изображении должна отображаться разность между полями скоростей двух методов. Поскольку файл с результатами Лукаса-Канаде отсутствует, система выводит предупреждение. В случае наличия данных можно было бы увидеть, где методы дают существенно разные оценки — как правило, в однородных областях и на границах объектов.

В итоге можно сказать , метод Хорна-Шанка успешно строит плотное и гладкое поле оптического потока, эффективно заполняя области с низкой текстурой за счёт глобальной регуляризации. Средняя величина скорости составила ≈2.79 px, что ближе к истинному смещению (), чем результаты Лукаса-Канаде, но всё ещё занижено из-за влияния па��аметра сглаживания =0.01.

Основные особенности:

• Плюсы: плотное поле, устойчивость к шуму, гладкость результатов.

• Минусы: требуется подбор параметра α, вычислительная сложность, возможное избыточное сглаживание границ.

Таким образом, метод Хорна-Шанка лучше подходит для задач, где требуется полное поле скоростей и допустима некоторая потеря точности на резких границах, в отличие от локального метода Лукаса-Канаде, который точнее на контрастных краях, но не работает в однородных областях.

На предыдущих этапах мы рассмотрели два классических подхода к оценке оптического потока: локальный метод Лукаса-Канаде и глобальный метод Хорна-Шанка. Каждый из них основан на различных предположениях и имеет свои сильные и слабые стороны. В данном этапе проводится прямое сравнение этих методов на одних и тех же тестовых данных — последовательности изображений с движущимся квадратом. Цель сравнения — оценить, какой метод лучше справляется с задачей восстановления движения в условиях зашумлённых данных, как отличаются их поля скоростей по величине, направлению и покрытию, а также проанализировать их количественные характеристики для объективной оценки точности и надёжности.

Лукас-Канаде:
Средняя величина: 0.2695
Стандартное отклонение: 0.4150
Покрытие (ненулевые вектора): 0.7%
Хорн-Шанк:
Средняя величина: 1.8909
Стандартное отклонение: 2.6114
Покрытие (ненулевые вектора): 100.0%

Анализ визуализаций и результатов сравнения

1. Визуальное сравнение векторных полей:

   • Лукас-Канаде (красные векторы): Векторы сосредоточены только на границах квадрата. Внутренние области и фон остаются без векторов, что отражает локальный характер метода.

   • Хорн-Шанк (синие векторы): Поле плотное, векторы покрывают всё изображение, включая однородные области. Направление векторов в целом соответствует движению квадрата, но заметно влияние глобального сглаживания.

2. Карты величин скорости:

   • У Лукаса-Канаде ненулевые значения наблюдаются только вблизи границ, величины небольшие (порядка 0.1–1 px).

   • У Хорна-Шанка карта величин более однородна, с пиками на краях квадрата (до 3–4 px). Фоновые области также имеют ненулевые значения (≈1–2 px).

3. Карты направлений:

   • Оба метода показывают преимущественное направление вправо-вниз, соответствующее смещению квадрата ().

   • У Хорна-Шанка направление более согласовано по всему полю, у Лукаса-Канаде — только на контурах.

4. Разность величин скоростей:
   На карте разности видны области наибольших расхождений — это границы квадрата и однородные зоны. В целом, методы дают существенно разные оценки, особенно в областях с низкой текстурой.

5. Гистограмма распределения величин:

   • Лукас-Канаде: пик близок к нулю, распределение узкое.

   • Хорн-Шанк: распределение шире, с хвостом в сторону бóльших скоростей.

6. 3D-визуализация потоков:
   Красные (Лукас-Канаде) и синие (Хорн-Шанк) векторы наложены на поверхность яркости. Видно, что синие векторы заполняют всю поверхность, а красные — только её “склоны” (границы).

Количественные показатели:

• Средняя величина скорости:

  • Лукас-Канаде: 0.27 px

  • Хорн-Шанк: 1.89 px
    Истинная величина:

• Покрытие (доля ненулевых векторов):

  • Лукас-Канаде: 0.7%

  • Хорн-Шанк: 100%

• Стандартное отклонение:

  • Лукас-Канаде: 0.42

  • Хорн-Шанк: 2.61

В итоге :

1. Лукас-Канаде демонстрирует высокую точность на границах объектов, но работает только в текстурированных областях, оставляя большую часть изображения без информации о движении. Метод устойчив к шуму в однородных зонах, но даёт заниженные оценки скорости и крайне малое покрытие.

2. Хорн-Шанк обеспечивает полное покрытие и даёт более правдоподобные оценки средней скорости, однако вносит избыточное сглаживание, что приводит к завышению скоростей в однородных областях и снижению чёткости на границах.

Вердикт один ,  выбор метода зависит от поставленной задачи. Если требуется точное определение движения на контурах объектов — предпочтителен Лукас-Канаде. Если необходимо плотное поле скоростей для последующего анализа или сегментации — лучше подходит Хорн-Шанк. В реальных приложениях часто используют гибридные или модернизированные версии этих методов, а также дополнительные постобработки для улучшения точности и устранения артефактов.

Итак , на предыдущих этапах мы убедились, что оба метода — Лукаса-Канаде и Хорна-Шанка — обладают разными характеристиками и дают различные результаты. Однако их работа сильно зависит от выбора параметров: размера окна для локального метода и коэффициента регуляризации α для глобального. В этом этапе проводится систематический анализ чувствительности методов к изменению этих параметров. Цель — определить, как выбор параметров влияет на точность, стабильность и визуальное качество оптического потока, а также выявить оптимальные настройки для заданного типа данных.

По изображению видно, что представлен пример влияния размера окна на работу метода Лукаса-Канаде для расчета оптического потока.

Параметр α управляет балансом между точностью данных (малый α) и гладкостью решения (большой α).
Выбор α зависит от задачи: для детального анализа движения — меньше α, для устойчивой оценки основного потока — больше α.

По изображению видно наглядное сравнение влияния параметра α в методе Хорна-Шанка на результат вычисления оптического потока.

Наблюдение:

α = 0,001 – поток очень детальный, но сильно зашумленный, много мелких стрелок.

α = 0,010 – шум уменьшается, но движение всё ещё фрагментировано.

α = 0,030 – появляется более гладкая структура, шум подавлен.

α = 0,100 – поток становится очень гладким, теряются мелкие детали, видна основная тенденция движения.

α = 0,500 – сильное сглаживание, поток почти однородный, мелкие движения и границы теряются полностью.

По изображению представлено сравнение двух классических методов вычисления оптического потока: Лукаса-Канаде и Хорна-Шанка.

По изображению представлены графики чувствительности двух методов оптического потока к их ключевым парам��трам.

Лукас-Канаде требует подбора оптимального размера окна для баланса между устойчивостью и детализацией.

Хорн-Шанк требует тщательного выбора α для баланса между чувствительностью к деталям и устойчивостью к шуму.
Оба параметра напрямую влияют на воспринимаемую величину движения в алгоритме.

Анализ результатов чувствительности

1. Влияние размера окна на метод Лукаса-Канаде:

   • Малое окно (5×5): Векторы короткие, шумные, много выбросов. Метод чувствителен к локальным неоднородностям и шуму.

   • Среднее окно (9×9, 15×15): Поле становится стабильнее, векторы более согласованны. Оптимальный баланс между детализацией и устойчивостью.

   • Большое окно (21×21, 31×31): Векторы удлиняются, но теряется точность на границах. Метод начинает «размывать» движение, особенно на краях квадрата.

2. Влияние параметра α на метод Хорна-Шанка:

   • Малое α (0.001): Поле скоростей становится очень чувствительным к шуму, появляются артефакты, векторы хаотичны.

   • Оптимальное α (0.01–0.05): Поле гладкое, направление движения чётко соответствует смещению квадрата. Наилучший компромисс между детализацией и регуляризацией.

   • Большое α (0.1–0.5): Сильное сглаживание, векторы становятся почти однородными, теряется информация о движении на границах.

3. 3D-визуализация лучших параметров:

   • Лукас-Канаде (окно=15): Векторы сконцентрированы на «склонах» яркостной поверхности — только там, где есть перепады.

   • Хорн-Шанк (α=0.05): Векторы покрывают всю поверхность, включая плоские области, что демонстрирует глобальный характер метода.

   • Совместная визуализация: Наглядно показывает, где методы согласуются (границы), а где расходятся (фон, внутренние области).

4. Количественный анализ чувствительности:

   • Лукас-Канаде: Средняя величина скорости слабо зависит от размера окна, но дисперсия уменьшается с ростом окна.

   • Хорн-Шанк: Средняя величина скорости монотонно уменьшается с ростом α, что отражает усиление регуляризации и «затухание» движения.

Итог анализа чувствительности

1. Лукас-Канаде критически зависит от размера окна:

   • Слишком малое окно → шум.

   • Слишком большое → потеря точности.

   • Рекомендуемый диапазон: 9–15 пикселей для изображений 200×200.

2. Хорн-Шанк требует тщательного подбора α:

   • Малый α → нестабильность.

   • Большой α → излишнее сглаживание.

   • Оптимальное значение: 0.01–0.05 для данного типа данных.

   Как вердикт , могу сказать следующее , что оба метода демонстрируют высокую чувствительность к параметрам, что подчёркивает важность их калибровки под конкретную задачу. Лукас-Канаде лучше подходит для задач, где важна точность на контурах, а Хорн-Шанк — там, где требуется полное и гладкое поле скоростей, даже ценой потери деталей. На практике часто используется комбинация методов или адаптивный выбор параметров в зависимости от локальных характеристик изображения.

В данной работе исследуются два классических метода вычисления оптического потока — Лукаса-Канаде и Хорна-Шанка — на примере синтетического видео с движущимся объектом. Оптический поток позволяет оценить перемещение пикселей между последовательными кадрами, что является ключевой задачей в компьютерном зрении для анализа движения, отслеживания объектов и стабилизации видео. Цель работы — сравнить поведение методов при различных параметрах, визуализировать результаты и оценить их применимость в практических задачах.

Анализ

1. Синтез видео и подготовка данных:

   • Создано тестовое видео размером 300×300 пикселей, состоящее из 10 кадров. Объект — круг, движущийся по гармоническому закону с амплитудой 50 пикселей. Для реалистичности добавлен градиент яркости и гауссов шум.

2. Применение метода Лукаса-Канаде:

   • Использовано окно размером 21×21 пиксель и шаг отображения 15 пикселей.

   • Метод вычисляет поток локально, решая систему уравнений для каждого окна с использованием производных по пространству и времени.

   • Результат: разреженное векторное поле, отображаемое только в текстурированных областях. Визуализация показывает чёткие векторы движения вдоль границ круга, но отсутствие векторов в однородных областях фона.

3. Применение метода Хорна-Шанка:

   • Параметр сглаживания α = 0.05, количество итераций — 80.

   • Метод минимизирует глобальный функционал, балансируя между точностью данных и гладкостью потока.

   • Результат: плотное векторное поле, покрывающее всё изображение. Поток является гладким, но может терять детализацию на границах объектов.

4. Сравнительная визуализация:

   • Представлены: исходные кадры, векторные поля, карты величины потока и 3D-визуализация с наложенными векторами.

   • Метод Лукаса-Канаде лучше выделяет локальные движения и границы, но требует выбора размера окна.

   • Метод Хорна-Шанка даёт целостную картину движения, но чувствителен к параметру α.

В итоге оба метода остаются фундаментальными инструментами в компьютерном зрении, а их понимание необходимо для работы с современными алгоритмами обработки видео и анализа динамических сцен.

Хочется провести параллель между классическими методами и машинным обучением.

Классические методы оптического потока заложили математический фундамент, который стал основой для современных подходов на глубоком обучении. Понимание этой преемственности критически важно для создания и анализа новых моделей.

Основные уравнения классических методов основаны на ключевых предположениях:

1. Предположение о постоянстве яркости (Optical Flow Constraint Equation – OFCE)( , о котором мы с вами уже говорили ) :

где I – интенсивность пикселя, (u,v) – вектор потока.

Проблема: Нарушается при изменении освещения, бликах, тенях.

2.Линеаризация (предположение о малых перемещениях):Разложение в ряд Тейлора приводит к уравнению ( об этом в сегодняшней статье мы тоже уговорили ) :

где Ix,Iy​ – пространственные производные, It – временная.

Проблема: Не работает при больших движениях (> 2-3 пикселя).

3.Проблема больших движений и окклюзий:

• Большие движения приводят к невыполнению условия линеаризации.

• Окклюзии (исчезновение/появление объектов) нарушают само существование соответствия:

4.Проблема однородных областей:В регионах с малым градиентом () система уравнений становится вырожденной:

Матрица  становится плохо обусловленной, оценка потока ненадежна.

Однако для преодоления ограничения на малые движения был разработан метод Лукаса-Канаде с пирамидами:

1.Построение гауссовой пирамиды:

где L – уровень пирамиды (0 – исходное разрешение), w– ядро сглаживания.

Современные архитектуры нейронных сетей явно или неявно инкорпорируют принципы классических методов.

FlowNet (2015) – прямая параметризация:

Архитектура учится предсказывать поток напрямую, но функция потерь содержит классические компоненты:

где:

• – аналог OFCE ( – робастная функция)

• – аналог регуляризации Хорна-Шанка

PWC-Net (2017) – явное использование классических идей:

1. Пирамида признаков:

где  – уровень пирамиды изображения.

RAFT (2020) – полное объединение классики и ML:

2.Многомасштабная матрица корреляций:

Итеративный процесс обновления:

Архитектура GRU-блока реализует дифференцируемую оптимизацию, аналогичную итерационным классическим методам.

В итоге классические методы Лукаса-Канаде и Хорна-Шанка не устарели, а трансформировались в глубоком обучении:

Критическая важность классических основ:

1. Интерпретируемость: Позволяет понимать, почему нейросеть принимает те или иные решения.

2. Эффективность: Современные архитектуры (PWC-Net, RAFT) достигают state-of-the-art результатов именно за счет инженерного воплощения классических идей.

3. Гибридные подходы: Комбинация классической оптимизации (например, вариационных методов) с обученными компонентами показывает лучшую точность при меньших вычислительных затратах.

Таким образом, глубокое понимание классических методов является не историческим интересом, а практическим инструментом для разработки более эффективных, интерпретируемых и надежных моделей оптического потока в эпоху глубокого обучения. Формулы Лукаса и Хорна живут внутри современных нейронных сетей, обеспечивая им теоретическую обоснованность и устойчивость.

В конце проделанной работе хочу сказать , что был осуществлен систематический переход от фундаментального физического предположения о постоянстве яркости к основному уравнению оптического потока (OFCE) и его последующему решению двумя классическими, но принципиально разными подходами. Был выполнен пошаговый вывод: из ограничения постоянства яркости через линеаризацию получено уравнение которое, будучи недоопределенным, потребовало введения дополнительных условий.

Для преодоления проблемы апертуры были рассмотрены и реализованы два ключевых метода, основанных на разных регуляризующих предположениях:

• Метод Лукаса-Канаде использует локальное предположение о постоянстве потока в окрестности пикселя и решает задачу методом наименьших квадратов, что приводит к устойчивому, но разреженному векторному полю.

• Метод Хорна-Шанка опирается на глобальное предположение о гладкости потока, формулируя вариационную задачу, минимизация которой дает плотное поле векторов, но может «размывать» границы объектов.

Сравнительный анализ методов, проведенный на синтетических и реальных данных в MATLAB, наглядно демонстрирует их комплементарные сильные и слабые стороны, что суммировано в таблице:

Несмотря на появление глубокого обучения, эти классические методы сохраняют свою актуальность. Во-первых, они остаются эффективными и интерпретируемыми инструментами для многих прикладных задач с умеренными движениями и хорошими условиями освещения. Во-вторых, и это главное, они заложили концептуальный фундамент для современных подходов. Идеи постоянства яркости, пространственной согласованности (гладкости) и пирамидального подхода для больших перемещений напрямую воплощены в архитектурах и функциях потерь современных нейронных сетей, таких как FlowNet или PWC-Net.

Таким образом, глубокое понимание принципов Лукаса-Канаде и Хорна-Шанка является не только историческим обзором, но и необходимой основой для критической оценки, разработки и усовершенствования современных алгоритмов оценки оптического потока в области машинного зрения и искусственного интеллекта.