В современной медицине существует огромное множество различных методов диагностирования и мониторинга заболеваний, в основе которых лежит анализ медицинских изображений. При этом часто приходится иметь дело с временными сериями изображений, анализ которых может дать представление о течении заболевания, а также получить предсказание о возможном дальнейшем его развитии.
Зачастую клинические методы анализа таких изображений, основанные только на визуальной оценке экспертами имеет недостаточную точность и большую погрешность, что может привести к неправильной диагностике заболевания и, как следствие, неблагоприятному клиническому исходу. Поэтому очевидно, что существует необходимость в разработке алгоритмов анализа изображений для решения задач диагностирования и мониторинга заболеваний.
Такие алгоритмы решают задачу, называемую регистрацией изображений, о которой и пойдёт речь в данной статье. Здесь я расскажу о применении регистрации изображений в медицине, а также рассмотрю современные подходы к решению этой задачи.
Регистрация изображений в медицинской диагностике. Large Deformation Diffeomorphic Metric Mapping.
В общем случае задача регистрации изображений ставится как поиск отображения для пары изображений, которое будет переводить начальное изображение в конечное. Можно разделить регистрацию на два класса: жёсткую и деформируемую. Методы жёсткой регистрации рассматривают преобразования изображения как единого целого, то есть включают в себя только повороты и сдвиги изображений. В отличие от жёсткой, деформируемая регистрация позволяет описывать нелинейные локальные изменения на изображении.
Рассмотрим всё описанное выше с математической точки зрения: пусть нам даны начальное и конечное изображения, имеющие вокселей. Деформируемую регистрацию изображения можно описать как поиск отображения, минимизируещего следующий функционал потерь:
где– начальное изображение, а
– конечное (в зарубежной литературе moving и fixed соответственно).
![](https://habrastorage.org/getpro/habr/upload_files/47a/175/89c/47a17589c5ac9c8c5a0188b3c52b3c79.png)
Иными словами, мы хотим получить такое отображение из класса диффеоморфизмов, при котором разница между преобразованным начальным и конечным изображением была минимальной. Диффеоморфность преобразования необходима для того, чтобы полученное отображение было обратимым. Однако как проверить диффеоморфность отображения на компьютере, который умеет обрабатывать только дискретные переменные?
Эта задача решается с помощью метода Large Deformation Diffeomorphic Metric Mapping (LDDMM). Если описывать идею вкратце, не вдаваясь в сложные математические подробности, мы должны ввести сетку на изображения и посчитать якобиан отображения в каждой точке изображения. Если якобиан в каждой точке сетки положителен, то полученное отображение будем считать диффеоморфным. Более подробное описание методики LDDMM представлено здесь.
Вообще говоря, регистрация изображений может проводиться не только для пары изображений, но и для временной серии изображений. В этом случае получаемое отображение будет интерполироваться в промежуточных изображениях.
Итак, с теорией покончено, пора переходить к практике!
Применение деформируемой регистрации изображений в медицине.
Деформируемая регистрация изображений имеет широкий спектр применения. Источниками изображений для деформируемой регистрации могут выступать изображения компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), УЗИ, флюорографии и др. Вот несколько примеров применения деформируемой регистрации изображений в медицине:
Онкология: Деформируемая регистрация используется для отслеживания изменений в размере и форме опухолей во времени, что критически важно для планирования лечения и оценки его эффективности. Пример статьи: Deformable image registration in radiation therapy.
Кардиология: Деформируемая регистрация применяется для анализа движения и деформации сердечной мышцы, что помогает в диагностике и лечении сердечно-сосудистых заболеваний. Пример статьи: Deformable Image Registration Using Vision Transformers for Cardiac Motion Estimation from Cine Cardiac MRI Images.
Ортопедия: В ортопедии деформируемая регистрация может использоваться для сравнения изображений суставов до и после операции, что помогает в оценке результатов хирургического вмешательства. Пример статьи: "Model-based registration for assessment of spinal deformities in idiopathic scoliosis".
Исследования мозга: Деформируемая регистрация помогает в исследованиях мозга, позволяя сравнивать мозговые сканы разных людей для изучения анатомических различий и паттернов активности Пример статьи: "A reproducible evaluation of ANTs similarity metric performance in brain image registration".
![Деформируемая регистрация для реконструкции поведения сосудов. Деформируемая регистрация для реконструкции поведения сосудов.](https://habrastorage.org/getpro/habr/upload_files/a43/a2f/b79/a43a2fb790b838b96ff5e139bdffcc95.gif)
Классические подходы к деформируемой регистрации изображений.
Классические методы деформируемой регистрации изображений осуществляют оптимизацию функционала потерь методами градиентного спуска, а также проверяют диффеоморфность полученного отображения. Наиболее популярные алгоритмы деформируемой регистрации представлены в программных комплексах ANTs и greedy. По ссылкам можно найти подробное описание этих методов с примерами их использования.
Достоинство этих методов состоит в том, что их довольно просто запустить, а также они дают возможность повысить точность регистрации путём учёта разметки анатомических регионов с помощью масок классов. Код получения отображения при деформируемой регистрации выглядит следующим образом (в качестве примера показано решение задачи деформируемой регистрации с помощью greedy):
greedy -d 3 \
-i path-to-fixed-image.nii.gz path-to-moving-image.nii.gz \
-gm path-to-fixed-segmentation.nii.gz \
-mm path-to-moving-segmentation.nii.gz \
-o path-to-warp.nii.gz \
-sv -n 100x50x10 -m NCC 4x4x4
Теперь применим полученное отображение к начальному изображению:
greedy -d 3 \
-rf path-to-fixed-image.nii.gz \
-rm path-to-moving-image.nii.gz path-to-warped-image.nii.gz \
-ri LABEL 0.2vox \
-rm path-to-moving-segmentation.nii.gz path-to-warped-segmentation.nii.gz \
-r path-to-warp.nii.gz
Однако у всех классических подходов есть недостатки. Во-первых, они не универсальны. Необходимо каждый раз подбирать параметры для запуска. Второй недостаток ещё более существенный: мы ищем отображение в классе диффеоморфизмов, который достаточно обширен. Это значит, что полученные отображения могут некорректно отображать реальные физические процессы, происходящие в области наблюдения за длительный промежуток времени.
Нейросетевые подходы к регистрации изображений. VoxelMorph и её модификации.
Решением ранее озвученных недостатков классических подходов является использование нейросетей. В последнее время большое распространение для решения задач деформируемой регистрации медицинских изображений получила нейросеть VoxelMorph.
VoxelMorph основана на свёрточной нейронной сети, аналогичной U-Net. Она получает на вход два изображения и маски классов (опционально), а на выходе отображение, переводящее начальное изображение в конечное.
![Архитектура VoxelMorph на примере деформируемой регистрации головного мозга. Архитектура VoxelMorph на примере деформируемой регистрации головного мозга.](https://habrastorage.org/getpro/habr/upload_files/f4d/d55/757/f4dd557579d1a4a76575f3b236e76a7b.jpg)
Помимо преимущества в универсальности, которое дают нейросети, есть преимущество в том, что мы можем изменять функцию потерь, добавляя в неё регуляризаторы, чтобы получить физически обоснованное отображение.
Для начала добавим условие на гладкость отображения и введём учёт точности преобразования масок классов:
HyperMorph
Теперь важно задать вопрос: как подбирать гиперпараметрыи
при регуляризаторах? С одной стороны, можно обучить несколько моделей с разными значениями гиперпараметров, но этот процесс отнимает много времени и ресурсов. Для решения этой проблемы была разработана модификация VoxelMorph – HyperMorph.
![Архитектура HyperMorph на примере с КТ-снимками аневризмы брюшной аорты. Архитектура HyperMorph на примере с КТ-снимками аневризмы брюшной аорты.](https://habrastorage.org/getpro/habr/upload_files/114/b53/7c4/114b537c46f0d8363b419f7ef4718d90.jpg)
HyperMorph представляет собой надстройку в виде полносвязной нейронной сетинад основной сетью VoxelMorph. Помимо изображений, HyperMorph принимает на вход генерируемые случайным образом значения гиперпараметров в виде множества
и подсчитывает значения всех весов
основной сети UNet
, из которой состоит исходная архитектура VoxelMorph. Таким образом, все обучаемые веса находятся только в сети
, а не в
.
На каждой итерации обучения HyperMorph генерируются входные данные, которые в случае обучения на размеченных изображениях содержат ,
,
,
, а также значения гиперпараметров
, получаемые как случайные числа из равномерного распределения
. Функция ошибки предсказания модели из формулы модифицируется следующим образом:
Множитель перед первым слагаемым позволяет покрыть все возможные соотношения весовой значимости между каждым слагаемым ошибки с помощью значения параметров
от 0 до 1.
![](https://habrastorage.org/getpro/habr/upload_files/a22/656/790/a22656790c79ffd4c10cd60df081e499.png)
Как было отмечено выше, помимо гладкости отображения и сходства между преобразованным начальным и конечными изображениями важно получать отображения, которые будут отражать физические процессы, происходящие в области наблюдения со временем. Для получения физически обоснованных преобразований можно использовать регуляризаторы, в основе которых заложена физическая модель, описывающая механику среды. В частности, в статье Learning Physics-Inspired Regularization for Medical Image
Registration with Hypernetworks была предложена модель упругой среды для задачи деформируемой регистрации изображений лёгких. При этом гиперпараметры, получаемые в процессе обучения HyperMorph носят не абстрактный, а физический смысл! Это значит, что таким образом можно оценивать параметры среды в пределах применимости используемой физической модели.
VoxelMorph++
Ещё одной модификацией VoxelMorph является архитектура VoxelMorph++, которая позволяет улучшить качество деформируемой регистрации путём учёта ключевых точек (keypoints) в регионах интереса. В этой архитектуре была заменена голова сети VoxelMorph, которая позволяет сделать фокус на смещении соответствующих ключевых точек между изображениями, что повышает точность регистрации больших деформаций между изображениями.
![](https://habrastorage.org/getpro/habr/upload_files/5ac/47b/e12/5ac47be12e9246d35a636475cb1f4de2.png)
Такой подход позволил авторам статьи повысить качество деформируемой регистрации изображений для снимков лёгких. Помимо этого, предполагается, что VoxelMorph++ может быть использован для получения более точного отображения, если приходится иметь дело с изображениями мягких тканей организма.
Заключение.
Деформируемая регистрация изображений играет важную роль в современной медицинской диагностике, позволяя точно отслеживать изменения во времени и обеспечивая высокую точность в планировании лечения и оценке его эффективности.
Прогресс в методах регистрации: С развитием методов глубокого обучения, таких как VoxelMorph и его модификации, открываются новые возможности для улучшения качества и точности деформируемой регистрации. Эти методы предлагают более универсальные и адаптивные решения по сравнению с классическими подходами.
Физическая основа регистрации: Внедрение физически обоснованных регуляризаторов в процесс обучения нейросетей позволяет получать отображения, которые лучше отражают реальные физические процессы, происходящие в тканях, что является значительным прогрессом в области медицинской визуализации.
Перспективы развития: Постоянное совершенствование алгоритмов и архитектур нейросетей, таких как HyperMorph и VoxelMorph++, открывает новые горизонты для исследований и клинического применения деформируемой регистрации, делая её более точной и эффективной.
В целом, деформируемая регистрация изображений с использованием методов глубокого обучения представляет собой мощный инструмент, который будет продолжать развиваться и оказывать значительное влияние на медицинскую диагностику и лечение.
Статья написана при поддержке магистратуры "Прикладное машинное обучение и большие данные" НГУ.