Продолжаем разбираться со особенностями МРТ-данных для обучения нейронных сетей. Содержание и первые части цикла статей здесь.

8. Некоторые подходы к препроцессингу и аугментации данных

8.1. Выравнивание распределений и другие гистограммные методы

Выравнивание распределений широко применяется при обработке обычных изображений. Однако для них используется единая шкала значений от 0 до 255. МРТ-данные имеют каждое свою шкалу, значения которых порой достигают десятков тысяч. Это сильно затрудняет применение стандартных методов.

В основе гистограммных методов лежит изменение закона распределения вероятностей пикселей изображения. Как правило, для этого применяется нелинейное преобразование значений пикселей.

При этом вместо истинного распределения исходного изображения, плотность которого равна f(x) и неизвестна, используется оценка f*(x)– гистограмма значений пикселей, разделенная на их общее количество. Здесь x принимает целочисленные значения и изменяется в соответствии со шкалой значений пикселей от 0 до N.

Тогда оценка функции распределения как первообразной плотности будет определяться следующим образом:

Нелинейное преобразование y = change(x), призванное изменить распределение изображения на целевое G(y) с плотностью распределения g(y) и диапазоном значений [y_min, y_max], может быть задано через собственно целевую плотность распределения.

Например, рассмотрим так называемую гиперболизацию, которая имитирует восприятие изображений человеческим глазом, и чья плотность распределения задается следующим образом:

Приравнивая функции распределения, получаем:

Выражая y через x, получаем почти итоговое преобразование:

которое приводится к требуемому диапазону значений для получения окончательной функции y = change(x).

Чаще всего из гистограммных методов используется приведение распределения к равномерному:

Данное преобразование, называемое еще эквализацией гистограмм, выравнивает площади участков с разной интенсивностью значений пикселей и тем самым усиливает контраст.

Ниже представлены 2 слайса одного МРТ-исследования органов малого таза с артефактом от импланта тазобедренного сустава. Оба слайса преобразованы путем выравнивания распределений и последующего перевода в целочисленный диапазон [0, 255].

Рисунок 46. Примеры слайсов одного исследования. В первом столбце вверху – исходный слайс с хорошей контрастностью, ниже – исходный слайс с артефактами от импланта. Во втором столбце – эти же слайсы после выравнивания распределений. В третьей строке представлены функции плотностей вероятностей распределений значений пикселей до (слева) и после (справа) выравнивания, для верхнего слайса (оранжевым) и нижнего (синим).

Из графиков видно, что распределения и до преобразования были похожими, за исключением длинного «хвоста» слайса с артефактами. В данном случае «обрезание хвоста» (см. следующий раздел) может стать альтернативой выравниванию распределений, но в автоматическом режиме для всех возможных входных данных из разных исследований это сделать непросто.

8.2. Look-Up Table (LUT)

Как уже упоминалось ранее, значения пикселей слайсов исследования лежат в достаточно широком диапазоне. Обычно используется Unsigned Integer, т.е. максимальный диапазон составляет [0, 32767]. Реальный диапазон для каждого исследования (и даже для каждой серии исследования) свой. При этом значения распределяются неравномерно – чаще по мультимодальному распределению с сильным скосом влево и длинным хвостом.

https://euromedcompany.ru/images/articles/book15/img861.png — Рисунок 47. Гистограмма значений исследования [7]

Для того чтобы такие данные можно было отображать, например, на 8-битном экране, разработана схема Look-Up Table (LUT), которая определяет, каким образом значения переводятся в диапазон [0, 255] с сохранением максимального контраста в нужной области. Схема задается двумя параметрами:

Ширина (Width) – диапазон значений, которые остаются ненулевыми,
Уровень яркости (Level) – положение середины диапазона на шкале значений.

Все значения, которые попадают в выбранный диапазон, преобразуются в [0, 255] по линейному закону.

https://euromedcompany.ru/images/articles/book15/img891.png — Рисунок 48. Схема LUT [7]

Выбор параметров позволяет с максимальным контрастом отобразить требуемую область изображения.

Рисунок 49. Влияние параметров LUT на контраст изображений [7]

Эта схема, разработанная для операторов томографов и врачей, полезна и для DS-задач в качестве осмысленного преобразования исходных значений в диапазон [0, 255]. Параметры LUT могут быть подобраны экспериментально или по результатам анализа распределений пикселей в зоне интереса для каждой решаемой задачи.

Данная схема не является чем-то принципиально новым и давно и широко используется в гистограммных методах обработки обычных изображений. И сами преобразования там намного разнообразнее, например:

Рисунок 50. Примеры преобразований [источник]

Важным здесь является не использование стандартного метода под другим названием, а сам факт «врачи признают это полезным для диагностики», который является априорной информацией.

В DICOM-файлах существует несколько тэгов, которые могут быть использованы для параметров LUT:

(0028, 0106) Smallest Image Pixel Value
(0028, 0107) Largest Image Pixel Value
(0028, 1050) Window Center
(0028, 1051) Window Width

Значения двух последних могут быть установлены оператором для более контрастного выделения зоны интереса, однако это делается далеко не всегда. И часто значения данных тэгов установлены по умолчанию, что соответствует всему диапазону, например:

(0028, 0106) Smallest Image Pixel Value = 0
(0028, 0107) Largest Image Pixel Value = 3266
(0028, 1050) Window Center = '1633.0'
(0028, 1051) Window Width = '3266.0'

И даже при установке этих значений оператором, выбор параметров может оказаться не оптимальным. Тем не менее, анализ данных тэгов с установленными оператором значениями может оказаться полезным для разработки алгоритма автоматического выбора параметров LUT или при автоматическом препроцессинге (см. далее).

Рассмотрим пример из предыдущего раздела – 2 слайса одного МРТ-исследования органов малого таза с артефактом от импланта тазобедренного сустава. Второй слайс дополнительно преобразован через ручную установку параметров LUT в значения, совпадающие с параметрами по умолчанию для первого слайса.

Рисунок 51. Примеры слайсов одного исследования. Слева направо: исходный слайс с хорошей контрастностью, исходный слайс с артефактами от импланта, второй слайс с преобразованием LUT. Во второй строке представлены функции плотностей распределений значений пикселей — Рисунок 51. Примеры слайсов одного исследования. Слева направо: исходный слайс с хорошей контрастностью, исходный слайс с артефактами от импланта, второй слайс с преобразованием LUT.
Во второй строке представлены функции плотностей распределений значений пикселей

Данный подход тоже позволяет улучшить изображения, однако он более сложен при автоматической обработке большого количества разнородных слайсов. Тем не менее, анализ гистограмм, определение параметров LUT и применение этого алгоритма может помочь, например, при выделении таких тканей, которые занимают примерно одинаковые позиции на гистограммах. Даже незначительная обрезка значений слева и справа от этой области позволит усилить контраст нужных зон.

8.3. Автоматический препроцессинг

Кроме ручного подбора параметров препроцессинга сегодня все чаще используются методы, которые перекладывают эту задачу на еще одну нейронную сеть – GAN, Autoencoder, CNN и др. Цель такой сетки – преобразовать входные данные в те, которые будут максимально информативными для основной модели. При этом (в случае хорошо подобранной и обученной сетки-препроцессора) не только выравниваются распределения из разных доменов, но и сглаживаются различия в технических параметрах, связанные с разными томографами, условиями проведения исследований и т.п.

Например, можно использовать следующие подходы и их комбинации для обучения сетки-препроцессора, которая принимает на вход исходное изображение и преобразует его в целевое:

Добавление к исходному изображению шума;
Приведение распределения у целевого изображения к равномерному;
Обрезка значений у целевого изображения с помощью LUT, параметры которого для выборок могут быть установлены вручную при генерации целевых изображений.

В экспериментах по статистическому сравнительному анализу отмечают, что методы на основе машинного обучения превосходят статистические методы выравнивания признаков. Но единого мнения по поводу оптимальной архитектуры нет (например).

С помощью подобной же (или той же самой) сетки можно решить и проблему многоканальности – подавая на вход батч с количеством каналов, отличным от 3-х, получать на выходе 3-канальные изображения, которые можно передавать на вход сетке, предобученной на том же ImageNet-е. Сетка-препроцессор же сама будет выбирать те каналы или их комбинации, которые содержат максимум полезной информации для основной модели.

Недостатком такого подхода является увеличение суммарного времени инференса.

8.4. Особенности аугментации МРТ-данных

В данном разделе рассмотрим только несколько вариантов аугментаций, которые имеют смысл с точки зрения МРТ-данных или предназначены именно для них. Остальные способы, коих множество, стоит применять так же осторожно, как и для обычных изображений – не всегда можно заранее предсказать, какой из алгоритмов поможет в обучении, а какой нет.

Наиболее часто в публикациях об обучении нейронных сетей на МРТ-данных встречаются следующие стандартные аугментации:

HorizontalFlip – зеркалирование по горизонтали без геометрических искажений. Осмысленна, например, в аксиальных и фронтальных проекциях, поскольку большинство органов человеческого тела симметричны. Но и без учета этого факта полезна, т.к. редко, но встречается противоположное направление сканирования по той или иной оси. И вместо того, чтобы корректно обрабатывать подобные случаи на входе, можно просто усилить обучение данным методом.
VerticalFlip – зеркалирование по вертикали без геометрических искажений. Рассуждения о пользе аналогичны предыдущим касательно направления сканирования.
RandomRotate – поворот на произвольный угол относительно центра. Полезна, поскольку расположить тело пациента строго горизонтально непросто, а добиться одинакового положения изучаемого органа относительно осей глобальной СК на всех исследованиях невозможно. Когда же осуществляется поиск отдельных тканей, не имеющих более или менее стандартной формы (например, опухолей), можно использовать не только небольшие углы, но и весь доступный диапазон поворотов.
RandomCrop – произвольное выделение куска изображения. Во-первых, позволяет вырезать куски фиксированного размера из слайсов разных размеров и пропорций. Это вдвойне полезно, если осуществляется предварительное выравнивание размеров пикселей, что приводит к еще большему разнообразию размеров слайсов. Во-вторых, позволяет имитировать различные настройки позиционирования при проведении исследований.

Не все аугментации из стандартных наборов для картинок имеют смысл для МРТ-данных. Например, цветовые коррекции, операции с каналами типа перемешивания, добавление эффектов из реального мира и т.п. В отличие от равноправных RGB-каналов, на вход сетке чаще всего подаются либо 3 дубликата слайса анатомической серии для сегментации, либо набор слайсов из разных серий, каждая из которых несет свою информацию.

Некоторые аугментации осмысленны лишь частично и, возможно, потребуют кастомизации или собственной реализации. Например, рандомное «выключение» каналов позволяет имитировать отсутствие некоторых серий в исследованиях. Но при этом основная анатомическая серия должна присутствовать всегда, поэтому «выключаться» должны не все каналы.

Кроме стандартных методов, изначально созданных для обычных картинок, можно рассматривать и специфичные аугментации, предназначенные именно для МРТ-данных. Несколько примеров из фреймворка MONAI (источник):

RicianNoise – добавление к изображениям шума, характерного для МР-томографов.
GibbsNoise – имитация часто встречающихся артефактов Гиббса на МРТ-данных.
KSpaceSpikeNoise – имитация артефактов пика («елочек») в К-пространстве.
Spacing – ресайз изображений под указанные размеры пикселей в миллиметрах. Можно использовать при препроцессинге для унификации этого параметра, а можно дополнительно добавить небольшие изменения размеров пикселей при обучении.

МРТ для DataScience. Часть 8