Методическое пособие.

Фатеев Д.А., Фатеев О.Д.

ftvmetrics.com

Москва, январь 2021

ver 1.0

Интересные задачи присылайте в Инстаграм Direct

Методическое пособие можно скачать. Для просмотра необходимо загрузить бесплатный плеер WolframCDF.

Методическое пособие состоит из 3-х частей.

Часть 1 из 3 - ОБРАБОТКА ИЗОБРАЖЕНИЙ (124 Мб)

Часть 2 из 3 - МОРФОЛОГИЧЕСКАЯ ОБРАБОТКА (146 Мб)

Часть 3 из 3 - ОБЩИЕ ОПЦИИ (112 Мб)

Все части вместе zip архивом (283 Мб)

Сложности автоматизации в медицине и биологии связаны с экспериментальным и творческим характером работы, когда специалисты изначально не знают, что ищут и что могут найти. Поэтому непонятно, какие операции можно поставить «на поток» автоматизации.

По факту самым востребованным методом работы является итерационное чередование компьютерного и биологического зрения. На УЗИ врач исследует прибором подозрительные участки, которые фиксирует биологическим зрением (глазами) на получаемых компьютерных образах (мониторе).

В медицине и биологии работа с изображениями, полученными с помощью микроскопии, УЗИ, МРТ, тепловизоров, обладает существенными особенностями. Они связаны с необходимостью извлечения из изображений свойств, полезных для представления и описания изучаемых объектов (выделение контуров, остовов, выпуклых оболочек, мелких объектов).

Кроме того, для анализа изображений, полученных непосредственно с прибора, необходима их предварительная обработка для подавления внешних шумов, снижения уровня помех, возникших в результате дискретизации и квантования.

Применение машинного обучения в данной сфере ограничено малым количеством имеющихся примеров и спецификой каждого отдельного случая. В общем случае также неизвестно, на чем основывается то или иное решение искусственного интеллекта (невозможно восстановить логику). Можно либо соглашаться, что искусственным интеллектом принимаются удовлетворительные решения или нет. Такая ситуация еще больше затрудняет использование нейросетей.

В идеале желательно иметь возможность совмещать достижения современных информационных технологий и практического опыта и интуиции специалистов. Решением в данной ситуации является формирование промежуточных образов, которые одновременно могут восприниматься биологическим зрением специалистов и использоваться в вычислительных процедурах (в том числе, в нейросетях).

Математическая морфология позволяет создавать такие образы: выделять интересные объекты, используя различные формы их представления.

Особые перспективы математической морфологии связаны с началом применения тепловизоров при лапроскопических операциях: в ходе операции необходимо сопоставлять исходный рентген с патологией по якорям (особенностям) с изображением тепловизора для точного определения места патологии, поскольку операции под рентгеном запрещены.

Существует широкий набор функций для анализа и обработки 2D и 3D изображений, позволяющие решать реальные задачи: распознавать образы, описывать и выделять их детали, проводить морфологический анализ, вычислять их свойства, восстанавливать утраченные признаков и др.

Ниже представлен список некоторых возможных процедур обработки изображения и некоторых функций математической морфологии, с помощью которых можно их осуществить.

Далее приведены примеры использования операторов математической морфологии при обработке изображений, а также представлена структура и основные разделы Методического пособия.

Предварительная обработка изображения включает, в том числе, его базовый анализ, бинаризацию, фильтрацию, изменение размерности. Пороговая обработка позволяет изменить яркость и контрастность.

Для облегчения обработки изображения часто уменьшают количество цветов, используемых для его представления с помощью оператора ColorQuantize, как представлено для изображения гистологического препарата нейронов спинномозгового узла.

Увеличение контрастности и яркости изображения поздней бластулы лягушки проведено с помощью оператора Threshold:

Изображение пылевого клеща очищено от пыли с помощью оператора GeodesicOpening:

Удаление фона изображения мазка крови:

Выделение объектов в изображениях с помощью оператора ReplacePixelValue:

Псевдоколоризация изображений клеток кожицы лука и рентгеновских снимков.

Псевдоколоризацию изображения КТ головного мозга определяет чистая функция:

Сегментирование изображений:

Выделение интересуемой области изображения рентгена грудной клетки собаки, заданной с помощью бинарного изображения, с использованием HighlightImage[image,{RGBColor[0,0,1,1], Binarize[image]}] отдельно и совместно с оператором EdgeForm, сглаживающим границы:

Выделение указанных объектов:

Сегментация УЗИ-изображения с помощью RegionBinarize[image,mask,…]:

Выделение различных областей на изображении:

Изучение изображения мазка крови: разделение клеток крови и кокков:

Разделение компонентов гинекологического мазка:

Для выбора компонентов изображения с конкретными желаемыми характеристиками используют оператор MorphologicalComponents. Выбор может быть выполнен по расположению компонентов, их формам, свойствам интенсивности. Оператор используется для фильтрации нежелательных частей изображения, включая маленький или большой размер, касания границ, специфические формы компонентов.

С помощью оператора SelectComponents находят на изображении представляющие интерес объекты и свойства.

C помощью оператора HighlightImage на изображении можно выделить представляющие интерес компоненты. На правом рисунке выделены клетки больших размеров, не связанные с границей, найденные через вычисление центроидов и радиусов эквивалентных дисков.

С помощью оператора ComponentMeasurements вычисляют свойства объектов:

Вычисление некоторых свойств изображения нейтрофила:

Выделение сегмента изображения с помощью заданного алгоритма SelectComponents[DeleteSmallComponents[MorphologicalComponents[image,…]]] через установление представляющего интерес размера объекта:

Определение границ объектов:

Математические свойства объектов изображения:

Нахождение скелетона изображения и его опорных точек:

Построение графа изображения c помощью оператора MorphologicalGraph:

Отображение связанных областей канальцевой системы почек с помощью цвета:

Анализ взаимосвязей в микоризе:

Другие примеры обработки изображений:

Обработка изображения МРТ головного мозга:

Представление изображения в разных цветовых схемах:

Обработка изображения культуры дрожжей:

Стержневая корневая система:

Выделение морфологического периметра объектов изображения:

Обработка изображения микроскопического препарата с грибом рода Aspergillus:

Выделение интересуемой области для последующего её анализа в 3D реконструкции коленного сустава (из ExampleData):

СОДЕРЖАНИЕ

Глава 1. Файл 1: ОБРАБОТКА ИЗОБРАЖЕНИЙ

Характеристики цифрового изображения

Типы изображений
Цветовая модель
Получение изображения
Характеристики изображения
Многоканальное изображение как массив пиксельных данных
Интерфейс	ImageAssistant
Системы координат	Index Coordinates
	Image Coordinates
Преобразование систем координат	PixelValue
	PixelValuePositions
	ReplacePixelValue

Основные манипуляции с изображением

Изменение размеров изображения путем обрезки или заполнения
Обрезка заданной области изображения	ImageTake
Удаление граничных пикселей из изображения	ImageCrop
Извлечение областей из изображения	ImageTrim
Расширение изображения на границах	ImagePad
Изменение положения и размеров изображения через пересчет
Изменение размерности изображения	ImageResize
Уменьшение изображения	Thumbnail
Реверс изображения	ImageReflect
Поворот изображения вокруг центра	ImageRotate
Арифметические операции с изображениями
Сложение изображений	ImageAdd
Вычитание изображений	ImageSubtract
Умножение изображений	ImageMultiply

Глава 1. Файл 2: ОБРАБОТКА ИЗОБРАЖЕНИЙ

Точечные операции

Гистограммы изображений
Подсчёт количества значений пикселей	ImageLevels
Нахождение глобального порогового значения интенсивности	FindThreshold
Замена значений яркости, связанная с пороговым значением	Threshold
Построение гистограммы значений пикселей	ImageHistogram
Изменение контраста
Осветление	Lighter
Затемнение	Darker
Получение негативов	ColorNegate
Настройка изображения через контрастные растяжки и степенные преобразования	ImageAdjus
Настройка изображения через точечное преобразование	ImageApply
Операции с цветом
Преобразование цвета	ColorConvert
Квантование цвета	ColorQuantize
Преобразование многоканальных изображений в бинарные
Бинаризация	Binarize
Морфологическая бинаризация	MorphologicalBinarize
Локальная адаптивная бинаризация	LocalAdaptiveBinarize
Бинарная сегментация	RegionBinarize
Двухуровневая сегментация	ChanVeseBinarize

Операции на областях изображения

Линейные и нелинейные операторы
Конволюция изображения с заданным структурирующим элементом	ImageConvolve
Фильтрация через применение функции к окрестности пикселя	ImageFilter

Глава 2. Файл 3: МОРФОЛОГИЧЕСКАЯ ОБРАБОТКА

Математическая морфология

Основные понятия
Структурирующий элемент	BoxMatrix[r]
	DiskMatrix[r]
	IdentityMatrix[n]
	DiamondMatrix[r]
	CrossMatrix[r]

Операции математической морфологии

Основные операции
Морфологическое расширение	Dilation
Морфологическая эрозия	Erosion
Морфологическое размыкание	Opening
Морфологическое замыкание	Closing
Морфологические преобразования
Трансформация “удача-промах”	HitMissTransform
Морфологическая трансформация “дно шляпы”	BottomHatTransform
Морфологическая трансформация “верх шляпы”	TopHatTransform
Нахождение минимумов в областях изображения	MinDetect
Нахождение максимумов в областях изображения	MaxDetect
Заполняющая трансформация	FillingTransform
Морфологическая трансформация	MorphologicalTransform
Дистанционная трансформация	DistanceTransform
Инверсионная дистанционная трансформация	InverseDistanceTransform
Скелетон-трансформация	SkeletonTransform
Морфологическая реконструкция
Геодезическая дилатация	GeodesicDilation
Геодезическая эрозия	GeodesicErosion
Геодезическое замыкание	GeodesicClosing
Геодезическое размыкание	GeodesicOpening
Морфологический анализ
Морфологическое утончение	Thinning
Морфологическое усечение	Pruning
Морфологический граф	MorphologicalGraph
Выделение точек ветвления скелетона	MorphologicalBranchPoints
Вычисление морфологического числа Эйлера	MorphologicalEulerNumber
Вычисление морфологического периметра	MorphologicalPerimeter
Сегментационный анализ
Морфологические компоненты	MorphologicalComponents
Сегментирование изображения по цветовому сходству объектов	ImageForestingComponents
Кластеризация компонентов	ClusteringComponents
Сегментация изображения с помощью трансформации водораздела	WatershedComponents
Сегментация изображения с помощью концепции клеточного аппарата	GrowCutComponents
Удаление фона	RemoveBackground
Анализ компонентов
Определение свойств компонентов	ComponentMeasurements
Выбор компонентов с заданными характеристиками	SelectComponents
Удаление маленьких компонентов	DeleteSmallComponents
Обработка объектов, связанных с границей изображения	DeleteBorderComponents
Колоризация компонентов	Colorize
Выделение представляющего интерес объекта изображения	HighlightImage

Глава 3. Файл 3: ОБЩИЕ ОПЦИИ

Указание конфигурации окрестности	CornerNeighbors
Указание на способ определения расстояния между точками	DistanceFunction
Указание на используемый метод вычисления	Method
Указание на способ заполнения при расширении за пределы исходных данных	Padding

Стандартная спецификация последовательностей в аргументе

Список возможных цветовых градиентов

Математическая морфология в примерах из медицины и биологии