TL;DR. Я сравнила четыре архитектуры на КТ грудной клетки: UNet 3+ и nnU‑Net v2 для сегментации узлов (LIDC‑IDRI), EfficientNet‑B0 и Swin‑Tiny для классификации срезов. В классификации Swin‑Tiny точнее (accuracy 0,924 против 0,832, один запуск). В сегментации честного сравнения не получилось: на подвыборке из 113 обучающих узлов ни одна из самописных сетей не обобщилась (Dice на тесте 0,01–0,02), и я разбираю, почему.

Введение

Рак лёгкого остаётся одной из главных причин смерти от онкологии, а на ранних стадиях проявляется слабо. Радиологу приходится просматривать сотни срезов одного исследования, и небольшой узел легко пропустить. Помочь могут две автоматические задачи: сегментация узлов (разметка вокселей, которые принадлежат очагу) и классификация среза по типу патологии.

Для этих задач применяют свёрточные сети (UNet 3+, nnU‑Net, EfficientNet) и трансформеры (Swin). Авторы обучают их на разных данных с разной предобработкой, поэтому цифры из разных статей напрямую сравнивать нельзя. Я поставила цель сравнить UNet 3+ и nnU‑Net в сегментации узлов, а EfficientNet‑B0 и Swin Transformer в классификации КТ‑срезов в одинаковых условиях. Гипотезы были такими: Swin окажется точнее EfficientNet‑B0, а на малой выборке nnU‑Net обучится стабильнее самописного UNet 3+.

Данные

Сегментация. Я взяла LIDC‑IDRI: КТ грудной клетки, где узлы разметили четыре рентгенолога. Весь набор занимает около 124 ГБ, а на бесплатном Kaggle диск и время сессии ограничены, поэтому я собрала подвыборку lidc-148: 148 пациентов, у 48 есть узлы. Делила по пациентам, чтобы срезы одного человека не попали в обучение и тест одновременно: 103 / 22 / 23 пациента. Эталоном служила консенсусная маска.

Рисунок 1. Срезы КТ из LIDC-IDRI с контурами разметки узлов.
Рисунок 1. Срезы КТ из LIDC‑IDRI с контурами разметки узлов.

Классификация. Открытый набор Chest CT‑Scan Images с Kaggle: четыре класса (аденокарцинома, крупноклеточная и плоскоклеточная карциномы, норма), 1226 / 148 / 630 изображений для обучения, валидации и теста. Все изображения приведены к размеру 224×224.

Методы

Модели. Для сегментации: 3D UNet 3+ (полномасштабные связи по Huang et al., 2020; я реализовала 3D‑вариант самостоятельно) и nnU‑Net v2 в конфигурации 3 d_fullres, который сам подбирает предобработку, патч и параметры обучения. Для классификации: EfficientNet‑B0 (4,0 млн параметров) и Swin‑Tiny (27,5 млн), обе с предобучением на ImageNet.

Обучение. Классификаторы обучались одинаково: Adam, lr 1 e-4, batch 16, 20 эпох. Для сегментации в итоговом эксперименте я написала обе сети (3D UNet и 3D UNet 3+) и обучала их одним кодом на вырезках 48³ вокруг узлов и случайных пустых вырезках: SGD с momentum 0,99 и lr 1 e-2, лосс BCE, затем BCE + Dice. Порог и эпоху выбирала по валидации при доле ложных срабатываний на пустых вырезках не выше 30%.

Метрики. Dice, IoU, чувствительность и точность для сегментации; accuracy и macro‑F1 для классификации. Для сегментации также считала доверительные интервалы (bootstrap по узлам) и парный критерий Вилкоксона.

Результаты

Классификация

Рисунок 3. Accuracy и macro-F1 на тесте из 630 изображений, один запуск.
Рисунок 3. Accuracy и macro‑F1 на тесте из 630 изображений, один запуск.

Показатель

EfficientNet‑B0

Swin‑Tiny

Accuracy

0,8317

0,9238

Macro‑F1

0,8412

0,9358

Параметры, млн

4,0

27,5

Время обучения, мин

44,4

85,6

Когда я впервые сравнила результаты, преимущество Swin‑Tiny оказалось заметным: разница по accuracy составила 0,092, по macro‑F1 — 0,095. Но вместе с точностью выросли и вычислительные затраты. Обучение заняло 85,6 минуты вместо 44,4 у EfficientNet‑B0. Количество параметров тоже существенно различается — 27,5 млн против 4 млн.

Поэтому результат оказался не таким однозначным, как может показаться по одной только accuracy. Swin‑Tiny лучше справилась с классификацией в этом эксперименте, но EfficientNet‑B0 значительно легче и быстрее.

Сложнее всего обеим моделям далась аденокарцинома, которую они путали с плоскоклеточной (в 17% случаев у EfficientNet и в 15% у Swin). Крупноклеточную карциному Swin находит с полнотой 1,00, а EfficientNet только 0,73.

Сегментация

В первых запусках (подвыборки по 103–114 томов, 30 эпох) на валидации nnU‑Net v2 дошёл до Dice 0,4825, а 3D UNet 3+ — до 0,3241; на тесте UNet 3+ показал почти ноль. Я не стала опираться на эти числа: подвыборки менялись между запусками, nnU‑Net учился 30 эпох вместо стандартных 1000 [проверь, что валидация шла вне обучения], а нулевой результат оказался следствием ошибок в данных и обучении (см. «Обсуждение»).

После исправлений я провела единый эксперимент на вырезках. Узлы оказались мелкими: медианный эквивалентный диаметр около 6 вокселей. В обучении было 113 узлов у 33 пациентов, в тесте — 27 узлов.

Модель

Dice на тесте

95% ДИ

3D UNet

0,013

0,002–0,026

3D UNet 3+

0,017

0,009–0,026

Различие между сетями незначимо (критерий Вилкоксона, p = 0,53). Dice на обучении растёт, а на валидации падает почти до нуля: сеть запоминает обучающие узлы и не обобщается.

Рисунок 2. Dice на обучении (зелёная линия) и на валидации (оранжевая) по эпохам.
Рисунок 2. Dice на обучении (зелёная линия) и на валидации (оранжевая) по эпохам.

Что пошло не так с сегментацией

Классификация. Гипотеза подтвердилась: Swin точнее EfficientNet‑B0 примерно на 9 п. п. Возможно, помогают иерархические признаки и внимание в сдвигаемых окнах, но без абляций и повторных запусков это только предположение. На практике выбор зависит от ресурсов: EfficientNet быстрее и легче.

Сегментация. Я ожидала, что после настройки моделей качество сегментации будет постепенно улучшаться. Но оказалось, что некоторые проблемы находились гораздо раньше — ещё до начала обучения. Когда я стала проверять данные и промежуточные результаты, обнаружилось несколько ошибок, которые напрямую влияли на работу сетей:

  1. Двойная нормировка. NIfTI из lidc-148 уже хранятся в диапазоне [0, 1] (перцентили 1/25/50/75/99 = 0 / 0,234 / 0,3 / 0,861 / 1,0). Я применила к ним окно в единицах Хаунсфилда, и изображение стало почти константным (около 0,714): сети нечему было учиться.

  2. Дисбаланс патчей. При случайной выборке только 8–10% патчей содержали узел. Выбор положительного пациента и центрирование патча на узле со сдвигом подняли долю до половины.

  3. Лосс на пустых батчах. Dice с ε = 1 на батчах без узла выглядит хорошо и толкает вероятности к нулю; с ε = 1 e-5 поведение нормализовалось.

Полезным оказался и тест «переобучиться на двух патчах»: AdamW с lr 1 e-3 дал Dice 0,000, а SGD с momentum 0,99 и lr 1 e-2 — 0,852 за 200 шагов.

Ограничения

  1. Подвыборка мала: 113 обучающих узлов у 33 пациентов, 27 тестовых узлов, одно разбиение.

  2. Узлы мелкие, а для таких объектов Dice по каждому узлу получается низким даже у хороших моделей.

  3. Каждая модель запускалась один раз, а nnU‑Net обучался 30 эпох вместо 1000.

  4. В классификации не проверялись дубликаты между выборками и нет доверительных интервалов.

Заключение

В классификации Swin‑Tiny превзошёл EfficientNet‑B0 (accuracy 0,9238 против 0,8317), хотя обучался почти вдвое дольше. В сегментации узлов на небольшой подвыборке LIDC‑IDRI ни UNet 3+, ни обычный 3D UNet не обобщились (Dice 0,01–0,02 на тесте), и сравнивать архитектуры рано: главная проблема — объём данных. Прежде чем сравнивать архитектуры, нужно проверить, что именно получает сеть на вход, как устроена выборка патчей и ведёт ли себя лосс на пустых батчах. Я продолжу обучать модель на более больших данных и посмотрю результаты там.

Источники

  1. Armato S. G. et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): a completed reference database of lung nodules on CT scans. Medical Physics, 2011, 38(2), 915–931. DOI 10.1118/1.3528204.

  2. Huang H. et al. UNet 3+: A Full‑Scale Connected UNet for Medical Image Segmentation. ICASSP 2020. arXiv:2004.08790.

  3. Isensee F. et al. nnU‑Net: a self‑configuring method for deep learning‑based biomedical image segmentation. Nature Methods, 2021, 18(2), 203–211. PubMed.

  4. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML 2019. arXiv:1905.11946.

  5. Liu Z. et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021. arXiv:2103.14030.

  6. Достовалова А. М., Горшенин А. К., Старичкова Ю. В., Арзамасов К. М. Сравнительный анализ модификаций нейросетевых архитектур U‑Net в задаче сегментации медицинских изображений. 2024. Ссылка. [дополни: название журнала, том, номер, страницы]

  7. Пашина Т. А., Гайдель А. В., Зельтер П. М., Капишников А. В., Никоноров А. В. Сравнение алгоритмов выделения области интереса на компьютерных томограммах лёгких. Компьютерная оптика, 2020, т. 44, № 1, с. 74–81. PDF.

  8. Семёнов А. В. Сравнение методов сегментации зубов на снимках рентгеновской микротомографии // Искусственный интеллект в промышленных, коммерческих, медицинских и финансовых приложениях, 2026: сб. ст. науч.‑техн. семинара студентов. Вып. 6 / под ред. А. Р. Ефимова. М.: НИТУ «МИСИС», 2026. С. 113. EDN QTUZKL. eLIBRARY.

  9. Исаченко М. К., Парчиев Р. Б. Сегментация медицинских изображений с помощью DUCK‑Net // Искусственный интеллект в промышленных, коммерческих, медицинских и финансовых приложениях, 2024: сб. ст. науч.‑техн. семинара студентов. Вып. 2 / под ред. А. Р. Ефимова. М.: НИТУ «МИСИС», 2024. С. 54–60. EDN TESNHV. eLIBRARY.

  10. Блинов К., Курочкин И. И. Подбор гиперпараметров для синхронного метода распределённого глубокого обучения при решении задач классификации изображений // International Workshop on Information, Computation, and Control Systems for Distributed Environments (ICCS‑DE), 2025. С. 55–60. DOI.