Как стать автором
Обновить

Разметка трёхмерных моделей миокарда

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров1.2K

Здравствуйте, мы студенческая команда APIzza. Мы хотим поделиться с вами нашим опытом по разметке трёхмерных моделей из набора данных MedShapeNet, который был опубликован в 2023 году.

Так как набор данных включает в себя огромное количество трёхмерных моделей внутренних органов, кровеносных сосудов и костей, то было принято решение остановиться на разметке сердца, а точнее, миокарда.

Работа включала в себя две задачи:

  • Ручная разметка некоторого количества мэшей.

  • Обучение нейронной сети, способной размечать остальные мэши самостоятельно.

Для ручной разметки трёхмерных объектов использовалась MeshLab – программная система для обработки трёхмерных сеток и наши честные руки. В результате было размечено около 500 мэшей.

Объект в MeshLab
Объект в MeshLab

Ссылка на гит: GitHub — TeaWithSalt/APIzza

Далее началась работа по обучению нейронной сети:

Началось все с предобработки набора данных. Этап предобработки включал в себя несколько ключевых шагов, направленных на создание оптимального набора данных для обучения:

  • Преобразование в облако точек: каждый объект из набора данных был трансформирован в облако точек, предоставляя модели доступ к детализированной геометрии объектов.

  • Маркировка точек: каждая точка в облаке была корректно маркирована в соответствии с её цветом, обеспечивая точную разметку для обучения нейросети.

  • Нормализация объектов: все объекты были приведены к одному размеру, что способствовало более стабильному и эффективному обучению модели.

Облако точек
Облако точек

После предобработки данных был создан новый датасет с использованием библиотеки Keras (это высокоуровневая библиотека для машинного обучения, написанная на Python). Из-за особенностей работы модели PointNet к этому датасету нужно применить различные аугментации. Это сложные алгоритмы, которые требуют глубокого изучения принципов машинного обучения.

Ссылка на колаб: pointnet segmentation test.ipynb — Colaboratory (google.com)

В свете этих ограничений, мы приняли решение использовать альтернативную модель сегментации, разработанную в лаборатории суперкомпьютерных вычислений матмеха УрФУ и запущенную в 2023 году. Эта модель, работая на локальных признаках, успешней справляется с датасетом, минимизируя влияние потенциальных несовершенств в данных и обеспечивая более эффективное обучение.

Теги:
Хабы:
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Публикации

Истории

Работа

Data Scientist
93 вакансии
Python разработчик
196 вакансий

Ближайшие события

27 августа – 7 октября
Премия digital-кейсов «Проксима»
МоскваОнлайн
28 сентября – 5 октября
О! Хакатон
Онлайн
3 – 18 октября
Kokoc Hackathon 2024
Онлайн
10 – 11 октября
HR IT & Team Lead конференция «Битва за IT-таланты»
МоскваОнлайн
25 октября
Конференция по росту продуктов EGC’24
МоскваОнлайн
7 – 8 ноября
Конференция byteoilgas_conf 2024
МоскваОнлайн