Привет, читатель!
Недавно мне довелось пообщаться с новаторами от мира дополненной реальности (AR). Это научно-практический коллектив, который проводит исследование и обучение применению технологий AR в хирургических операциях. Вы ведь не думали, что дополненная реальность — это только симуляция в играх? В общем, прошу под кат — к интервью с разработчиками и истории совмещения передовых визуальных технологий с хирургическими инструментами.
На встрече по пет-проекту коллеги упоминали о наличии у знакомых врачей очков дополненной реальности и их применении при проведении операций. Сами технологии по отдельности — хирургия, трекинг объектов в пространстве, приложения дополненной реальности — существуют достаточно давно. Однако, чтобы их соединить в один продукт, необходимо приложить немало труда. Я связался с разработчиками системы, чтобы познакомиться с проектом Medgital, попробовать повзаимодействовать с дополненной реальностью и поделиться информацией.
Для демонстрации работы приборов и программ коллеги позволили сделать снимки в кабинете с ранее используемыми моделями и макетами. Фото- и видеоматериалы выкладываю с их одобрения и согласия.
Первые 100 операций
На вопросы отвечает разработчик навигационной системы дополненной реальности Ильдар Рафаэльевич Мамаев.
Расскажите, с чего начался проект?
История проекта начинается в Политехническом университете Санкт-Петербурга на кафедре информационных технологий. На ее базе существовала лаборатория визуализации компьютерной графики. Изначально она фокусировалась на исследовательских проектах, а с 2015 года переключилась на медицинские.
Специалисты лаборатории разработали тренажер для открытой хирургии по просьбе одной из клиник. Тогда же, в 2015 году, началось их сотрудничество. Результаты первого проекта демонстрировали на выставках, мы получили несколько наград. На мероприятиях встретили большой отклик заинтересованных в разработках с использованием инновационных методов компьютерной графики и визуализации.
Научный коллектив обнаружил большой потенциал визуальных технологий. Устанавливали новые контакты с клиниками, постоянно пробовали применять различные технологии в медицине. Прорабатывали различные устройства и консультировались с врачами для поиска оптимальных ниш и потенциально интересных проектов. В ходе ресерча тематики разработали технологии по реконструкции и построению трехмерной модели сердца.
Как от визуализации пришли к смешанной реальности?
В 2018 году приобрели очки дополненной реальности Microsoft Hololens. Сразу же возникла идея визуализировать анатомию в этих очках в виде трехмерной модели и применять метод сопоставления ее с пациентом. В течении года создали первый прототип, опубликовали несколько статей по этой тематике. Однако проект немного тормозил из-за технических ограничений очков и сложностей, связанных с отслеживанием и позиционированием.
Когда появилось новое поколение устройств, мы поняли, что оптимизированная технология позиционирования может применяться в операциях. В конце 2020 и начале 2021 годов мы смогли заинтересовать Первый медицинский университет и клинику Алмазова в проведении операций с использованием новой технологии. Изначально применяли сырую версию системы позиционирования, поэтому приходилось корректировать ее под каждого пациента индивидуально.
Какой результат был после первых операций с прототипом системы?
Успех этих операций подтолкнул лабораторию к новым исследованиям и разработкам. А для этого нужны были деньги. Летом 2021 года заинтересовали двух инвесторов, которые профинансировали создание MVP. В течении следующего года доработали систему, сделав ее адаптируемой для разных пациентов без необходимости индивидуального изготовления элементов. Уже в 2022 году провели около 20 операций в области стоматологии челюстно-лицевой хирургии. В том же году получили грант от фонда Бортника и начали регистрацию медицинского изделия. Позже стали резидентами «Сколково».
В 2023 году количество операций, проведенных с использованием нашей системы, приближалось к 100. По состоянию на июль 2024 года мы работаем с двенадцатью различными клиниками в Санкт-Петербурге, в Москве и других регионах.
Помимо развлечений, эти технологии применяются так же в маркетинге, образовательных целях, и, с недавних пор, в медицине.
Обучение работе с системой
Какие задачи вы как разработчик выполняете в проекте?
Прежде всего, это разработка новых фич, которые масштабируют наш проект в других направлениях. Также занимаюсь поддержкой софта, который используется в очках дополненной реальности. В мои обязанности входит подготовка учебных материалов, обучение хирургов и других клиентов, которые приобретают наше программное обеспечение и оборудование. Периодически езжу в деловые командировки, участвую в выставках. В будущем планирую выступать и на конференциях.
Требуется ли специальное обучение для разработки?
Я обучался на физика, потом переучился на программиста. Я не врач, хотя необходимый минимум знаний, например в области анатомии, неизбежно приобретается в процессе работы.
На вопросы отвечает доктор медицинских наук, профессор Михаил Сергеевич Коржук.
Какой опыт требуется специалистам для работы с очками?
Дополненная реальность — достаточно сложный инструмент, который требует от хирурга определенных навыков. Плюсы его использования: выбор наилучших вариантов разъединения и соединения тканей и органов, снижение риска осложнений, сокращение времени операции. Но есть и минусы: большой объем подготовительной работы и непривычность оперирования в AR-очках. Не все, но некоторые недостатки можно преодолеть, используя дистанционную онлайн-работу.
Персонал, использующий очки, — преимущественно хирурги со стажем, которым актуально получить опережающую хирургическую информацию, предупредить и исключить потенциальные сложности. Они высоко оценивают технологию. Молодым специалистам система кажется не более, чем зрелищной.
Как используется система в образовании?
Мы накопили базу 3D-моделей пациентов. С их разрешения используем ее в обучении студентов-медиков для иллюстрации как нормальной анатомической картины, так и соответствующих поражений. Демонстрируем модели через AR-очки или на мониторе. Можно считать, что это виртуальный анатомический атлас. Также для учебных целей распечатываем некоторые элементы 3D-моделей из пластика.
Технологии в действии
Коллеги предоставили возможность протестировать добавление модели и совмещение с оснасткой. По ощущениям — как Тони Старк в «Железном человеке» чертежи в пространстве раскидывал. К сожалению, запись отличается от реальности и имеет задержки и небольшие нестыковки.
В чем заключается применение технологий дополненной реальности в медицине?
Суть AR в том, чтобы одновременно предоставить пользователю информацию из двух источников: от его органов чувств (восприятие реального мира) и с компьютера. Если информация из виртуального мира используется для воздействия на реальный объект, технология называется «смешанной реальностью». В качестве исходных данных в ней используются DICOM-файлы КТ или МРТ. В программе 3D-Slicer производится визуализация, редактирование и сохранение информации о пациенте и заболевании в формате 3D-модели. В ряде случаев сохраняем данные и об этапах операции.
Как проходит подготовка к операции?
Первый этап — подготовка к операции — включает выполнение КТ или МРТ. Затем бригада специалистов разного профиля (хирург, онколог, травматолог, рентгенолог) формирует 3D-модель. Эта часть работы называется сегментацией. Особое внимание уделяется ключевым особенностям пациента и пораженных органов. Далее консилиум оценивает детальность и качество модели, иногда рекомендует доработки.
Модель может быть использована как персональный анатомический атлас пациента, карта хирургической навигации с отметкой зон и этапов повышенного хирургического риска, а также для изготовления медицинского оснащения. В последнем случае подготавливаются и передаются в 3D-печать трехмерные модели медицинских изделий. Например, пластиковая док-шина, созданная под конкретного пациента, обеспечивает необходимое для проведения манипуляций стабильное положение конечности. В зависимости от того, как планируется использовать 3D-модель, подбирается устройство ее отображения. Это может быть монитор, проектор, AR-очки.
В качестве примера — клинический случай одного из пациентов с инородным телом в стопе.
Навигационная система, в состав которой входят очки дополненной реальности, позволяет привязать 3D-модель к пациенту. Для этого модель дорабатывают с помощью ПО Medgital Studio, разработанного с использованием графического движка Unity. В окнах программы отмечаются оси сопоставления, оси для введения инструмента, опорные точки модели. Отмечаются не менее трех статичных точек для фиксации маркера модели. Маркер входит в комплект навигационной системы и имеет QR-код для привязки.
Далее исходные файлы DICOM и файлы 3D-модели загружаются в MegitalVision. В приложении выполняется настройка цветового отображения, функций прозрачности элементов изображения. Загружаются 3D-модели осей, опорных точек, инородных тел и дополнительных слоев, например, поверхности кожи. Выполняется совмещение моделей со сканом. Для каждой добавленной модели задается собственный цвет. Последним этапом добавляются точки крепления QR-кода. Затем файлы в автоматическом режиме передаются в память очков.
Последний этап — проведение операции. Во время подготовки и после анестезии пациенту придается положение, в котором выполнялась компьютерная томография. Конечность можно зафиксировать при помощи оснастки. На заранее отмеченные места крепится пластина с QR-кодом. Оперирующий врач с помощью ассистента надевает очки и в виртуальном меню выбирает файл модели пациента. По QR-коду производится автоматическое совмещение модели с телом пациента. Затем — сама манипуляция. Оси, опорные точки, изображения органов используются как ориентиры этапов операции.
Вы упомянули, что используется 3D-печать. Насколько это распространено в хирургии? Мне известно, что наибольшее распространение технология получила в стоматологии.
Многие авторы научных работ используют напечатанные модели органов пациента для лучшей ориентации в анатомической картине. Нам это не особенно нужно, поскольку есть возможность изучить модель в очках дополненной реальности. А вот для изготовления персональных медицинских изделий 3D-печать — хорошая опция. В приведенном выше примере шина содержала направляющие каналы для указывающих местоположение инородного тела стержней.
Планы по продвижению системы и ее использованию
Ильдар Мамаев:
Мы продемонстрировали нашу систему на международных выставках, включая презентацию в Бахрейне, в министерстве здравоохранения в Дубае и Турции. Мы видим большую заинтересованность потенциальных клиентов. На данный момент у нас есть регистрационное удостоверение на медицинское изделие. Созданное решение является уникальным на российском рынке и нашу систему активно используют в ведущих клиниках страны.
Михаил Коржук:
Дополненная реальность применяется в ряде медицинских организаций в Санкт-Петербурге и Москве. Количество пролеченных с ее помощью больных исчисляется сотнями. Большинство из них с успехом оперированы. Основной вектор нашей работы в настоящее время — упрощение технологии для конечного пользователя-врача, формирование профессионального сообщества по использованию технологии дополненной реальности в хирургии. Мы создали курс повышения квалификации врачей по этому направлению. Так мы создаем фундамент широкого применения этого сложного, но крайне полезного для здоровья пациентов раздела IT.
