Comments 2
Тут изначально не правильный подход к выбору архитектуры. Вам следовало использовать Jepa. Вы работает фактически с шумом, который надо обобщить. Описанные ваше архитектуры, учатся улавливать шум. Тут используется Dual-Scheme Domain-Selected Network (Анализ УЗИ).
Формально:
Сеть решает проблему "сдвига домена", когда ИИ, обученный на обычных 2D-УЗИ, плохо работает на контрастных УЗИ. Архитектура использует выравнивание признаков, чтобы эффективно переносить знания между разными типами медицинских аппаратов.
Изначально главная задача DS2Net в анализе УЗИ была нужна, чтобы решить проблему сдвига доменов УЗИ, сделанных на старом аппарате в одной клинике на аппарат другой клиники (более современный). То есть эта архитектура была нужна как умный фильтр на входе. Использовать ее для классификации пользы не даст.
Здесь это описано более подробно и объясняется почему.
DS2Net тоже борется с шумом, но делает это классическими костылями и намного менее качественно, чем EchoJEPA. Чтобы DS2Net поняла, где важная геометрия, а где шум, ей нужны тысячи снимков, где врачи вручную обвели опухоли. Она не понимает общую картину в целом, вместо этого просто ищет корреляции между пикселями и пиксельной маской.
Поэтому если вы принесете в клинику УЗИ-аппарат совершенно нового поколения, шум на котором кардинально отличается от того, что видела DS2Net при обучении, её классификация сломается. Она начнет путать новые шумовые паттерны с анатомическими структурами. Она учится шуму, просто пытается его сгруппировать.
Я ранее описывал это в комментарии, к одной из статей.
https://habr.com/ru/news/1018328/comments/#comment_29766370
EchoJEPA (обученная на 18 млн видео-УЗИ) совершила прорыв именно потому, что JEPA предсказывает смысл в скрытом (абстрактном) пространстве, полностью игнорируя пиксельный шум. Она обучается без учителя, "понимает" анатомию как единое целое и игнорирует спекл-шума.
Спасибо! Замечание про JEPA уместное. В этой статье мы не пытались выбрать универсальную базовую архитектуру, проверяли более узкий вопрос - как разные способы подачи области интереса меняют поведение классификатора при одной и той же схеме эксперимента.
С DS2Net согласны. Исходно это архитектура для переноса между доменами и сегментации. Поэтому напрямую сравнивать её с классификатором ROI не совсем корректно.
Направление JEPA действительно интересное. Но EchoJEPA обучалась на видео эхокардиографии, то есть на другой анатомии и другом типе данных. Поэтому прямой перенос на гинекологическое УЗИ требует отдельной проверки.
Неоднозначные выводы о ROI в УЗИ классификации