Комментарии 2
Всё более менее понятно и ожидаемо, кроме последней картинки. Зачем такой циклопический робот в таком огромном зале? чтобы обработать зону размером с орех/яблоко/арбуз можно было найти гораздо более скромный конструктив. Этот робот может дотянуться в любой уголок этого зала и там что-то обработать, только не понятно зачем.
Кхем. Как рентгенолог, который очень сильно интересуется CV и автоматизацией своей работы - результат ну очень плачевный. Как минимум на представленных изображениях.
Картинка1. Представлены 3 рентгенограммы грудной клетки.
Рентгенограмма 1: В проекции вехней доли левого легкого (на картинке для нас справа, если что) нейросеть увидела кусок обызвествленного ребра за патологию. В нижней доли левого легкого рисунок усилен, можно предположить инфильтрат, но на что именно он указывает в правом легком мне вообще не понятно.
Рентгенограмма 2. Тут двусторонняя полисегментарная пневмония. Поражено оба лёгких тотально(!) и на всем протяжении. Он при этом плавает и указывает какие-то случайные сегменты и участки и пропускает очень важное при этом. Да что-то увидел, но... Ужас
Рентгенограмма 3. Аналоично случайные участки. Нейросеть не увидела ни консолидированного перелома ребер справа, ни деформированный легочный рисунок снизу за тенью от сердца, ни деформированные корни легкого. У меня реально встает ощущение будто это просто рандомные зоны.
Картинка 2. Сегментация Компьютерной томографии. По сути тут у нас воксельное 3д (На самом деле просто серия обычных 2д ЧБ картинок, которую потом софт реконструирует), есть где нейросети можно развернуться более широко и ей проще ориентироваться. Особенно помогает то, что КТ жестко привязано к плотности ткани, что позволяет более точно ориентироваться нейросети.
Однако вместе с этим позвонок L4 элементарно нейросетью пропущен и не размечен.
Как нейросеть будет работать с графическими артефактами, помехами, элементарно разной картинкой, которую дают разные рентген аппараты (те же касеты CR убитые, который дает линии артефакты на которые будет тригериться нейросеть - непонятно)
Про DICOM материал тоже... Странный. DICOM крайне простой и стандартизированный формат. Просто ЧБ изображение с одним каналом с u16 на один пиксель для большей точности. (Про ПЭТ и ОФЭТ не упоминаю, там отдельная тема) Дальше в файле идёт пачка стандартизированных тегов, которые каждый вьювер всю и так более чем выводит и которые можно легко убратью Причем тут что можно расположить - мне вообще непонятно. Каждый вьювер делает по своему и обычно это убирается при надобности. Дефолтное КТ обычно 512*512 и дальше от толщины среза и объема исследования (смотря что захватывать). Данные не просто должен подготавливать врач. Там должно быть минимум 2 или 3 чтения, для верификации интерпретации.
По поводу Нейросетей - Я не понимаю почему у нас все господа программисты метят себе лавры крутых мэтров, которые стремятся заменить специалистов, которые учатся минимум 8 лет, а после еще пару лет лишь опыт набивают чтоб хоть что-то потом начать адекватно интерпретировать. Научитесь хотя бы видеть структуры на том же рентгене! Дайте оболочку в виде интерфейса, где врач элементарно может сам быстро отметить патологии удобно, а после софт облачал бы это в текстовый протокол! Это уже будет пропрыв в медицине в контексте объема работ, которые могут осилить врачи. Почему у нас нейросетевые разрабы идут искать патологии не понимая толком нормы, анатомии, патфиза уже сразу ныряют в описание, где очень часто имеет значение вообще любая мелочь вплоть до анамнеза - мне непонятно. Не дошло у нас CV пока до такого уровня. Сейчас оно буквально мешает и вредит врачу (Напомню, в диагностике желательно кол-во ошибок свестись к максимальному минимуму), отвлекая его внимания и проще выключить самостоятельно как по мне.
P.S. За МРТ мне не хватает адекватно стажа и опыта и судить пока не берусь, честно.
Прошу прощения за стену текста, если что.
CV в медицине: как компьютерное зрение помогает лечить болезни