Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Здоровье доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 23
Господа-Товарищи , поясните п-та отставшему от этого мира рядовому электронщику . Почему нельзя написать специальную программу для интерпретации маммограмм и рентгеновских снимков ( именно для этого ) ? Зачем эти снимки пихать не пойми куда в ИИ ?
Так вы слона не продадите! и хайпа не получите и денег вам не дадут
Анализ снимка весьма не тривиальная задача с сложно формулируемыми критериями.
С распознаванием букв со скана проблем намного меньше - там есть конечное число четких признаков и форм которые ищем, с живыми объектами сильно сложней.
Для неформализуемой задачи нельзя описать алгоритм, а значит, и написать программу
Поясняю. Лучшие системы распознавания образов, построенные на традиционных (детерминированных) подходах имели точность порядка 70%, пока нейронки на это дело не натравили. Распознавание картинок как раз отличная задача для нейросети. Попробуйте мысленно построить четкий алгоритм (если - то) как отличить кошку от собаки.
Просто нейронки сейчас принято называть ИИ.
Между тем исследователи предупредили о новой уязвимости в медицинском ИИ: сгенерированные нейросетями рентгеновские снимки уже достаточно реалистичны, чтобы вводить в заблуждение не только людей, но и сами системы.
Не совсем понял при чем тут это. Ну генерирует ИИ картинки и что? Как это мешает другому ИИ читать настоящие снимки? Или они хотят в рентгенограф воткнуть ИИ которая будет "апскейлить" (вставить любую другую трансформацию) реальный снимок?
Скорее всего будет центральный сервак (облако) с нейронкой, распознающей снимки, получаемые от рентгенаппаратов с мест. И вот тут возникает поле для "экспериментов" со сгенерированными изображениями... Как минимум появляется лазейка для мошенников.
А вообще плохо... уверен что в 90-95% случает снимки будут распознаваться не хуже чем человеком. Но не дай бог вам оказаться в других 5-10%....
И чем это хуже текущей ситуации? Моему ребенку после перелома (сложного) и лечения в гипсе сделали повторный после снятия гипса и вынимания шунта(что-то похожего) и тут началось самое веселое. Все врачи разделились на два вида: 1. Перелом не сросся и необходимо дальше в обязательном порядке гипс и 2. Всё в порядке. Наверное врачей 6-8 прошли, в итоге всё же решили гипс, т к. Рисковать не хотелось. Есть ещё много случаев, короче люди ошибаются так же часто, если не чаще. Вам просто везло не попасть в группу невезучих
Я бы сказал иначе. Человек не увидит болезнь у десяти пациентов, а нейронка - у двух, но других. И человек, глядя на снимки этих двух потом, искренне скажет, что сразу бы заметил! И вот эти двое будут всем журналистам рассказывать, что нейронка их убила. Что в принципе даже верно. Но в общей картине - неправда. То же самое с самоуправляемыми автомобилями и любой опасной задачей, где внедряют ИИ.
Осталось узнать какая выгода мошенникам. Так-то больше проблем, если данные, скажем, сотрут.
А по поводу 5-10% - так оно и так и так лотерея. К тому же обычно можно получить копию снимка и отнести на второе мнение. С другой стороны - не будет людей, которые смотрят на снимки - не будет новых данных для обучения этих самых ИИ.
Любой метод диагностики, любой анализ и т.п. имеют вероятности ложноположительного и ложноотрицательного результата. И живые врачи сплошь и рядом ошибаются с диагнозами. И я не сомневаюсь, что никто не будет назначать операцию и химиотерапию без перепроверки живым врачом.
Тут опасность обратная - пропустить болезнь. Ложно-положительные "обнаружения" как раз не страшны, так как будут перепроверяться, в том числе другими способами диагностики.
Ну то есть, мне кажется, что применять метод можно, но надо так обучить нейронку, чтобы ложноотрицательные срабатывания стремились к нулю, пусть и за счет выросшего числа ложноположительных
Насколько я понимаю работу даже не самых современных аппаратов привычного снимка как такового на пленке уже нет. Там своя матрица детектор. И визуализация этой матрицы в изображение это скорее атавизм для человеческого рентгенолога. Если этот этап автоматизировать так же через ИИ, возможно, я сам здесь не спец, возможно будет петля паразитной обратной связи.
Технически, насколько я понимаю, сейчас можно было бы получать прям и 3Д проекции на условном снимке.
для современных возможно. У нас в Витебске я встречал только пленочные. В зубном надо кусок фотопленки в чехле прям к зубу прижимать пока аппарат просвечивает. Хотя может там теперь и датчик какой-то в том же формфакторе, но тогда зачем выводить на фотопленку, вымоченную в реактиве (их так выдают после снимка), если можно на принтере печатать?
И визуализация этой матрицы в изображение это скорее атавизм для человеческого рентгенолога. Если этот этап автоматизировать так же через ИИ
А зачем? Храним картинку, показываем картинку. Куда тут ИИ прикрутить можно? ну, кроме апскейлеров или фильтров.
Когда я крайний раз делал снимок в нашей областной не сильно передовой больничке, то емнип ренгенолог уже через секунды видел скелет у себя на экране. А по зубам там вообще панорамные снимки - приложил челюсть к прибору и у врача тебя осматривающего вся панорама на экране с увеличением и т.д.
И тут вопрос насколько у них насмотренность уже выработалась именно на привычные ренгеновские снимки, которые кмк будут таки отличаться от цифрового своего аналога.
Т.к. экспертиза обратной связи изображения и диагноза построена на привычном рентгене, то вывод по сути цифровой информации нужно делать в привычном эксперту виде или в каком то новом? Нейросеть так то вообще будет работать по RAW матрице, ей как таковой насколько я понимаю изображение и не нужно.
Тут другой еще вопрос. Текущий способ детекции это равномерная засветка всего изучаемого тела. Даже тех уголков, которые то по сути и не нужно было облучать - просто такой вот форм-фактор технологии. Но снимок условно один.
ИИшка могла бы при достаточной чувствительности ее методов работать с много меньшим облучением для первичной диагностики - первый снимок всей части тела с определением проблемных зон - а после уже доснимать проблемные зоны дополнительно - понижая дозу облучения и повышая точность диагноза. При том что анализ снимка ею проводился бы практически моментально - не меняя положения тела пациента на аппарате или отмаркировав каким то образом часть тела и наводить уже луч по этим маркерам.
Не знаю смотрят ли ученные умы в эту сторону.
Это то о чём говорил Мохаммед Сухаил. Слишком много неспециалистов получили право голоса.
Технически, насколько я понимаю, сейчас можно было бы получать прям и 3Д проекции на условном снимке.
А разве КТ не делает именно это?
Это очень важно для окупаемости Claude, который сгенерировал эту новость сразу с отсылкой к другой опубликованной новости, совпадающей по ключевым словам. Жду не дождусь, когда все эти рерайтеры смогут поработать над доставкой продуктов, переворачиванием котлет и проверкой проездных.
Вообще-то все гораздо сложнее. Недавно попадалось видео с исследованиями про работа со снимками с рентгеновскими снимками и ультразвуковыми.
https://www.youtube.com/watch?v=dTKg-fA8ttU
Простые сетки в виде трансформеров или диффузионных моделей тут не подходят. Они обучаются шуму, а не абстрагированию. Поэтому они реконструируют шум. Задача же оценки снимках, как раз смотреть на это ни как на шум, а как на целостный объект.
Проблема в том, что эти снимки в отличии от обычных изображений построены на шуме.
И для работы с ними и распознавании на них, нужно работать не на уровне точек, а на уровне абстракций. Поэтому трансформеры и диффузионные модели тут бесполезные, так как они пытаются запомнить шум на уровне пикселей и работать с ним. Тут как раз авторы пробуют применить доработанный вариант Jepa.
Таким образом переходим от постановки задачи - какого цвета пиксель и что это за пиксель, а задаче что это за объект. Напомню, что данные снимки построены на стохастическом шуме. И авторы показывают, что привычные модели просто не могут нормально работать на данном уровне.
Как итог, трансформеры и диффузионные модели пытаются классифицировать и восстанавливать пиксели, которые являются шумом и поэтому для подобных снимков их качество очень низкое. В то время как подход с Jepa построен на абстрагировании модели.
Это я к тому, что просто взять снимки и скормить их сетке, лишено смысла. Так как мы получим в реальности плохое качество, можно конечно подогнать. Но в реальности результат подойдет только для инвесторов и PR-маркетинга. Человек в этом случае как раз абстрагируется, в этом разница. Собственно в видео делали это через Jepa, чтобы улучшить показатели.
Вот как раз тот случай, когда малая узкоспециализированная нейронка будет показывать отличные результаты. Например, при расшифровке снимков МРТ остро стоит проблема качества специалиста, который и описывает увиденное на снимке. Дело в том, что часто бывает так, что врач (в купленном дипломе так написано) позавчера цветами торговал, вчера шаурму заворачивал, а сегодня с родственниками скинулись и купили небольшую клинику (очень часто такое встречается в сфере эстетической медицины). Лично я с гораздо большим доверием отнесусь в анализу снимка от бездушной (но бесстрастной и специально натренированной на миллионах примеров) машины.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Гендиректор крупнейшей в США системы госбольниц заявил о готовности заменить рентгенологов ИИ