Комментарии 32
@TimurAbdualimov как раз вам по теме, по скольку в одной из статей вы применяли нейронные сети для увеличения разрешения медицинских изображений. Здесь, правда томография, но опасность технологии во всей красе. Алгоритмы стали дофига умные, надо за ними теперь следить.
Мне приятно что статья отложилась у вас в памяти.
Просьба оставлять ссылку на нее, если упоминаете. Она тут на хабре.
Тема статьи - как повысить разрешение изображения при помощи ESRGAN. Моим любопытством было продиктовано как пример, показать на медицинских снимках.
Передайте коллеге из Сеченовского университета, что неплохо было бы писать код самой;)
В статье прямо пишут что ошибка бывает не только в ИИ, но и в классических алгоритмах реконструкции.
Сеть - художник, сеть так видит!
А если кожаному мешку показывать пару снимков (до ИИ и после) - вероятность подобных ошибок несколько уменьшится.
Если там предпроцесс, то «до ИИ» нет.
С другой стороны, можно же сделать несколько разных обработок нейросетями, а потом сравнить. Почему, кстати, не проверено, насколько эти галлюцинации коррелируют между методами обработки? Может быть связка из двух ИИ даст устойчивость лучше, чем один классический алгоритм? А как там с классическими алгоритмами, если задать тот же вопрос.
Да, обычно совмещение нескольких подходов позволяет несколько снизить ошибку. Но ошибки по любому будут (и для существенного снижения нужно объединять довольно много методов, сделанных разными способами, обученными на разных данных).
Для нас ”до ИИ” - это измеренные проекции, в статье мы рассматривали тот случай, что до ИИ реконструируемого изображения еще не существует. Возьмем, к примеру, алгоритма LDPR - это алгоритм томографической реконструкции. Тенденция снизить лучевую нагрузку, говорит о том, что нейросетевые модели для реконструкции будут создаваться все больше, а значит надо заниматься их устойчивостью.
Галлюцинации между методами обработки - тема для отдельной статьи, мы ею в данной работе не занимались.
Непонятно, сначала" Значение 1 соответствует идеально устойчивому алгоритму реконструкции, 0 — неустойчивому. ", потом таблица, где все алгоритмы с ИИ имеют значительно меньшее значение, потом вывод: " методы нейросетевой постобработки результатов реконструкции наиболее устойчивые к атакам. "
Спасибо за замечание. Здесь закралась “опечатка” в тексте “Среди всех томографических систем ИИ, которые мы исследовали, методы нейросетевой постобработки результатов реконструкции наиболее устойчивые к атакам.”. Должно было быть написано, что один ИИ алгоритм (ResUNet), который является постпроцессинговым, оказался самым устойчивым по сравнению с другими нейросетевыми алгоритмами. Мы исправили ошибку.
Давайте положим руку на сердце и честно скажем, что никакого ответственного ИИ нет и быть не должно в медицине. А вот ответственность разработчиков и тех, кто разрешает/заставляет применять такие технологии должна быть вполне реальной и уголовной. Всегда желаю таким разработчикам самим стать пациентами своих систем.
тем более что это потенциально может приводить к гипердиагностике,
росту ошибочных диагнозов онкологии, и далее смертности здоровых
пациентов от химиотерапии, в результате таких 'выгодных' ошибок.
Ваш гражданский пафос полностью разделяем в части того, что люди должны подходить ответственно. Однако технологические революции прошлого нам говорят, что новые технологии в итоге внедряются в жизнь людей. И если кто-то запретит использование нейронных сетей в медицине, мы плакать не будем, но такое вряд ли произойдет. Это связано с тем, что КТ в медицине применяется все чаще и есть стремление снизить лучевую нагрузку. Поэтому мы работаем над улучшением нейросетевых технологий, чтобы трагических последствий было меньше.
Где вы увидели пафос? И уж, тем более, сопротивление научному прогрессу. И ещё, тем более, запрет на использование я не высказывал. Вы умудрились написать отсебятину на комментарий. Который был, вполне, справедливым. Что за ошибки нужно отвечать. И да законодательно урегулировать такую ответственность. Кстати, почему для ИИ(которого нет) столько преференций для вывода на рынок продуктов? Ранее существовали очень жёсткие правила для вывода новых технологий и препаратов в медицине. И уходили многие годы прежде чем можно было получить одобрение. А то из вашей же статьи следует, что люди стали подопытными участниками исследований и экспериментов чьего-то софта. А люди в курсе? Им объяснили риски? Для них оговорена компенсация? А кто будет отвечать за последствия? Понимаю, что медицина этот лакомый кусок для любого бизнеса. Особенно модная тема с КТ. Только медицина не об этом. Ваши технологические прорывы перестают работать стоит лишь выдернуть вилку из розетки. И вот тут то и начинается медицина. Как пример могу привести вам события сегодняшнего дня. Когда уже на новых территориях России есть условия, где нет света, где все разрушено. И ваши теории, рассуждения и технологии там не работают. А врач может работать и в таких условиях. Конечно, настоящий врач. Так что пафос не у меня. И вы его оставьте за скобками. Если можете ответьте на комментарий про ответственность.
Мы полностью поддерживаем идею ответственности в медицинской разработке и полного законодательного хода применений новых технологий. Ни о каких преференциях технологий ИИ мы не говорим. Наша работа не направлена на рекламирование ИИ подхода. Мы наблюдаем, что значительное количество научных статей по ИИ в КТ публикуются без обоснования устойчивости и безопасности предлагаемых подходов в медицине. Наша научная работа предоставляет инструмент оценки безопасности используемых ИИ, что, в конечном счете, может только улучшить жизнь пациента.
В работе используется общедоступный корпус реконструкций “Low Dose CT Grand Challenge”. Этот датасет собран законным образом, включая сокрытие личной информации пациентов. При сборе данных, риски у пациентов были минимальны. Пациенты проходили стандартную процедуру КТ сканирования, и ИИ методы не применялись для постановки диагнозов после сканирования.
Вопрос пользы новых технологий, конечно, очень широк. Однако, вроде, не вызывает вопросов большая польза использования в медицине КТ, как и близкого по цели МРТ. Эти методы позволяют диагностировать множество болезней, которые иным способом диагностируются/локализуются с большим трудом. Также, нельзя недооценить пользу этих методов в планировании хирургических операций. ИИ технологии лишь программно дополняют существующие методы и запускаются на КТ и МРТ комплексах.
Так что дополнительной розетки им не потребуется.
Спасибо, что считаете свое отношение ответственным. Но не "услышал" ничего про ответственность для разработчиков. Не важно на каких данных они строят свои разработки. Моя супруга, например уже три года как получает смс о том, чтобы оценить свой визит и обследование в поликлинике. Куда, собственно, она не обращалась и не посещала. А данные между тем, возможно, с результатами обследований среди которых КТ и МРТ идут в датасеты.
Про розетку я не иронизировал. А реально акцентировал внимание. Ни одна электронная система не функционирует без этого условия. А такие условия, бывает, иногда отсутствуют. И тут, надеюсь согласитесь, врач должен руководствоваться своим опытом и знаниями. Уметь ими пользоваться. Надеюсь словосочетание "клиническое мышление" вам слегка знакомо? Не критики ради, но я не видел ни одного ИИ решения, которое предоставляло бы не выводы, а, именно, клиническое мышление. Или способ его реализации. Я рад, что узнал одно решение, которое, если можно так выразиться, восстанавливает клиническое мышление. Но это никакой не ИИ. Скорее рекомендательная система со своей методологией. И придумал эту методологию врач. Сколько у вас в штате людей из медицины? Я работал с иностранной компанией(мировой лидер). Так вот в айти подразделении у них были наняты медицинские работники. Потому что они являются носителями потребности. Ибо любое решение должно, прежде всего, решать потребность. В данном случае медицины. А не создавать потребности и искусственно навязывать использование. Знаете почему для рентгеновских снимков в электронном виде используют специальные мониторы, которые позволяют отображать палитру без потери качества? Знаете как врач может диагностировать при отсутствии аппаратуры, либо в рамках недостаточного качества снимков? Он, точно, не выдумывает ничего. Да и хотелось бы узнать в цифрах как применение решений отразилось на качестве. Мне неприятно осознавать, что во время ковида и продвижении решений для КТ были введены другие ограничения - отмена плановых операций. Вы готовы озвучить цифры по смертности? Ведь это косвенная цена таких решений по автоматизации.
Уважаемый @AlexVist! Мы не занимаемся диагностикой. И диагностическими системами ИИ тоже не занимаемся. В том числе, потому что не хотим быть причиной беды. Мы занимаемся тем, чтобы оборудование давало наиболее точный и надежный ответ. Мы считаем, что лучше, чтобы врач имел хороший инструмент, нежели плохой. Томограф — измерительный прибор, а не диагностический. Мы сотрудничаем с медиками, но в штате их нет. В штате — физики, инженеры, математики и программисты. Кажется, что при производстве градусников, которые не лгут, не требуются штатные врачи. Кроме того, мы занимаемся поиском слабых мест в текущих и перспективных разработках, чтобы избежать ловушек самим и предупредить других. Текущая наша публикация — про это.
Вы, все же, лукавите. Сравнивать градусник и томограф это уже слишком. Верю, что штатные специалисты хорошие специалисты. Но, приведу пример из жизни. Вот такие же хорошие специалисты писали ПО для анализатора. Хорошо написали. Но, врач глядя на распечатку анализа пациента сказал что смотрит анализы уже трупа, а не живого человека. Всего лишь один показатель. Всего лишь по закравшейся ошибке перевода единиц измерения, всего лишь один нолик. Но, для программиста он выдал показания, которое ему дал анализатор. А для врача ошибка перевода единиц измерения - это уже повод к тому чтобы сделать неверные выводы. Но, если врач ещё усомнился, то добавив ещё автоматизации можно столкнуться с проблемой, что автомвтизированная система не усомнится. Врачам, конечно, нужны хорошие инструменты. Но они вторичный. Хорошие врачи были до томографов. Будут и без них. Я видел, как врач писал для своих коллег как диагностировать заболевания , в том числе, без всех необходимых инструментов. При этом он опирался на знание и опыт. А моя супруга каждый год получает уведомление чтобы оценить обследование, которое она не проходила. А обследования, в том числе, и с применением аппаратуры. А потом появляются всякие ИИ системы, которые в своём обучении опирается на результаты обследование и лечения. Которых могло и не быть в реальности. Наверное поэтому до известных событий любой продукт, изделие или лекарство могли десятилетия проходить процедуры исследований прежде чем их одобряли для применения в медицине.
Ну и согласно теории вероятностей, вероятность случайного восстановления картинки близкой к исходной вполне существует. Потому можно выбрать именно такие и продемонстрировать их как норму, а не как случайность.
Почему невозможно, если данные уже оцифрованы? Нужно только выделить из этих данных полезный сигнал по какому-то закону, не обязательно известному, поэтому сетки и интересны
>полученная таким образом рентгенограмма не будет уже относится к оригинальному >пациенту — а будет дополнительно включать всю обучающую выборку в той или иной >степени.
Ну так это применимо и к фильтру байера, в той или иной степени цветное лицо усреднено неким алгоритмом и уже не относится прямо к снятому матрицей фотонами, отраженными от лица. Все в той или иной степени, речь то понятная, что нельзя путать визуальное качество и смысл обработки медицинских изображений.
Чтобы выделить полезный сигнал по какому-то закону — нужно знать заранее, что это за сигнал и как он выглядит. Тогда поможет корреляция, но результат будет выглядеть совсем не так, как изображено здесь на картинках. В любом случае, наличие/отсутствие рака у другого пациента с наличием/отсутствием рака у меня лично не коррелирует вообще никак.
часть частот складывается в противофазе
Это можно решить увеличив разрешающую способность объекта исследования, когда ноль не будет закрывать минимально значимую информацию в снимке.Это как битые пиксели в матрице фиксятся прошивкой фотоаппарата.
Чтобы выделить полезный сигнал по какому-то закону — нужно знать заранее, что это за сигнал и как он выглядит.
Вот это я так понимаю и есть цель нейросетей, всегда ли они додумывают? Я не знаю. обучить же можно на идеальных болванках, не на реальных снимках.
И даже с битыми пикселями не совсем понятно что делать. Усреднять по соседям, делать бикубическую интерполяцию или что-то еще? Результат в каждом случае будет другим и в каждом случае результат не вернёт утерянную информацию. Так что восстановить что-то нейросеть не может. Но (с некоторой долей уверенности) может обнаружить аномалии и попытаться что-то предсказать. "Мусор на входе - мусор на выходе."
Зрите в корень, но местами у вас лозунги вместо науки. Удалить шумы из абсолютно любых данных, не внося понятие модели данных, невозможно. Однако для определенных видов данных - это возможно с очень большой вероятностью (дискретные сигналы) или с очень большой точностью (линейные, к примеру). Нейросетевой подход к реконструкции можно рассматривать как способ построения модели измеряемого объекта, на основе которой можно делать предположения о его структуре. Чтобы продолжить дискуссию, надо перейти от шумов к количеству информации, необходимой для точной реконструкции.. Ее может не хватать. Как действовать в этом случае, ничего не придумывая, мы показали в работе. Yamaev A. V. et al. Neural network regularization in the problem of few-view computed tomography //Компьютерная оптика. – 2022. – Т. 46. – №. 3. – С. 422-428. По предъявленным вами изображениям можно сделать вывод, что сеть исказила входные данные. К примеру, исчез воротник у левого персонажа.
Хватает информации или не хватает для точной реконструкции - это важный вопрос. И это необходимо донести до врачей. Мы считаем, что дополнительно к результату реконструкции, врачу должна быть предоставлена карта уверенности в ответе.
Первое. Ключевой оборот вашего комментария — "раз уж вы взялись за фильтрацию шума...". Его можно понять двояко. Если это риторическая конструкция и "вы" здесь универсально, то мы абсолютно согласны! Если же "вы" — это конкретно мы, то мы протестуем. Мы не брались за фильтрацию шума. Статья не про то, как мы взялись за это, и в ее названии ни нас, ни шума нет. Вот вы в своем комментарии (как нам кажется) взялись за бракоделов-скорохватов. И мы взялись за скорохватов от нейросетевой науки. Не за всех нейросетевиков, а именно за чрезвычайно отважных, но не очень думающих, что получилось. Критический количественный анализ чужих результатов — вполне почтенное научное занятие. А лозунги — куда ж на хабре (и, шире, в научпопе) без них. Так что готовы признать лишь, что наша статья — "лозунг ВМЕСТЕ с наукой", как и задумывалось.
Второе. Кажется, вы не вполне верно понимаете природу шума, о котором идет речь в нашей статье. Шум исходных данных никак не зависит от тканей, которые находились между источником и детектором. Шум этот почти целиком описывается пуассоновской компонентой. Более точная модель приводится во многих учебниках по цифровой обработке изображений (в частности, у Яне и у Красильникова) — сумма нормальной гомоскедастичной компоненты и шкалированной пуассоновской. Эта модель верна и в оптическом диапазоне, и в рентгеновском. И мы это действительно проверяли экспериментально. Теперь ответим на вопрос "где это?" Там, где оно к месту. Здесь это вовсе ни к чему.
И последнее. Концовка комментария — сборник очень интересных вопросов. Но как он соотносится с нашей работой — не ясно.
Все гораздо хуже, чем вы думаете. Мы не только пишем и претендуем, а еще и молодое поколение с толку сбиваем, преподавая в МФТИ, МГУ, МИСиС и ВШЭ курсы, посвященные анализу и обработке изображений. Что касается соответствия содержанию учебников, то тут уж дудки. Никому не нужно переизложение учебника. Давайте сойдемся на том, что статья не должна противоречить накопленному человечеством корпусу знаний, и обязана следовать принятым в науке методикам.
Вас возмущает то, что вы не видите в статье моделей, принятых в ЦОС. Но тут нет ни случайности, ни ошибки. ЦОИ — довольно обособленный раздел ЦОС. ЦОС часто имеет дело с сигналами, развернутыми во времени, причем с такими, для которых непрерывность — плодотворная модель. В ЦОИ же сигнал развернут (не обязательно исключительно) в пространстве, и обычно наиболее содержательная часть сигнала — разрывы. В классической ЦОС имеет смысл говорить о спектральном разделении шума и сигнала, в ЦОИ это исключительная ситуация. Поэтому в курсах ЦОИ линейные модели фильтрации шумов занимают довольно мало места.
Шум на необработанном изображении (в оптике, не исключая и рентгеновскую) в первую очередь дробовой, об этом было сказано выше. Он в первом приближении независим в соседних пикселях (зависимость считается перекрестной помехой, и обсуждается отдельно от вопросов шума). Если освещенность сенсора не зависит от координат, то шум — белый. А на содержательных изображениях это уже не так, поскольку дробовой шум не гомоскедастичен, и его спектр математически связан со спектром сигнала. Профессиональный ответ уже был дан в предыдущем комментарии — совершенно конкретная модель, принятая в профильных учебниках. Спектр шума для нас, безусловно, — наука. Только вот не наша. И тому есть объективные причины.
После очередного комментария задумался: ведь можно сравнить точность прогноза по картинкам с шумами и по картинкам после шумоподавителя?
А еще: при обучении нейросети подавать как исходные данные, так и аугментировать: добавлять шумы (разнообразные); подавлять шум; ну и "сначала добавим шум, потом подавим шум". Т.е. приучать нейросеть к самым разным картинкам.
Как нейросети обманывают врачей