Comments 24
Тут нужны серьезные и глубокие исследования, а сейчас торопятся - и эта спешка до добра не доводит
Вот один из немногих раз, которых я вижу, когда явно обозначена проблема отсутствия смежников. То есть, людей, работающих на стыке наук. В данном случае, программисты и медики даже диалог не смогли наладить - просто чтобы одни сказали, что нейросети могут обучаться на куче побочных факторов, а другие призадумались и дали более чистые выборки или придумали логические "вилки" и отдельные когорты - медикам ведь реально виднее, как организована выборка больных и сканирование на КТ.
Кстати, вспоминаю старый рассказ Лема "Ананке", написанный очень задолго и даже мной прочитанный еще лет за десять до бума нейросетей. Там потерпел катастрофу космический корабль, врубивший перед посадкой полную тягу по неизвестной причине. Главный герой логикой доходит до того, что профессор, обучавший бортовой компьютер корабля разнообразным ситуациям, был жестким педантом и много времени уделял избеганию космических тел. И заходя на свою первую посадку, компьютер скорее всего решил, что перед ним не поверхность планеты назначения, а очень большой астероид.
Тогда я счел такую фабулу наивной, а вот сейчас я думаю, что рассказ поистине визионерский. Нейросети для всего на свете - это хорошо, пока они грамотно и без логических недочетов обучены.
Сейчас нейросети активно используются производителями мед оборудования для автоматизации измерений и диагностик. И вот там смежники есть. Причем очень часто программисты заканчивали около медицинские универы
Тут проблема как смежников готовить и как потом их поощрять (сам как пытающийся смежник говорю). Биологии и медицине долго и нудно учиться, это требует определенного склада ума, так как хотя биологические системы естественные, они сложные и плохо поддаются редукции. У врачей часть обучения вообще посвещена межчеловеческому общению, так как каждый день приходится общаться с не слишком здоровыми людьми в сложный для них период и с их родными. У технарей тоже долгое и сложное обучение, где приходится карабкаться на перевернутую пирамиду знаний, от самых базовых до прикладных, и не дай бог пропустить одну ступень, но при этом из одного вытекает другое. Смежники должны сочетать эти малосочетаемые области за разумное количество времени и денег. Насколько это реально - я думаю не очень. А результаты мы сейчас и видим - технари придумали мощные инструменты, которыми медики не могут воспользоваться.
Ну на самом деле не "очень за долго", а где-то около предыдущей волны "хайпа" по машинному обучению (экспертных систем)
добавил бы еще проекты, которые по кашлю пытались определить COVID.
Есть мнение уважаемых людей, что ИИ ещё не разработан. Нейронные сети - это не ИИ. Это прекрасный инструмент выявления закономерностей, разработанный еще в 70-е годы.
Модели научились прекрасно отличать один шрифт от другого
Забавно. Напоминает попытки детей определить правильные ответы в тесте не напрягая голову самими вопросами. Или вообще — использование мета-знания для определения результата.
Есть мнение уважаемых людей, что ИИ ещё не разработан.
Ну, да. Лично для меня это довольно очевидно. Сейчас имеется (очередной) бум, волна интереса к ИИ - и связанные с этим вполне понятные перехлёсты. Хочется же, чтобы было. Каждое десятилетие (примерно) эта история так или иначе повторяется, начиная с яркой волны 60-х. Пока мы не знаем, что такое "интеллект". Откуда бы взяться ИИ?
Но я не про то. В контексте обсуждаемой статьи приведенные результаты вполне ожидаемы. Это общая проблема дистанционной диагностики. Она существует давно. Вот у нас в Институте есть такая лаборатория. Ее зав - мой давний знакомый, мы иногда встречаемся за чашкой чая. Если абстрагироваться от природы датчиков и хитроумных методов обработки, которых за три десятка лет накопилось немало, то проблему можно сформулировать так. Задним числом все хорошо различается. Скажем, если я ужЕ знаю, что у пациентки в груди опухоль, то все мои методы анализа на нее укажут: локализация, размер, характеристики, и т.п. Если не знаю - вероятность дифференциальной диагностики неприемлемо мала. Это при том, что ребята сотрудничают с медиками по полной и ужЕ немало лет. В этом смысле ковидные лёгкие - объект ничуть не лучше, а, вероятно, хуже, ибо картинка размазана и нет явного объекта для локализации. Именно по этой причине сетка хочет уцепиться хотя бы за что-то определенное. Получается кикс.
Группа Дриггса натренировала модель, используя датасет, содержащий снимки людей, сделанных в положении лежа, и в положении сидя. Казалось бы, какая разница, верно? Но поскольку пациенты, сканированные в положении лежа, с большей вероятностью были серьезно больны, ИИ начал неправильно оценивать риски от коронавируса. Вместо того чтобы анализировать сценарии развития болезни, модель решила предсказывать, будете ли вы лежать или стоять, когда пойдете делать скан легких.
В других случаях было обнаружено, что некоторые ИИ улавливают шрифт текста, который некоторые больницы использовали для маркировки сканированных изображений. В результате сканы из больниц с более серьезной нагрузкой стали предикторами риска заражения коронавирусом. Модели научились прекрасно отличать один шрифт от другого, но ближе к определению ковида это их не привело.
уверен, что и оценки живых людей (в том числе и профессиональных врачей) страдают от тех же самых искажений.
Получать данные было бы проще, если бы форматы были стандартизированы
На мед устройствах есть стандарт хранения данных - DICOM.
По словам Дриггса, проще было бы, если бы команды ИИ сотрудничали с медиками
Сейчас уже почти до каждого доменного эксперта дошло, что ИИ — это то, что скоро заберёт у него работу. Поэтому они часто или не сотрудничают с «командами ИИ» вовсе, или «сотрудничают» так, как описано в статье. Это проблема, кстати, о которой мало говорят — почему-то предполагается, что человек всю жизнь нарабатывал компетенцию в сложной и тяжёлой отрасли только для того, чтобы в итоге стать подножным кормом для нейросетей и отправиться на улицу ради торжества прогресса. Естественно, что это их не устраивает и тут будет и откровенный саботаж, и кормление ИИ заведомо ложными датасетами, и много чего ещё.
Добрый день, коллеги! (Осторожно, время на чтение комментария 3 мин, наслаждайтесь)
Вопрос значения ИИ для COVID-19 стоит на повестке (он уже поднимался тут https://www.facebook.com/sergey.karelov.5/posts/4177692985599693.).
Позвольте, добавлю альтернативное мнение к этому посту.
Мы специально опубликовали научную статью на трех языках о том, как разные ИИ-сервисы в рамках Московского Эксперимента по применению ИИ в лучевой диагностике влияют на оценку COVID-19 по данным компьютерной томографии грудной клетки. Анализ проведен на 260 тыс. человек (!), проходивших КТ грудной клетки в 2020 году, часть из которых в момент формирования медицинского заключения врачом-рентгенологом имели результаты анализа этих исследований ИИ-сервисом для помощи врачу в принятии окончательного решения (протокола описания и заключения).
Отвечая на вопрос этого поста, оказалось, что применение ИИ привело к уменьшению % исследований с тяжелой и критической степенями поражения легких по сравнению с контрольной группой (без ИИ). К чему это могло привести? К тому, что в условиях применения ИИ часть людей обоснованно не были направлены на госпитализацию, а остались на амбулаторном лечении. То есть не перегружали и без того перегруженные стационары.
Наша научная статья тут: https://journals.eco-vector.com/DD/article/view/60040
Мы сейчас ведём продолжение работы над новой научной публикацией. Нулевая гипотеза в том, что применение ИИ для COVID-19 не повлияло на количество госпитализаций. Если гипотеза будет опровергнута, то надо обсуждать, что ИИ помог ограничить нерелевантные госпитализации (чтобы оставить место для тех, кто реально в этом нуждался в условиях перегрузки системы здравоохранения). Исходя из нашей первой статьи, основания для этого предположения есть. Чтобы понять масштаб, то речь о десятке тысяч человек в Москве. Чтобы было с чем сравнить "К настоящему моменту в столице развернуто почти 17 тысяч коек" и это с учетом всех павильонов и стадионов (https://www.mos.ru/news/item/92329073/).
Получается интересная (в каком-то смысле обычная в науке) ситуация: в одних статьях написано одно, а в других - другое. Может быть дело в том, что наш проект mosmed.ai является методологически и технически детально подготовленным основанием для качественных научных публикаций и оказывает помощь ИИ-сервисам, включая размещение базовых диагностических и функциональных требований, обучений для врачей, а также общедоступную публикацию самого крупного в мире датасета с 1110 КТ грудной клетки с признаками COVID-19 (https://journals.eco-vector.com/DD/article/view/46826)... Или в том, что наш Эксперимент по ИИ - это самый крупный научный проект в мире по изучению влияния ИИ в лучевой диагностике на здравоохранение? Всё может быть и надо изучать ИИ как явление. Множество ИИ-сервисов уже больше года работает в Москве. Проанализированы более 2,5 млн исследований и сразу эти ИИ-результататы предоставлены врачам для помощи в принятии решений.
Надо поднимать, что ИИ это не Святой Грааль в своей законченной форме, а инструмент, который продолжает развиваться семимильными шагами. Рано подводить такие результаты как указаны в посте.
У нас в работе почти десяток научных статей для того, чтобы поделиться и обсуждать полученные результаты. А если конкретнее, то изменение процесса работы врача с имплементацией ИИ заключалась в следующем:
Еще до просмотра исследования врачом в рабочем списке исследований те, которые были проанализированы ИИ-сервисами с выявлением целевых патологических находок получали дополнительный статус (исследование становилось выделено красным цветом) и врач мог посмотреть его раньше, чем то, которое было без патологии (по мнению ИИ).
Как только врач открывал исследование, то кроме оригинального изображения добавлялось еще одна серия, автоматически присланная ИИ-сервисом, которая как раз и содержала результаты находок по мнению ИИ с локализацией на изображении (обведено кружком или заштриховано цветом - в зависимости от предпочтений разработчиков ИИ-сервисов). Врач мог оценить как оригинальную КТ-исследование, так и синхронно посмотреть КТ-серию от ИИ с локализацией патологических находок. Таким образом, врач мог проверить разметку ИИ-сервисов и довериться ей, если она отражает действительность по мнению врача.
Врач переходил в область формирования протокола медицинского описания и заключения о выполненном КТ-исследовании, где у него справа появлялась автоматически сформированная информация от ИИ-сервиса с подготовленным на русском языке протоколом заключения по целевой задаче (включая указание на степень поражения легких).
Любой из 538 врачей, участвующих в Эксперименте, мог для каждого из исследований, обработанных ИИ, оставить обратную связь о том, насколько он согласен с результатами работы ИИ-сервиса.
Наш Центр (ГБУЗ "НПКЦ Диагностики и телемедицинских технологий ДЗМ") является организатором и оператором (по факту рефери) этого Эксперимента под покровительством Департамента Здравоохранения Москвы и Мэрии Москвы (все-таки самый крупный эксперимент в мире как ни крути). Мы собираем очень много данных о ходе Эксперимента и о ходе тестирования ИИ-сервисов, чтобы их допустить до проспективного участия (предоставления результатов врачам прямо в городские поликлиники и стационары), подготовили уже больше 100 датасетов по множеству направлений. Совсем скоро (если судьба будет благоволить), то выложим онлайн dashboard для всех желающих Эксперимента.
Официальный сайт Эксперимента - mosmed.ai Мы проводим регулярные онлайн мероприятия с отчетностью о ходе проекта. Научные результаты, разумеется требуют времени, внимания и сил, иначе заявления могут смотреться голословно.
Запуск Эксперимента тщательно планировался по сути не один год с подготовкой методологической, нормативно-правовой и этической основ параллельно с открытым обсуждением в профессиональных сообществах как в России, так и за рубежом. Среди медицинских данных лучевая диагностика является лидером по масштабам развития цифровизации, поэтому во всей медицине больше всего ИИ-сервисов именно для лучевой диагностики, наконец, в Москве есть всё необходимое: цифровое оборудование лучевой диагностики + огромный ЕРИС-ЕМИАС + лучшая команда для запуска инициативы + поддержка города. Прозрачный и открытый вход в Эксперимент для всех компаний, желающих поучаствовать со своими ИИ-алгоритмами (которых сегодня уже 43!).
Хорошо, что автор сделал пост про ИИ - у меня появился повод написать об Эксперименте и наших результатах.
Как ИИ пытались бороться против ковида (и почему у них не получилось)