Comments 39
90% точность означает 10% ошибок. Дальше надо смотреть на риски биопсии и других инвазивных исследований. Numbers to harm никто не отменял.
Так и у живых врачей точность не 100%, что поделать. Я не думаю, что у биопсии риски сравнимы с пропущенным раком.
В медицинских исследованиях вычисляется число numbers to harm и numbers to treat.
Если вы сейчас сделаете тест на вирус Эболы с точностью 99% и предложите всем пройти его, то у вас образуется примерно сто миллионов человек с ложноположительным результатом и польза от теста будет отрицательной.
А вот если вы сделаете тест на Эболу и отдадите в эндемический регион с указанием условий для его применения (симптомы, группа риска), то польза от него будет очень положительной.
Другими словами, просто метод диагностики в отрыве от всего остального контекста может больше вредить, если его применять без дополнительных условий.
Ну так скрининг на рак груди вроде как показан сейчас всем женщинам определенной возрастной категории, соответственно их снимки в любом случае будет смотреть врач, и может ошибиться с вероятностью 10%. Использовать такую нейронку, чтобы подстраховать врача, особенно в регионах с врачами низкой квалификации — это только в плюс пойдет.
Делать биопсию сразу, после заключения нейронки, — вряд ли кто-то будет, снимки ведь в любом случае делаются в медицинском учреждении.
Очень важно, чтобы мимопроходящие айтишники обладали полной и всеобъемлющей квалификацией в этом вопросе. Это сделает врачей избыточными, потому что любой пользователь гугла сможет с лёгкостью найти полную и исчерпывающую информацию о том, кому что положено и что чем лечить, базируясь на обнаруженных симптомах.
Вы это к чему?
Я к тому, что вы в неправильной модели думаете. Есть гипотеза, что нейронка будет помогать врачам en-masse в больницах лучше обнаруживать новообразования.
Всё, точка. Дальше любые рассуждения о том как это будет полезно - это медицина образца 19 века.
Медицина второй половины 20-21 века - доказательная медицина. То есть randomized double blind study.
Берём больницы, рандомом разделяем на две группы. В каждой больнице снимки отсматривают два маммолога. Первый даёт заключение, это заключение и маммограмма попадает на вход чёрного ящика. У 50% больниц чёрный ящик выдаёт просто заключение первого маммолога без изменений, у второй - думает нейронкой. У кого какая коробочка врачи не знают, между собой первый-второй маммолог не общаются.
Второй маммолог смотрит на результат чёрного ящика и маммограмму.
Если статистически разницы не будет - ну и к чертям нейронку. Если будет - надо встраивать в каждый маммограф. Чтобы не было bias, анализирующий данные. тоже не знает какие коробочки в каком режиме.
При чем тут randomized double blind study, если мы уже знаем, что среднестатистический врач обеспечивает точность 90%, и эта конкретная нейронка обеспечивает точность 90%?
Мы ведь не новое лекарство испытываем, тут банальная теория надежности.
Мы знаем откуда? Кто-то взял набор данных, поделил на две группы и честное-чесное слово не использовал контрольный набор для обучения, да?
А если данные будут новые? Смотрите на эпикфейл Ватсона (был такой overhyped проект IBM по использованию нейронок в медицине). Все знали как эффективен он после обучения.
А клинические испытания показали - что нет.
Доказательная медицина требует доказательств, а не апостериорного знания с аналитическими рассуждениями.
Начнем с того, что герой статьи не "мимопроходящий айтишник", этот проект для него профильный:
Хао закончил физфак Нанкинского университета (Китай), а затем получил PhD и на факультете ядерной инженерии и радиологических наук Мичиганского университета (США). Свою карьеру оценил кратко и ёмко: «Основная профессия связана с визуализацией медицинских данных, а в свободное время занимаюсь опенсорсными проектами».
...
Затем они с коллегой Вейгуо Лу, ныне профессором Техасского
университета, основали две компании по разработке ПО и продуктов для радиотерапии рака, а также технологий ИИ.
Во-вторых, медицинские работники, которые наверняка знают о современной доказательной медицине, высоко оценили разработку:
Веб-сайт Neuralrad также привлёк большое внимание со стороны индустрии. Его использовали медицинские учреждения, многие выражали благодарность, а некоторые даже предлагали финансовую и техническую помощь, как больница Фуданьского университета.
Герой статьи не искал денег или славы, не планировал хайповать на этом, потому я не вижу у него ни одной причины завышать её эффективность. С другой стороны, критический подход и перепроверка — никогда не лишние, сомнения — это хорошо.
Только я всё ещё не понимаю, зачем тут randomized double blind study, точность детектирования объекта нейронкой — это довольно легко измеримая величина, просто берется достаточно большой датасет из снимков с подтвержденным раком, берется датасет из снимков здоровой груди, и получается итоговое качество работы нейронки. По большому счету, каждый онкологический центр, который хранит такие снимки, может провести независимую проверку.
В такой постановке вопроса дополнительные исследования и правда не нужны, но есть нюанс: на самом деле у нас нет уверенности что эта нейронка обеспечивает 90% точности в условиях реальной больницы.
Нет-нет-нет, тут коллега говорит очень правильные вещи.
Добавляя метод диагностики или симптоматический параметр, мы привносим некую инструментальную погрешность.
Любой диагностический критерий имеет чувствительность и специфичность. Если простыми словами: чувствительность - это способность по данному симптому или данным методом не упустить ни малейшего проявления болезни. Специфичность же - точно отсечь из выборки все ложноположительные случаи.
И совокупный эффект - медицинский, экономический, социальный - от этого всего будет разный. Недовыявленный пациент придет с тяжелым, а то и неизлечимым случаем. Ложноположительно выявленный будет амортизировать систему здравоохранения, без какого-либо вклада для здоровья общества.
Очень показателен в этом плане пример ковидной эпидемии, когда мировые системы здравоохранения взяли под козырек от чиновников и стали госпитализировать всех. В результате здравоохранение треснуло по швам, захлебнулось в пробках из скорых и дохнущих как кони бессонных врачах, стало отказываться от плановых операций, а затем и самых тяжелых ковидных пациентов. В пике с эпидемией оно так и не справилось, превратившись в подобие циничного полевого триажа и попутно затрахав формальными предписаниями здоровых и бессимптомно переносящих людей.
Я ничего не говорю, китаец настоящий молодец, но внедрение его технологии должно произойти правильно, а не в стиле "что-то миндалины у детей часто болят, давайте их просто удалять по всему СССР, чтоб не мудиться".
Смотрите, у нас есть группа населения, которая уже сегодня проходит маммографию планово, с нейронкой или без неё. Эти снимки в любом случае смотрит врач. Но есть возможность получить второе мнение от нейронки, и, в случае расхождения, показать ещё специалистам. Какие в этой схеме могут быть минусы? Повышение нагрузки на других специалистов? Если точность нейронки действительно 90+%, то нагрузка должна увеличиться не принципиально, а жизни спасать будет.
Врач ведёт прием сколько-то минут восемь часов в день. Нейронка может обрабатывать снимки непрерывно, диагностируя тысячи людей. Соответственно 10% ложноположительных от нейронки быстро накопятся в очередь под дверь врача с криком аааааааааааа помогите. С чего и начался тред. Тут дело не в теории сырных дыр, а в целесообразности методики.
Соответственно 10% ложноположительных от нейронки быстро накопятся в очередь под дверь врача с криком аааааааааааа помогите.
Т.е., реально отсеится большая часть ложноположительной шелухи, которая так же могла занимать и без того перегруженное время врача, отнимая его у тех, кому действительно нужно внимание врача. Я всё верно понял?
Где нейронка возьмет тысячи снимков, она что, по фотографии груди со смартфона будет рак искать? Все снимки, которые попадут в нейронку, сегодня уже обрабатываются врачами.
Если бы мы вдруг решили, что все снимки должны смотреть два специалиста, то нагрузка на врачей бы увеличилась в два раза. А так увеличится на 10-20%, если говорить грубо.
Почему так странно? У нас ведь есть исторические данные. Берем снимки 5-летней давности и смотрим истории болезни (или здоровья). И с высокой степенью точности определяем сколько ошибается врач (к примеру 5 лет назад врач сказал "здорова", а спустя год-другой выявили рак) и как часто ошибается нейронка. Я надеюсь качество снимков 5 лет назад было сопоставимым с сегодняшним днем?
Другое дело, что многое упирается в приватность мед. инфы. В сложности найти в электронном виде историю. Но сейчас с каждым годом цифровизации больниц это должно быть проще.
Мне нравится такой вариант, но (!) эти снимки не должны участвовать в тренировке от слова "никак". Если говорить про медицинский уровень испытаний, то в идеале испытания должны проводиться с уже trained-and-baked нейронкой без права модификации в ходе испытаний, таким образом, чтобы доступ к данным появился уже после начала испытаний.
Иначе существует удивительно сильный стимул "дообучить в процессе".
Ещё одним моментом тут является то, что архив картинок не совсем randomized, потому что снимки делаются только после того, как врач уже направил на обследование. Но, для сравнения "в лоб" при прочих неизменных обстоятельствах (назначение врача) - да.
Результаты после этого распространять на "любые маммограммы" нельзя, потому что, возможно, есть целый пласт невинных маммограмм, которые не были сделаны потому что нет повода.
" эти снимки не должны участвовать в тренировке" - типичной практикой является разделение всех данных на три части: обучающая (60-80%), проверочная (20-10%) и валидационная (20-10%). Первая активно влияет на обучение, вторая пассивно (смотрим момент начала переобучения), третья вообще не участвует в обучении. Это нормальная практика.
" снимки делаются только после того, как врач уже направил на обследование" - уже было сказано, что снимки делаются всегда с ведома врача. Тут важно другое: убедиться, что снимки делаются в одинаковых условиях/качестве. При обучении можно пытаться имитировать разные условия (вносить шум, изменять резкость, контрастность, добавлять посторонние предметы), но это не будет гарантией устойчивости нейронки к изменению условий съемки. Проблема обучения на несбалансированном наборе данных известна давно и существуют способы бороться с этим. Так что потенциально нужны только большие массивы размеченных исторических данных (хотя как показывает практика, иногда можно использовать и не размеченные данные! Semi-Supervised learning).
Кстати публиковались работы по нейросетям, диагностирующим COVID даже с большей точностью по флюорографическому снимку. Почему не получило массового распространения, а всех так и гоняли на КТ - вопрос.
Ферма здорового человека. Ведь поди и за электричество платит честно, а не как эти самые "шахтёры". Вселяет уважение и реабилитирует веру в человечество.
медицина уже давно не пытается лечить людей, а лишь только паразитирует на хронической боли, заглушая симптомы. Такова жизнь.
Здоровый пациент - плохо для бизнеса. Ничего личного.
Зубную пасту изобрели в начале 20го века, ну и как? в мире стало меньше кариеса? Или в мире не осталось взрослых людей без пломб и имплантов? просто мысль, для тех кто способен думать...
распределенные вычисления (как в данном случае) для прогнозирования свертываемости белка, даже в рамках "кластера из 50 карт GTX1080ti" - это даже не капля в море, и толку от такой минифермочки в масштабе - никакого.
Не потому что китаец плох, а потому что "никто особо не заинтересован в лечении рака", потому как это целая индустрия "работающая на слепую надежду", начиная от "запрещенных седативных препаратов" и заканчивая целыми пансионами с обслуживающим персоналом, которые ухаживают за "пациентами, которые не жалеют денег потому что скоро смерть" - а это десятки тысяч рабочих мест.
Так что...
Статистика вещь упрямая. Рак конечно это плохо, но он приносит хорошие деньги, и поэтому никто от него избавляться не собирается, пока он эти деньги приносит. А хотели бы - давно бы уже и нашли способы и внедрили бы, но сначала конечно же для самых богатеньких (у них же больше права на жизнь).
В BOINCе и я участвовал, пока еще оставались какие-то надежды на то что "делаешь что-то полезное", но увы, если взглянуть на общую картину - то выяснится, что полезное - это там где более прибыльно, поэтому дата-центры и прочие ЦОД почему-то предпочитают больше ютубики, инстаграмы и онлайн-ММО, нежели "здоровье нации или даже планеты".
Вот и получается как по РЕН-ТВ: - "миллиарды тратят на ежегодное перекладывание асфальта, а на лечение детей собирают с народа через смс-ки". Капитализм он такой...
Если бы это было так просто, мы бы уже видели предложения лекарств для богатых по миллиарду долларов за порцию. Однако что-то не видать.
Зубную пасту изобрели в начале 20го века, ну и как? в мире стало меньше кариеса?
Положительное действие зубной пасты могло быть нивелировано распространением еды с большим содержанием сахара и других продуктов, вызывающих кариес. В начале 20 века люди ели меньше еды, вызывающей кариес.
медицина уже давно не пытается лечить людей, а лишь только паразитирует на хронической боли, заглушая симптомы. Такова жизнь.
Медицина - это одно из проявлений человеческих стремлений и желаний, а люди разные, нельзя всех в одну яму. Не все люди паразиты.
По моим личным наблюдениям приблизительно от 20 до 40% товаров и услуг в медицине - это лохотрон вроде гомеопатии или разные пустышки, БАДы, которые обещают вылечить, а на самом деле не лечат. Да, вокруг есть много обманщиков, но по другую сторону есть от 60 до 80% нормальной медицины. Нужно просто повышать свой уровень образования, чтобы лучше научиться отфильтровывать обман от реальности.
Про то как работает современная медицина есть хорошая книга "0,05. Доказательная медицина от магии до поисков бессмертия" Петра Талантова. Еще можно вспомнить книгу "Пациент разумный" Алексея Водовозова о том, как обычному человеку попытаться понять, что его обманывают врачи или люди под них мимикрирующие.
Кажется, вы не учитываете, что человечество живет 2.5 миллиона лет, при этом пеницеллин открыло менее 100 лет назад, а широкие исследования рака начало 50 лет назад.
кажется, что вы ставите в укор медицине, что она за 50-100 лет (т.е фактически за одно поколение) не решило всех вопросов со стоматологией и раком))
есть в этом толика здравого смысла, можно попробовать провести аналогии с источниками энергии, в том числе для автомобильного транспорта
Не перевелись на земле добрые люди.
Большое уважение парню, на голом энтузиазме тянуть в одиночку, такое непростое дело дорогого стоит.
В заголовке кликбейт. Нейронка не лечит рак, а лишь диагностирует. Обнаружить - не значит вылечить.
Если перейти по ссылке на оригинал статьи, даже гуглопереводчик хрома покажет правильный перевод конца заголовка именно как "для борьбы с раком". А уже "борьбу" можно трактовать как в т.ч. диагностику.
А в это время на куче ферм уйма ресурсов тратится на бесполезное перемалывание электричества в тепло ради всяких биткоинов.
Я тоже не один год считал фолдинг белков в проекте Rosetta, сначала на всех четырёх ядрах PhenomII x4, потом на 3 ядрах 6 потоках Зиона на Haswell. Но после новостей, что крупные фармкорпорации ограничат поставки лекарств в Россию - подумал и приостановил рассчёты. Зачем мне выполнять свою часть этой сделки, если когда мне или моим людям понадобится лекарство - его мне не продадут? Да, я знаю, даже в острейшие моменты холодной войны наши и зарубежные учёные дружили и делали совместные проекты, но всё равно мне это было неприятно.
Вроде, ограничат какую-то мелочевку, те лекарства, на которые может повлиять Розетта, не должны.
по-моему мотивацией должно быть, то, что если что-то удастся открыть, то у вас или "ваших людей" появится хоть какая-то возможность воспользоваться этим лекарством, так же это открытие может быть толчком к открытию не одного а сотен других лекарств, а если неудастся ничего открыть, то в любом случае нечего ни вам, ни кому больше не поможет.
Не критикую и не осуждаю, сам не занимаюсь этими расчетами, но по другой причине, тем не менее не считаю правильным упрекать кого-то.
Тут сразу стали говорить про точность (и это правильно).
90% accuracy на нашем несбалансированном наборе данных может быть очень плохо (тут лучше F1 мера). Особенно плохи ложно-отрицательные предсказания (ложно-положительные увеличат нагрузку на медиков, но не должны ухудшить здоровье).
Никто не запрещает сделать нейронку, которая будет оценивать надежность прогноза. К примеру нейронка на 99.5% уверена, что рака нет - откладываем снимок до момента, когда врач освободится. Если уверенность нейронки 70%, то кладем снимок поближе - сортируем снимки по степени важности/срочности. Я думаю с банальными случаями нейронка спокойно справится (даже если это 50%, то врачу уже намного легче).
Другой вариант применения. Нейронка говорит 90% вероятность, а живой врач - "здорова". Это может быть причиной отправить снимок еще одному-двум врачам (или как минимум попросить пациента повторно обследоваться через 6 месяцев).
Герой.
Не все герои носят плащи. Программист-энтузиаст построил кластер Nvidia GeForce 1080 Ti для лечения рака