Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи?



    В последнее время все чаще обсуждается применение AI в медицине. И, конечно, область медицины, которая прямо напрашивается для такого применения это областей диагностики.

    Кажется, и раньше можно было применять экспертные системы и алгоритмы классификации к задачам постановки диагноза. Однако, есть одна область AI, которая добилась наибольших успехов в последние годы, а именно область распознавания изображений и сверточные нейронные сети. На некоторых тестах алгоритмы AI в распознавании картинок превзошли человека. Вот два примера: Large Scale Visual Recognition Challenge и German Traffic Sign Recognition Benchmark.

    Соответственно, возникла идея применить AI к области распознавания изображений там, где и врачи занимаются распознаванием изображений, а именно к анализу снимков и, для начала, рентгеновских снимков.

    Рентгеноскопия применяется для диагностики широкого спектра заболеваний и повреждений: повреждения легких (пневмония, раковые заболевания), переломы и иные повреждения костей, часть диагностики работы системы пищеварения и много чего другого.

    Важно, что в диагностике части этих заболеваний рентгеновский снимок и его интерпретация является превалирующим инструментом в постановке диагноза.

    Интерпретация снимка, в свою очередь, делается врачом-рентгенологом на основе визуального анализа изображений. Возникает вопрос: а что, если мы применим прогресс в анализе изображений с помощью ИИ к анализу и интерпретации рентгеновских снимков. Что получится?

    Получится ли нам добиться качества, сопоставимого с врачами? Или, может быть, точность классификации превысит точность врачей, как превысила в распознавании картинок в Large Scale Visual Recognition Challenge?

    На Kaggle сейчас несколько соревнований по анализу рентгеновских снимков с целью диагностики пневмонии. Вот, например, одно из них.

    Здесь 5,863 снимков были размечены врачами, каждый из снимков размечался двумя врачами и только если они совпадали в диагнозе снимок добавлялся в набор данных. Пациенты для снимков специально не отбирались (все снимки были сделаны в рамках обычной работы с пациентами). Набор классов сбалансирован в сторону пневмоний, что наверное, близко к реальной жизни, так как снимки делаются пациентам уже с подозрением на пневмонию.

    Лучше из решений достигает precision = 0.84 и recall = 0.96. Дальше возникает вопрос: много это или мало… Хороший это вопрос.

    На всякий случай напоминаем, что precision это какой процент из тех пациентов, которых модель определила, как больных пневмонией, действительно больны пневмонией (и соответственно, какой обратный к этому процент врачи, таким образом, будут по ошибке лечить не от той болезни). Recall — это какой процент всех пациентов, больных пневмонией обнаружит модель (обратный к этому процент — сколько пациентов, больных пневмонией модель разметит как здоровых).

    Итак, много это или мало? Ну, можно посмотреть на этот вопрос так: а у врачей как? У них какой precision и recall.

    Для этого нужно было бы посадить группу врачей, дать им снимки для разметки, а потом сравнить качество их разметки с качеством разметки алгоритмом по аналогии с German Traffic Sign Recognition Benchmark, где сравнивалось качество распознавания дорожных знаков. Насколько я знаю, с врачами такого пока никто не делал.

    Но, положим, что мы так сделали и оказалось, что качество разметки с помощью алгоритма сопоставимо с качеством разметки врачом. Если сейчас это еще и не так (что не факт), то уверен, в ближайшем будущем это случится. Что дальше?

    Заменим врачей-рентгенологов искусственным интеллектом? Об этом особенно давно мечтают в Соединенный Штатах, где врачи-рентгенологи очень высоко оплачиваются и, наверное, заслуженно, учитывая их значимость в постановке определенного типа диагнозов.

    Давайте посмотрим, как должен был бы выглядеть процесс использования алгоритма в таком случае на практике?

    • Во-первых, необходимо было бы стандартизировать формат и качество выдачи снимков на различном рентгеновском оборудовании. Возможно, оно и сейчас стандартизировано (я не эксперт), но мне почему-то кажется, что нет. Если этой стандартизации не будет, то невозможно будет гарантировать устойчивость модели при переходе от одной установки к другой.
    • Во-вторых, необходимо будет добавить регулярный контроль качества модели. То есть, модели регулярно должна подаваться на вход размеченная врачами тестовая выборка и качество ее работы постоянно должно валидироваться. На всех моделях, используемых во всех клиниках. Это значит, что должна быть одна централизованная модель (или очень небольшое их количество), так как иначе слишком много ресурсов нужно, чтобы все модели валидировать. По логике, наверное, производители рентгеновского оборудования и придут к тому, что вместе с рентгеновской установкой будут поставлять и модель.
    • В третьих, в модель должны быть встроены пороги уверенности, при превышении которых снимок все равно передается врачу на классификацию.

    Как вы поняли, даже если модели сейчас по качеству классификации сопоставимы или превосходят врачей, для их (врачей) замены или точнее сокращения штата требуется набор процессных шагов. Я уже не говорю о наборе регуляторых и сертификационных шагов, которые в целом необходимы для внедрения на практике такого решения.

    В общем, от сценария выше мы еще далеко, как мне кажется.

    Возможен ли иной сценарий? Мне кажется да. Вспомним теорему Кондорсе (Condorcet Jury Theorem), которая говорит о том, что вероятность принятия правильного решения группой людей выше, чем каждым из них в отдельности. Таким образом, качество классификации совместно врача и модели выше, чем качество классификации любого одного из них.

    Таким образом, врач может использовать модель в качестве советчика. Зачем? Потому, что у врача у самого есть свои precision и recall. Пусть, врачи это так не называют, но есть ошибки. Одни ошибки приводят к тому, что часть заболеваний пропускают. Таких ошибок, я думаю, меньше, так как врачи как раз и стремятся минимизировать ошибку первого рода. Другие ошибки приводят к тому, что людей лечат от пневмонии, которой у них нет, и часть мест в больницах занята без необходимости. Сколько всего ошибок — неизвестно, но они есть.

    Соответственно, представим, что мы используем две разные модели и мнение врача касательно какого-то снимка. Плюс от теоремы Кондорсе в том, что она не только утверждает, что две головы лучше, чем одна, но и позволяет посчитать на сколько.

    Пусть у каждого из них (у каждой из моделей и у врача) точность 0.84 (конечно, мы не знаем точность врача, но предположим, что она не ниже точности моделей). Тогда, по теореме Кондорсе суммарная точность получается равной 0.84 ^ 3 + 3 * 0.84 ^ 2 * (1 — 0.84) = 0.93, что дает явный прирост по сравнению с исходной точностью в 0.84. Таким образом, применяя модель врач становится явно точнее в своих прогнозах.

    Заметим, что в данной парадигме мы сохраняем святую-святых, мы оставляем финальное принятие решения за врачем, не перекладывая его на машину. Это, как мне кажется, облегчит внедрение подобных решений и откроет путь ИИ советчикам в медицине.

    А вы что думаете?

    Как обычно, хотите освоить применение сверточных нейронных сетей и компьютерного зрения на практике — приходите к нам на курс для аналитиков, старт 28 января. Есть также вводный курс, если вам необходимо подтянуть основы.
    Школа Данных
    52,00
    Компания
    Поделиться публикацией

    Комментарии 40

      +1
      Простите, я дилетант в этой теме и меня волнует один момент.

      Весьма понятно с тем, как машина может победить в задании распознавания дорожных знаков — есть идеальная модель знаков и их расстановки.

      Но в случае с болезнями все довольно трудно. Ведь нет никакой идеальной модели и только малое количество болезней могут подвергнуты однозначной классификации «болен / не болен». А реально нейросеть может обучаться только подражанию — т.е. некоторые варианты пневмонии она может пропустить из-за их отсутствия в базе. Также о многих болезнях мы можем судить только впоследствии (сначала скан, потом через полгода узнали реальную причину смерти) — это уменьшает количество доступных данных.

      Как подобные трудности решаются? Или текущий статус подобных проектов — это фаза прототипа?
        +2
        Точно так же как и врач, машина обучается на некотором наборе снимков. Только врач может запомнить несколько десятков вариантов болезни/нормы, а машина несколько тысяч. Врач менее внимателен, но лучше экстраполирует и делает выводы (не всегда правильные).

        Важно, врач рентгенолог типично не имеет обратной связи. Он расшифровку сделал, подтвердились ли его наблюдения в процессе лечения или были опровергнуты, он обычно не знает. Для машины проще сделать обратную связь.
          +1
          Странно, но врач рентгенолог не ставит диагноз. Он пишет заключение, которое отражает моменты, привлекшие внимание: патологии и прочее.
          Диагноз ставит лечащий врач на основании анамнеза, снимки это еще одно дополнительное средство диагностики. По одному снимку нельза ставить диагноз.
          Ну конечно это не касается переломов костей и стоматологии. Но думаю там ИИ и не нужен.
            0
            я правильно понимаю
            это можно обучить много разных екземпляров нейросети на разных наборах данных
            а потом усреднять результаты какимто метаанализом?
            будет ли это лучше чем просто обучить одну нейросеть на огромной выборке?
              0
              Простое усреднение даёт обычно худший результат. Но часто бывает полезно устроивать иерархию сетей. Но как правильно её строить — это отдельный вопрос.
          0
          Да так и решаются, постепенным пополнением опыта.
          +1
          Я думаю, врач будет более поверхностно просматривать снимки классифицированные компьютером, как по причине возросшего потока снимков (ведь ему помогает компьютер, давайте сократим время на обработку снимка), так по причине когнитивного искажения (машина не может ошибаться)*, в дальшейшем будет падение квалификации и оплаты врача-рентгенолога и рост цены оборудования (а давайте вы будете платить за каждый снимок, плюс за апдейты и верификации нейросетей в вашем рентгенаппарате).

          Увеличение качества распознавания будет только при независимом распознавании снимка, каогда врач рентгенолог не будет видеть результат компьютера до внесения в историю болезни собственной расшифровки. Тогда в выписке у лечащего врача будет как бы два результата на один снимок, и уже он будет оценивать достоверность диагноза.

          * — для использования в торговле продаются калькуляторы с программируемой ошибкой. 2*2 на них может быть и 5 и 7… Как правило, покупатели слепо доверяют машине в чуть более сложных примерах.
            0
            Скорее движение будет еще и в другую сторону. Сейчас само число снимков ограничивается врачем. Врач физически не может просмотреть 1000 снимков с 1000 разных ракурсов сделанных. А робот может. Вы наверняка видели, к примеру, подобный девайс www.phukethospital.com/Images/3D-Dental-X-ray.jpg Сейчас все сворачивается в 3D ради того, что бы было удобно человеку видеть. А вот у робота такой проблемы нет, робот может в деталях разглядеть каждый из снимков. Так что качество работы робота будет расти не только за счет собственно качества распознавания конкретного снимка, но и за счет все сильнее растущего объема скармливаемых роботу данных. Причем не только самого рентгена, но и химических анализов, к примеру, ЭКГ и что там еще может иметь отношение к делу.
            +2
            А ещё бывает так, на Рг ничего нет, а пневмония есть. Рентгенолог без клинициста ничто, впрочем, как и клиницист без рентгенолога. А бывает и так — на Рг изменения есть, а пневмонии нет.
              +4
              Для скрининговых исследований — это оправдано. Мы делали распознавание флюорограмм, сейчас делаем мамограммы. Там сравнимые с человеком точности можно достигать.
              Но надо понимать, что хороший рентгенолог — он не про то. Так же как и хороший МРТшник/КТшник. Хороший рентгенолог-мамолог, посмотрев на снимок скажет как и под каким углом нужно сделать снимок с большим разрешением, чтобы поставить диагноз. Хороший МРТшник — может описать структуру протоков в какой-нибудь печени.
              Эти вещи на текущем уровне нейронок нельзя автоматизировать: нет такого числа обучающих случаев (а собирать полноценную базу — не будет экономического эффекта), очень сложно сформулированное описание, требуется обратная связь и подстройка наблюдения исходя из неё (для рентгена — выбор точки обзора, для КТ — контрастирование).

              Так что профессия не уйдёт ещё долго. Но вот на нижнем уровне, поликлиник — качество исследований может повысится сильно.
                +2
                Диспансеризация — это тихий ужас. «Низовые» врачи обычно замечают неладное часто уже в фазе распада или когда каверны появились. В таком случае использование нейросетей оправдано, тут неквалифицированный врач-рентгенолог нужен в первую очередь для ответа на вопрос «кто сядет из-за врачебной ошибки».
                  0
                  Вообще это общий результат для всего, куда ИИ включают: хорошего, высококлассного, специалиста они не заменят, а сделать лучше, чем «низовой» — могут легко.

                  Ну значит так и надо их использовать и стремиться сделать так, чтобы в сложных случаях они срабатывали, говорили «мало данных» и тогда уже «хороший МРТ-шник» посмотрит.

                  Потому что проблему диспансеризации тупо деньгами не решить: посади хорошего специалиста смотреть десятки снимков людей, у которых всё в порядке и отклонений нет — и он тоже начнёт малые изменения пропускать… глаз «замыливается»… а как раз компьютеру — всё равно.

                  Редкий случай, когда внедрение компьютеров мало кому может навредить (ну кроме людей, ненавидящих свою профессию и работающих плохо… но их и не жалко), зато может улучшить качество обслуживания — причём заметно.
                    0
                    делать так, чтобы в сложных случаях они срабатывали, говорили «мало данных»
                    Кстати, а как это реализуется в рекомендательных системах? В логике предикатов я не помню, чтобы давался вариант «неизвестно», если не вводятся вероятности и «серая зона».
                      0
                      Кстати, а как это реализуется в рекомендательных системах?

                      Делается так, чтобы к каждой рекомендации выдавалась уверенность (confidence score), а дальше по нему делается отсечка.

                0
                Я думаю, что одна из проблем тут та же, что и при использовании ML в финансах — зачастую бывает мало предсказать поведение, нужно, чтобы модель могла дать информацию ПОЧЕМУ она так решила и иметь возможность ручного контроля и тюнинга. Пока она остается черным ящиком с недетерминированным поведением (а в случае решений с Kaggle — еще и адово сложным ящиком с нагромождением ансамблей моделей и прочим, нацеленным только на то, чтобы получить заветные сотые) ей не пройти регуляторов.
                  +3

                  Как всегда проблема в том, что никто не читает формулировки теорем, на которые ссылается. В теореме фигурируют независимые вероятности. Вероятность модели и врача не независима. Модель обучена размечающим врачом. Ошибка в модели и у врача скорее всего связана с невыраженностью симптомов на рентгенограмме то есть ошибка будет скоррелирована между всеми врачами и всеми обученными ими моделями. В худшем случае усовершенствование будет нулевым вне зависимости от величины консилиума и кто в нем робот а кто нет.

                    0
                    Так модели будут обучены одними размечающими врачами, а использовать их будут другие.
                      0
                      Все врачи смотрят на примерно одни и те же признаки. И если болезнь не нашел один врач то с большой вероятностью ее не найдет другой по одним и тем же данным. Потому что процесс поиска болезни врачем не случаен. Даже если врач — Доктор Хаус то он найдет болезнь дополнив рентгенограмму данными из инднийского журнала и тем что нашли в квартире пациента в шкафчике под раковиной.

                      Пример из медицинских рассказов прошлого. Пациенту с подозрением на сифилис осматривают гениталии и если там ОК то без анализа крови — ничего сказать нельзя, хотя бывали случаи когда пациент поймал сифилис когда его в драке укусил за ухо сифилитик, и первичное воспаление было не на гениталиях, а в районе укуса — на ухе. Вот как раз в подобных случаях нетипичной симптоматики врачи пролетают всем консилиумом вместе с нейросетями и отделом дата-сатанистов.
                        0
                        Вам везёт, если по вашим снимкам врачи любой квалификации находили одно и то же.
                        А вот у меня опыт немного другой. И хирурги не видят того, что ортопеды, например.
                        И то, что снимки возили смотреть к другим врачам — бывали случаи по родственникам.
                        Даже если врач — Доктор Хаус то он найдет болезнь дополнив рентгенограмму данными из инднийского журнала и тем что нашли в квартире пациента в шкафчике под раковиной.
                        Вы явно забыли сцены, где они вчетвером смотрят на снимки и ищут косяки, когда трое не видят, а Хаус уже.
                        Хотя все знают, что надо искать.
                        И если болезнь не нашел один врач то с большой вероятностью ее не найдет другой по одним и тем же данным.
                        Ну вот хирурги — не находят и не знают что делать, а ортопеды — находят или хотя бы понимают, куда нужно копать, если на данном виде снимков не видно.
                    0
                    del
                      +1
                      Статья интересная, название даже несколько провокационное. Как бывший врач (а сейчас Data Engineer), хотел добавить одну вещь: Классификация снимков изолированно это хорошо, но я уверен, что добавление других методов исследования в feature vector (например маркеров воспаления в крови, уровень сатурации кислородом, данные проб на туберкулез и специфических маркеров на различные раки с локализацией в грудной клетке) могут повысить точность еще выше.
                      В целом, конечно, если научить врачей интерпретировать эти данные, это было бы большим подспорьем во всяких «текучках» (профосмотрах, диспансеризации и прочем), где врачи могут гораздо легче просмотреть что-то просто из-за того, что снимком много, а патология встречается меньше чем в проценте случаев.
                        0
                        Добавление других методов исследования — это уже следующий шаг, когда результаты с нейросетей, анализирующих отдельно рентгеновские снимки, звуковой поток аускуляций, кардиограмму, ЭЭГ, химический анализ мочи, крови, прочих биообразцов, и так далее — всё это подаётся на вход уже более глобальной нейросети, которая по этим данным сделает вывод о заболеваниях человека в комплексе.
                        +1
                        А нужны ли нам еще врачи?

                        Хорошо хоть не задаются вопросом, нужны ли пациенты.
                          0
                          Точно не нужны: он пациентов одни проблемы.
                          0
                          А вы что думаете?

                          — что конечно же «одна голова хорошо, а две лучше» (и далее, множа число голов применением того же правила к каждому из слагаемых). Только вот голова врача тут лишняя, если можно просто _разные_ модели использовать.
                            0
                            наверное, первичный машинный диагноз на основе снимка и других анализов — это вполне как бы неплохо. Не каждый врач — доктор Хауc.
                              0
                              На мой взгляд, вполне можем увидеть сценарий замены врачей машинами в следующие лет так 5. НО! Только если удастся пробить врачебное лобби, которое под тем или иным причинам блокирует подобные нововведения. Касаемо конкретно снимков, если я правильно помню, одна из проблем была в том, что машины не могли давать описание к диагнозам по сканам. И совсем недавно сразу две команды(из США и Европы) смогли дать решение. Так что сейчас возможно FDA даст разрешение на использование такой диагностики. По поводу точности — к примеру, IBM Watson подбирает оптимальное лечение в 90% случаев, против 50% у простого врача.

                              Конечно профессия не уйдет. Она скорее трансформируется в более элитную и редкую. С более жестким отбором. Такие специалисты будут обучаться в ограниченном количестве ВУЗов и работать совместно в специализированных центрах, куда будут поступать случаи, в которых машины не справились(включая post mortem). Они будут учителями для машины. R&D отделом.

                              Главное продавить медицинское лобби. Для штатов это очень актуально. Стоимость медицинских услуг тут зашкаливающие и абсолютно не прозрачная. И если продавить в одном месте, пойдет просто снежным комом (как в случае со SpaceX).

                              Из того, что я уже наблюдаю, те же терапевты во многих случаях выполняет роль операторов для компьютеров в 70% случаев. Их место могут занять самые обычные медсестры с зарплатами в 3-4 раза ниже. Но пока, формально, решение принимает терапевт, а компьютер считается его помощником. Хотя все вполне уже может быть наоборот.
                                +2
                                Тут такие вопросы:
                                — Кто будет брать на себя ответственность? Уже сейчас анализ ряда медицинских исследований, например, мазков крови (в первую очередь это делалось из-за малярии), может быть проанализирован автоматически, но подпись врача обязательна.
                                — Единообразие анализа. Сейчас можно показать результаты исследования 3 врачам, если 2 врача сошлись на одном диагнозе — это и лечим. При массовом распространении автоматики, а тем более при монополии, получить второе, равно квалифицированное мнение, будет сложновато.
                                — Воровать и/или зарабатывать деньги на штатной единице проще, чем на автоматизированном комплексе, да и у больного отсутствие человека в цепи постановке диагноза (да и лечении целиком) может вызвать отторжение. Вопрос: кому нужно такое масштабное изменение — снижение численности врачей?
                                  0
                                  — Кто будет брать на себя ответственность? Уже сейчас анализ ряда медицинских исследований, например, мазков крови (в первую очередь это делалось из-за малярии), может быть проанализирован автоматически, но подпись врача обязательна.
                                  Потому что у приборов не всегда прописаны критическое осмысление результата и его выбраковка (скажем так, старого оборудования ещё полно, новые потихоньку всё более автономны).
                                  На результатах тест-полоски той же мочи — подпись нужна постольку поскольку. Ну или там при результатах на более сотни аллергенов на новых приборах фадии, или по тому же ПЦР — врачи либо бракуют результаты, либо должны выдать и подписать результат и заключение, который сгенерировала программа. Главное там соблюсти верную технологию и все же понимать итоги.
                                  Хотя ответственность и на враче, но…
                                    +1
                                    подпись нужна постольку поскольку
                                    Я именно про бюрократию. Тут та же фигня, что с самоуправляемыми автомобилями: кто ответственен, когда что-то идёт не так? Врача планируется исключить из процесса, производителю такая радость в принципе не нужна, остаётся… пациент? Что-то мне это старый пошлый анекдот напоминает.
                                      0
                                      Производитель на неё подписывается, выпуская прибор.
                                      Врача планируется исключить из процесса
                                      Нет, скорее для начала снизить количество требуемых врачей для этих действий.
                                      Банально, потому что их количество и качество должно постепенно нарастать, а в том же Китае народу столько, что выдать на гора такое количество современных врачей — проблематично.
                                      А вообще, больше всего бабла получит тот, кто сумеет создать ИИ, способного симулировать прием терапевта для ипохондриков и бабушек)))
                                    0
                                    «Кто будет брать на себя ответственность» — а кто берет отвественность за эффективность лекарст? Так и тут — компания разрабатывающая алгоритм. Тут вопрос в разрешении такого подхода, т.к. старые законы не подразумевают подобного.

                                    показать результаты исследования 3 врачам, если 2 врача сошлись на одном диагнозе — это и лечим — само по себе такое автоматическое иследование, это диагноз на котором сошлись сотни, а может даже тысячи врачей, данные которых будут внесены в систему. Так же конкурирующие системы всегда будут.

                                    «кому нужно такое масштабное изменение — снижение численности врачей?» — потребителю, государству. Не нужно мыслить маштабами России — это в лучшем случае пара процентов в мировом рынке. Я вам скажу о США — при всех местных плюсах, любой поход к доктору вам вылетает в неплохую такую сумму, даже если у вас есть страховка. Да и страховки золотые, в особенности после внедрения Обамакеры и т.п… И население этим очень недоволно. И зарплаты врачей тут играют далеко не последнюю роль.
                                      0
                                      1. За лекарства берёт на себя не только производитель, но и государство в лице сертифицирующих органов (например, FDA) и минздрава, который пишет рекомендации, наставления и протоколы, где упоминается это лекарство.
                                      2. Мне что-то вспомнилось, как Фейнмана и ещё ряд рецензентов попросили написать отзыв на трёхтомник, а последний том не прислали, поскольку не успели издать. Многие рецензенты написали хвалебные отзывы на 3 том. Это я к чему: поскольку откровение Старджона работает и про врачей, надо будет давать для тестирования
                                      — высококвалифицированным врачам
                                      — большому количеству, чтобы нивелировать возможные ошибки
                                      — под контролем, чтобы избежать бросания монетки врачами, например, диагноз должен быть подтверждён вскрытием.
                                      3а. Пациент приходит к врачу не только за диагнозом, но и за вниманием и спокойствием, чтобы объяснили, что с ним такое, что будет, и что вообще всё хорошо.
                                      3б. Многие люди просто не верят программам, поскольку не понимают происходящего. Так, многие до сих пор пересчитывают за экселем на калькуляторе, или даже за калькулятором на счётах. Врач может придавить авторитетом, а вот как скажется на приверженности к лечению автоматический диагноз…
                                        0
                                        1. ну собственно с обследованием будет ровно так же — как я и написал в оригинальном комментарии, до последнего времени, внедренние таких систем не было возможности из-за непрохождения требований FDA. И внедрять их будут только после одобрения FDA.

                                        2. Опять же я описал как это должно быть в оригинальном комментарии, что это так и должно быть — любые случае с отклонением, будут отправляться специальным группам. Благодаря постоянной работе в группе и с нестандартными кейсами, врачи в таких группах будут иметь возможность быстрого профессионального роста. А их новые знания, в дальнейшем, будут частью обучения программы. Которая, в отличии от живых докторов, не будет забывать ни одного случая, который в нее ведут.

                                        3. Люди привыкнут. Отклонения всегда будут — для них можно оставить сверхдорогую перепроверку реальным человеком.
                                  0
                                  Возможно, оно и сейчас стандартизировано

                                  www.dicomstandard.org
                                    0
                                    Его каждый производитель творчески понимает, так что хорошим тоном считается к КТ прикладывать просмотрщик с машины рентгенолога, где всё корректно открывается.
                                      0
                                      О, круто, если это обеспечивает стабильное качество картинки… Я про стандарт выше
                                      0
                                      precision = чувствительность, recall = специфичность. По крайне мере это принятые термины в медицине.
                                        0

                                        Компания "Школа данных" не знает терминов "точность" и "полнота"?

                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                        Самое читаемое