Комментарии 70
реальный диагноз : "сухой кашель"
реальный диагноз : "боль в эпигастрии"
реальный диагноз : "боль в шее"
Это не диагноз, а всего лишь первичные и скорее всего очевидные признаки , по которым ставится диагноз.
Диáгноз (греч. διάγνωσις, лат. diagnosis «распознавание»; от dia «через, посредством» + gnosis «знание») — медицинское заключение о состоянии здоровья обследуемого, а также сущности болезни и состоянии пациента, выраженное в принятой медицинской терминологии и основанное на всестороннем систематическом изучении пациента.
"Статистика (ссылка) за 2021 год показывает, что около 21% компании в России внедрили ИИ. Данных за 2022 пока нет, экстраполируем примерно на 25%, что весьма неплохо."
Согласно Вашей ссылке, внедрение ИИ даст рост ВВП на 1 процент лишь к 2025 году, но уже повысило рентабельность на 5%(!!!) . Почему же это повышение не повлияло на ВВП сейчас ? Что же хорошего в том, что внедрение пятой частью компаний ИИ никак не ощущается в изменении ВВП? Что-то тут не так с данными - которые наше все.
Спасибо за замечание. Это оценки, которые дал директор АНО "Цифровая экономика". Я не обладаю образованием в области экономики, но попробую ответить. Рост рентабельности говорит лишь о том, что компания работает эффективнее, чем раньше, и это уже влияет на ВВП. То есть компании могли иметь низкую рентабельность и повысить её, например, до средней, что уже хорошо). ВВП России 1,779 триллиона USD (2021 г.), рост по данным на 2021 г. - 4.7% , если к этом добавить прирост в 1% мы получаем 5.7%, а это увеличение на целых 21% - уже более значимые цифры)
А как Вам такой вариант. раньше в компаниях отвечали клиентам люди, а теперь им отвечает программа. В итоге рентабельность повысилась - людей уволили, так как теперь клиенты не могут до технарей достучаться, то тех тоже сократили. В итоге - затраты на зарплату сократились, а освободившиеся деньги направили в бонусы (а это прибыль) руководству. А на ВВП это не влияет, так как выручка не изменилась.
реальный диагноз : "сухой кашель"
реальный диагноз : "боль в эпигастрии"
реальный диагноз : "боль в шее"
Это не диагноз, а всего лишь первичные и скорее всего очевидные признаки , по которым ставится диагноз.
Диáгноз (греч. διάγνωσις, лат. diagnosis «распознавание»; от dia «через, посредством» + gnosis «знание») — медицинское заключение о состоянии здоровья обследуемого, а также сущности болезни и состоянии пациента, выраженное в принятой медицинской терминологии и основанное на всестороннем систематическом изучении пациента.
Абсолютно верно! В задаче SymptomRec мы оперируем симптомами! Описался) Спасибо за замечание!
Только сегодня от врача и она не смущаясь сообщила диагноз "что-то болит" в формулировке "дисфункция с болевым синдромом". Особенности национальной медицины.
У меня был еще прикольней случай.
Пришел к врачу.
Она взглянула и воскликнула - "Это что такое у Вас, первый раз такое вижу?"
Она взглянула и воскликнула — "Это что такое у Вас, первый раз такое вижу?"
Так это как раз не проблема, если врач поймет, что надо проконсультироваться с другими специалистами. То есть для ситуаций с непонятными диагнозами должны быть простые способы их эскалации.
Так там, все было банально просто - хрящ переломан.
Она так и сказала позже, но я с этим к ней и пришел. Результат -ноль, само зажило. Давно это было, но ИИ тогда давал в медицине такие же результаты как и сейчас , только назывался он Системой распознавания образов в медицине. Теперь таких врачей уж нет.
Сейчас ИИ - это всего лишь генератор текста. Обучают его на текстах из интернет. Вот он и генерирует правдоподбные наборы букв на основе того, чему учили. Своих мыслей у него нет , а интеллект весь на основе интернета.
Точно не доктор Мерфи)))
Это куда лучше, чем как мне терапевт только на основании моих жалоб поставил мне на первом приёме диагноз - СРК. Хотя это диагноз исключение, т.е. нужно меня было всего обследовать и если ничего не нашли, то только тогда ставить этот диагноз.
Да) И такое бывает)
там, где модель не угадывает точный диагноз, она даёт очень близкие по классификации болезни
В вашем же примере, модель сообщает о проблемах с сердцем, а в реальности – легочная болезнь.
сможет ускорить время выставления диагнозов для пациентов
Ускорить сможет, главное чтобы процент ложных диагнозов не вырос.
Все эти лингвистические модели – это просто улучшенная версия бредо-генераторов из нулевых. Модели НЕ понимают механик окружающего мира, в них это не закладывают. Модели просто имеют статистику цепочек слов и по вводным данным рандомно генерируют ответ.
Спасибо за комментарий. В нашем веке произошёл значительный прорыв области Больших Языковых Моделей (LLM). Сейчас такие модели представляют собой достаточно сложные архитектурные решения и показывают отличные результаты в области перевода, генерации текста (тот же Chat GPT) и других задачах. Статистика цепочек слов - это скорее к старым статистическим моделям, которые уже не используются. Вот интересная статья про динамику развития этих моделей (ссылка).
Я правильно понимаю, что данные для обучающей модели взяты из поликлиник? Ну т.е. не частных клиник, а обычных бесплатных? Там где очереди по 2-3 часа, из за этого среднее время на прием пациента 5 минут, и "реальный диагноз" ставит выгоревшая, замученная, уставшая врачиха, работающая за копейки, которая не может устроиться в частную клинику на большие деньги, потому что ей квалификации не хватает. А медицину она учила давно в ВУЗе, по учебникам 50-60 годов и с тех пор ничего больше не учила. И всякий, кто ходил в такую поликлинику знает, насколько там адекватные диагнозы ставят.
А ещё данные взяты с интернет форума, ну это вообще балдёж!
Ну, что вы накинулись? Нормальная интересная статья. Тем более с чего вы решили, что частные клиники бесплатно будут делиться историями болезни пациентов или вообще выкладывать их в открытый доступ?
Спасибо за развернутый комментарий! Данные для обучения модели могут браться из разных источников, в том числе и форумов, почему? Чем больше данных модель увидит, тем более разнообразные ситуации она встретит. Да, нечистые данные (данные с неточными диагнозами) могут повлиять на обучение модели в худшую сторону! Но ключевой момент в тестировании модели: для тестирования были отобраны подтверждённые диагнозы (с помощью анализов и других видов исследования). Ну и не стоит забывать, что модель лишь призвана ускорить процесс работы врача, а не стать его заменой!
Здесь будет очень большая польза только в случае тренировки ИИ на правильных диагнозах и методах лечения. А вот как их отобрать — вот основной вопрос.
Спасибо за комментарий! Очень интересный момент в том, что данные для тренировки должны быть разнообразными, а вот тест модели должен ОБЯЗАТЕЛЬНО проводиться на подтверждённых диагнозах (с помощью анализов, ЭКГ, снимков и др.), как и было сделано в данной статье)
данные для тренировки должны быть разнообразными
Что это означает — на всех подряд? Может лучше тогда тренироваться на медицинских справочниках?
Имеется в виду на разнообразных медицинских данных (таких как, например, данные с форумов), потому что иногда и там встречаются ответы квалифицированных врачей, либо тех, кто через них прошёл и помогает людям с похожими диагнозами
Не боитесь, что средний по больничке диагноз пациента будет искривление потока жизненной энергии? Тренировка на неправильных исходных данных обычно к хорошим результатам не приводит.
Вроде по правилам статистического обучения тестовый, обучающий и валидационный датасеты должны быть из одного распределения, а обучать на одном, а тестировать на другом - далеко можно зайти.
Да, всё верно, все дата сеты должны быть из одного распределения. Даже если мы добавляли в наш дата сет данные с форумов, мы брали ответы, квалифицированных врачей. Вы всегда можете сами ознакомиться с нашими данными) Вот ссылочка)
Вы реально хотите на 1.5 тыс записей взятых из различных источников обучить сложную задачу? Завидую вашему оптимизму. Даже для трансфера знаний от уже обученной сети этот объем выглядит маленьким на грани фола, а для прямого обучения это кажется слишком скромным датасетом.
Кардиограммы (последний датасет) - да, такие задачи известны, и они вроде решаются на таких датасетах, в том числе видел международные врачебные квесты, даже на кагле что-то подобное видел, но остальное выглядит несколько маловатым.
Вы, наверное, имеете в виду задачу DaNet, там действительно 1.5 тыс. записей, но мы лишь дообучаем наш Лонгформер под конкретную задачу, до этого, как упоминалось выше, мы обучали Лонгформер на всём объёме текстов, который имеется в нашей лаборатории. Но не могу не согласиться, 1.5 тыс. - это маловато) Например, в той же задаче NLI 15 тыс. записей и результат гораздо лучше) Вообще это очень интересная дискуссия про объём данных, сейчас общепринятое мнение, что важен не общий размер данных, а количество "чистых данных".
Как быть с случаями, когда ежегодно приходят СМС с просьбой оценить визит в поликлинику? При этом визитов не было. Но! Были какие-то приемы, обследования, диагнозы... кем-то проведенные в электронных системах. Это вы на таких достоверных данных обучали?
Спасибо за комментарий, нет, как я уже упомянул выше, наши данные - подтверждённые диагнозы, с помощью исследований. СМС - это не к нам)
Спасибо, что отвечаете. Но, то ли вы не поняли, то ли лукавите. Когда вы говорите "подтвержденные диагнозы", то не вижу противоречий в том, что в электронном виде реальные процедуры, исследования и посещения специалиста и виртуальные, которые кто-то внес в систему, чем-то для вас могут отличаться. И там и там визиты, исследования и диагнозы. Только в одном случае был пациент и его исследования, а в другом кто-то вносил данные без пациента. Но для вас это все "подтвержденные диагнозы". В электронном виде это неотличимо. Дьявол кроется в деталях. И эта деталь самая важная и главная. Вам ли не понимать, что обучение на выборке, где может быть достаточно большой процент таких "подтвержденных" не имеет смысла с точки зрения достоверности. А вот с точки зрения применения таких обученных моделей уже будет являться преступлением. Пусть и нет статей в УК на такие преступления. Но от этого последствия применения таких предобученных моделей менее преступным и страшным для здоровья не меньше. Могу только пожелать всем авторам стать подопытными их систем. Потому что когда люди лезут в медицину, то забывают один из главных принципов - не навреди!
Ага, сейчас понял) Такие практики мы обходим стороной, потому что чем более качественные и естественные данные мы используем, тем лучше точность нашей модели. Если добавлять таким способом данные в выборку, она станет смещённой, а то и вовсе из другого распределения. В общем, предпочитаем качество нежели количество, что основная парадигма сейчас)
То есть вы все же лукавите. ) Вы кроме лозунга про качество ничего не сказали про достоверность данных. Я вам привел вполне конкретный пример. Когда данные неотличимы. Люди физически существуют. Только вот те манипуляции, исследования и диагнозы кто-то(не будем показывать пальцем) подделывает. для вас это неотличимые данные в выборке. То есть результат обучения очень и очень сомнительный. Спасибо, что подтвердили невозможность доверия. )
Зачем нам обучаться под смещенную выборку?) Это лишь только ухудшит качество нашей модели на реальных данных, зачем нам стрелять себе же в ногу?)
Опять вы лукавите. Это уже не смешно . Я вам привел вполне конкретную реальную ситуацию. А вы юлите вокруг с вашими "зачем нам". Уточню ещё раз. Как вы проверяете достоверности медицинских данных, на которых обучает модель и с чем сравниваете результат?
Давайте так, я наши данные получены от качественных, добросовестных партнёров. Манипуляции, подделывания диагнозов - это не про нас. Если мы будем обучаться на данных, которые кто-то "подделал" - мы будем учиться уже не на реальном мире, и получать будем нереальные результаты и все это прекрасно понимают. А вот это Только в одном случае был пациент и его исследования, а в другом кто-то вносил данные без пациента. Но для вас это все "подтвержденные диагнозы" - это вообще что такое? Зачем кому-то подделывать такие данные? Для каких целей это может быть применимо, лично мне, не понятно.
Очень наглядные графики, спасибо за статью.
Почему-то никто не вспоминает результаты применения обучающихся алгоритмов в медицине пол века назад не только в СССР, но и в США. Результаты были впечатляющие. Но не потому что можно было 200 миллиардов узлов сделать и потом полгода обучать их непонятно чем, а потому, что не было таких суперкомпьютеров а диагностика была и прогнозирование после операционного состояния было. Правда американцы сделали вывод, то достоверность диагноза выше 90% получить не получится так высокая погрешность исходных признаков - т е измеряемых параметров организма, а не букв в интернете, которого еще и в помине не было.
Ну и что же достигли за эти 50 лет? Ничего кроме бла-бла- бла и глупых вопросов ИИ с последующим восторгом "как он здорово сгенерировал буквы."
поделитесь ссылкой на упоминаемые алгоритмы/статьи о результатах?
Давно это было, уже не помню точного названия. Могу лишь сказать, что в ту пору вышел переводной тематический журнал О результатах применения ЭВМ для диагностики в медицине ( США) и книга о применении ЭВМ для прогнозирования послеоперационного состояния, а также сборник алгоритмов и программ на Алгол-60 по распознаванию образов . В книге в основном использовался метод главных компонент.
Случайно не вот это? https://en.wikipedia.org/wiki/Man-Computer_Symbiosis
Распознавание образов и медицинская диагностика / Ю. И. Неймарк [и др.]; под ред. Ю. И. Неймарка. — Москва : Наука, 1972. — 323 с.: ил. — Библиогр.: с. 313-325. — Предметный указатель: с. 326-328.
Не могли бы вы поделиться ссылкой на результаты о которых упомянули, с удовольствием прочитаю!
Добавил в закладки, попозже почитаю детально. Если что я сам "впариваю", в смысле внедряю AI / ML в разных прикладных проект для разных компаний. До этого работал с больницами на тему smart textiles, wearables и так далее и через университеты как исследователь и как консультант частных компаний. По итогу сейчас мы не трогаем медицину и 20 метровой палкой по двум основным причинам: 1) мы не хотим получить иск за ошибочный диагноз 2) ИИ в общем случае не дает объяснений, acceptance level у врачей очень низкий. Куда более известный пример от IBM, ИИ говорит: "судя по снимку у этого рак". Почему? Ну потому что натаскали на снимках тех у кого он был (так же как на кошечках и собачках), но этот ответ не годится для врача. В итоге мы делаем только wellbeing решения, например делаем оценку позы, но не даем никакого заключения: только углы / отклонения рисуем. Заключение будет делать врач (и отвечать за это заключение своей лицензией). Мы всегда даем такой "угол", что мы вам делаем помощника, а не замену. Хотя чаще это продиктовано не техническими причинами.
Спасибо за развёрнутый и интересный комментарий!!! Соглашусь со всеми тейками) Поэтому мы тоже готовим только помощника для врача) Зачастую интерпретировать результаты больших моделей достаточно сложно, хотя попытки есть. Вот статья о том, как можно развернуть нейронную сеть в дерево решений (ссылка), но это далеко от того, что будет действительно всех устраивать)
Аналогично, но из области технической диагностики. В одной из бесед с представителем гражданской авиации еще в СССР, я с энтузиазмом рассказывал ему, что можно сделать полностью автоматическую систему ,на основе конечно нейронной сети и самообучения , диагностики самолета в эксплуатации ( в ту пору упали два самолета по причине того, что проморгали трещину в диске турбины и летали пока диск неразорвало. )
А представитель мне и говорит - это все хорошо, но кто подпишет разрешение на взлет, если диагностику будет делать ЭВМ? кто ответит за безопасность полета?
Да, регулирование всех современных моделей - это очень важная и актуальная тема) Не даром в последнее время очень много форумов и лекций на тему AI Regulation. Действительно довольно щепетильная и тонкая тема)
Preventive maintenance сейчас заходит очень хорошо даже небольшим компаниям, обычно в связке с IoT-решением (которое мы вам отдельным проектом разработаем). Техника-то все равно гонять, но если можно спланировать когда, куда и до того как турбина/ котел/ гидравлический цилиндр накроется, то выгода очевидна. А если показать что устройство эксплуатировалось вне рекомендованных условий и съехать с гарантии - вообще красота. Например гидравлический цилиндр грузовика гарантирован на 10 000 циклов, но если вы перегруженный грузовик на косогоре постоянно ставите и возникают боковые нагрузки от чего цилиндр сдох на 4000 циклах.... то клиент (производитель цилиндров) очень сильно нас полюбит за пруфы и сэкономленные $$$ и отдельно за предсказание, что скоро еще один накроется и пора оповестить клиента и предложить пути решений (читай: занести еще денег).
А так да, автономный шатл с парковки концертного комплекса не ездит исключительно потому что никто не хочет лично отвечать: ни разработчик, ни городской чиновник. А посади человека, застрахуй ответственность и никаких проблем. Пока увы так.
Когда упал самолет , ныне это Питер, то выяснили, что он успел слетать с трещиной в диске в Новосибирск и возвращался обратно и его разнесло, а это был Ту, а не кукурузник. Погибли все пассажиры и экипаж. А все было банально просто. Пилоты подкручивали показания прибора повышенной вибрации, чтобы тот напрасно не сигналил, ну и доподручивались.
Очевидно, что "подпись" ставит тот, кто получил деньги за внедрение AI/ML системы диагностики. С него и ответственность в случае ЧП.
Серьезно? Прям "врываются"?
Историю последнего полувека гораздо более серьёзных работ забыли?
Выглядит как рассказ студента авиационного института про постройку авиетки, когда мир летает на 300-местных лайнерах.
Спасибо за статью!
Вопрос, а по такой схеме в теории разве не должно получится лучше, чем просто обучение с 0 по диагнозам, где нейронка по коротким диагнозам должна понять как работает организм:
Обучаем или берём хорошую общую LLM, чтобы хорошо понимала взаимосвязь слов/текст
Дообучаем на большом корпусе медицинских книжек. Можно даже разбить на несколько частей - обучаем вначале по общей медицине, затем дообучаем узкоспециализированным направлениям, биохимии. Для того чтобы нейронка хорошо знала как устроен и работает организм.
Дообучаем уже на тестовом датасете к конкретной задаче. Чтобы нейронка правильно пользовалась своими знаниями и делала выводы.
Вам спасибо за прочтение! Это как раз так и работает, наш Лонгформер был сначала обучен на большом корпусе текстов = общая LLM модель. Потом мы дообучили на медицинских текстах от наших партнёров с помощью Кристофари в течение нескольких месяцев) И уже третий шаг был дообучение под нашу задачу на Бенчмарке. Так что да, Вы всё правильно поняли)
Спасибо за разъяснения! А медицинские тексты от ваших партнёров включают общий курс по медицине, скажем так главную базу по работе организма? Думаю тут важный момент. Если это просто разрозненные статьи, то тут даже человеку наверное будет трудно составить общее понимание, а нейронке подавно. Или там базовые учебники включены?
И ещё вопрос - я не оч глубоко разбираюсь в архитектурах, но так понимаю были какие то преимущества у bert перед архитектурой gpt? И существуют ли какие то ещё новые интересные архитектуры которые могут выстрелить в скором?
Всегда пожалуйста) Да, мы старались в том числе добавить и базовые учебники по медицине, какие конкретно я сказать в данный момент не могу) По поводу архитектур, Вам, наверное, лучше почитать данную статью ссылка, но попробую ответить кратко и понятно) BERT и GPT - это две разные архитектуры. BERT основан на энкодерной архитектуре, а GPT на декодерной. Энкодерные архитектуры обучаются под другие задачи, нежели декодерные. Когда обучали классический BERT брали две задачи - классификация предложений (идёт ли это предложение следующим после другого) и предсказание замаскированного слова (случайно маскируем слова в тексте и пытаемся их восстановить), поэтому такие архитектуры хорошо могут классифицировать тексты, улавливать взаимосвязь между предложениями, выполнять sentiment analysis и др. А Декодерные архитектуры появились из задачи генерации текста, то есть они отлично подходят под задачу Language Modeling. Поэтому исходя из наших целей было решено выбрать Longformer ( если супер просто, то это RoBERTa + cross-attenton, который позволяет расширить длину контекста, а чем больше контекста, тем лучше). Надеюсь ответил на Ваш вопрос)
А если про новые архитектуры, то крайне интересно выглядит PALMv2 (ссылка), по поводу GPT4 не могу ничего сказать, так как она ещё не вышла) Сейчас много интересных новых архитектур, так что будем пробовать)
Я врач анестезиолог-реаниматолог. Применение ИИ в моей специальности, действительно, имеет огромный потенциал. Ещё лет 20 назад говорили о концепциях мониторинга лабораторных данных, показателях газовой смеси на вдохе/выдохе, инвазивного мониторинга гемодинамики в режиме реального времени с параллельным анализом этих данных машиной в реальном же времени с целью коррекции глубины анестезии, например, или параметров вентиляции пациентов на ИВЛ. Это, безусловно, круто.
Только, как и происходит сейчас во всех отраслях, где ИИ "отбирает работу у людей", работа эта по преимуществу интеллектуальная. Разбудите меня, когда будет создано устройство для интубации трахеи без участия врача. Когда биомеханическая рука сможет катетеризировать центральную вену, или пунктировать спинномозговой канал, или поставить пломбу/сделать аборт/вправить вывих. Вот на это я бы посмотрел )
А пока, удачи с ИИ. Перспективы вырисовываются, конечно, фантастические. Только мне кажется, что для перехода из разряда фантастики требуется в первую очередь переход от государственного финансирования к частным инвестициям. Единственные инновации сколково, действительно поражающие воображение - масштабы и скорость усвоения бюджета.
Спасибо за комментарий, всегда приятно читать комментарии от специалистов из области) Да, все возлагают на ИИ надежды, как на некую "волшебную таблетку". Особенно когда только начали появляться действительно хорошие и качественные модели, мы видели заголовки по типу: "нас всех скоро заменят", "ИИ уничтожит человечество" и др. Сейчас люди постепенно приходят к понимаю, как и где можно применять нейронные сети, как они могут помочь и облегчить работу специалистов. Поэтому мы и позиционируем себя как помощники врачам, а не что-то отдельное и решающее все проблемы.
Перспективы и потенциал огромен, главное понимать, что действительно можно улучшить, а куда лезть не следует) На счёт финансирования не могу точно сказать, что будет лучше. Хотелось бы сказать, что чем больше финансирование, тем лучше, но это не всегда так)
Вместо того, чтобы вкладывать ресурсы в изучение организма и его систем, пытаются понять его болезное состояние на основании того, что сказал больной и что подумал доктор.
Создают некую абстракцию, и считают, что это и есть истина, которая поможет врачу горбольницы с облезлыми стенами.
Но читать очень интересно!
Публикации
Нейронные сети врываются в медицину