Comments 91
USMLE — это экзамен, который необходимо сдать, чтобы иметь право работать лечащим врачом в США и ряде других стран
Необходимо или достаточно?
при проходном пороге в 60%
Вот интересно, такой врач может ошибиться в 40% случаев при назначении лечения?
А это от случаев зависит. Обычно ведь у врачей всё одно и тоже. Что-то особенное редко встречается. Поэтому и ошибаются они относительно редко.
тут ещё вопрос в том как ошибётся.
Безвредно или вредно, а то ведь ошибка пациента может и убить.
Пример: если на экзамене по высшей математике, теории вероятности и математической статистике вы набрали 60%, не ответив, как посчитать тройной интеграл, как пользоваться преобразованиями Лагранжа, не можете доказать теорему Ферма, но при этом вы в алгебре, тригонометрии, геометрии ответили на 100% это не помешает вам работать кассиром в магазине, бухгалтером в учреждении, инженером на заводе. Вы в свой практике с теми 40% информации вообще никогда встречаться не будете.
Врач будет стабильно справятся в типичных 60% случаев и не будет лечить непонятных 40%, а ChatGPT будет рандомно лажать в 11,1% случаев.
Это Доктор Хаус уже какой-то получается... тот тоже "лажал" пока не находил правильного решения.
Доктор Хаус лажал не "пока не находил правильного решения", а пока ему пОциенты мозги пудрили.
Пример
Приходят родители — "у нашего сына такая-то проблема", Хаус поднимает болячки родителей, находит вариант, но оказывается, что почему-то это не оно. Хаус ездит всем по мозгам, скрытно берёт у родителей плевки (стандартная метода забора ДНК из слюны, с отщепивхся внутренних клеток слизистой щёк), и выясняет, что родители трахали всем мозги и они на самом деле приёмные, их болячкт не имеют к пацану никакого отношения; после чего Хаус исключает вариант наследственного заболевания и находит правильный ответ.
Если вы не являетесь гражданином одной из этих стран, но имеете диплом и опыт работы врачом в своей стране, и хотите работать в этих странах, то необходимо сдать данный экзамен, без него врач не имеет права работать.
Пугает что многие предпочитают автодиагностику вместо посещение специализированного врача, теперь смогут подкидывать догадки и исказить ответ получив любой нужный диагноз.
смогут подкидывать догадки и исказить ответ получив любой нужный диагноз
Специализированные врачи такого никогда не делают?
пугает, это когда врачи начинают лечить по протоколам, а не пациента. всё остальное - вытекает из этого...
Я пробовал специально кормить чат описаниями симптомов и подкидывать вариант диагноза. Вот прям как врачу. Но он на удивление упертый и дает правильный диагноз. У меня было два из двух попадания.
Пугает что некомпетентные врачи теперь будут подсматривать у ChatGPT.
Признаться, удивлен. Задавал чату ряд вопросов по медицинской теме, ответы были неверные, практически абсурдные.
Я вот уже 10 лет слышу что распознавание голоса работает лучше чем люди. На каких-то синтетических тестах может быть. Но на реальных распознавалки пишут бессмысленную ерунду и без знаков препинания.
Да ладно, вот взять автосубтитры на ютьюб - зачастую помогают мне понять то, что я сам не в состоянии распознать (на родном языке).
вспоминая то, какими были автораспознанные субтитры ещё лет пять-семь назад, понимаешь, что это действительно скачок, но меня в этом году больше удивили аудиокниги, записанные синтезированным голосом - ни одной ошибки в интонации, ударения местами абсурдные, но и дикторы-люди тоже не все слова могут знать; то, что голос синтезирован, понимаешь, когда слышишь всевозможные "очепятки" (человек или прочитает правильно, скорректировав текст, или как-то иначе обойдёт непонятный мондегрин, а машина тупо прочитает всё так, как написано).
Да я периодически смотрю на эти сгенерированные субтитры, там такое качество, что лучше бы их совсем не было. Очень много ошибок, особенно какие-нибудь профессиональные термины и сокращения заменяются на рандомные слова.
Прямо как рядовые комментаторы)
Whisper от OpenAI в версии Large понимает знаки препинания, междометия и лично меня оочень удивил результат прогона парочки видео с ютуба. Моделька при этом открытая и работает локально
Надеюсь вопросы задавали на английском языке?
Скорее всего, ваш вариант не является общепринятым и многократно цитируемым.
то есть все , в школу можно не ходить
Врач: - сейчас спрошу у бота, чем вы болеете.
Пациент: - может, я сам спрошу?
Врач: - вот только давайте не будем заниматься самолечением!
;) не совсем так, как сдававший эти экзамены, и практиковавший N лет врач скажу…
Исследование: «дано, пациент с жалобами A, B, C, анализы показали D, наиболее вероятный диагноз из 4 вариантов #2»
Жизнь: -на что жалуетесь? -знаете, я вчера шла на рынок, и увидела кошку, наклонилась ее погладить и у меня, заболела, ах да, я говорила что у моей мамы болели коленки?
Это к тому, что подготовленный набор данных априори отличается от того как неподготовленные люди формулируют и описывают свои жалобы, симптомы, анамнез, иногда вынося в приоритет несущественное и забывая упомянуть без наводящих вопросов ключевые моменты.
Как первый шаг, это реально круто. Но до реальных мед-ботов просто способных отличить «срочно звоним 911» от «ничего страшного, я выслушала ваши жалобы и записала на приём к терапевту на такое-то число», имхо, ещё очень и очень далеко.
Да сразу HMI с кнопками
Фильм Идиократия
Я правильно понимаю, что вопросы скармливали сетке, а далее врачи оценивали правильность/правдоподобность генерированных ответов по определенной шкале?
Offtop, USMLE состоит из хорошо структурированных вопросов и ответов. Для каждого из 3х экзаменов есть книги серии FirstAid позволяющие ответит на большую часть вопросов. Если одна из этих книг попала в тренировочный набор данных, было бы удивительно, если бы бот не смог бы ответить на эти вопросы.
Видимо те кто проводил этот эксперимент не знают про разделение обучающей и тестовой выборки.
Да практически по всем экзаменам можно готовые ответы нагуглить, причем с комментариями.
Интересно было бы сравнение: чат против человека, который в медицине не силен, но у него есть гугл
Так разве бот (в том виде что он использовался в эксперименте) имеет доступ к интернету?
Для обучения он использовал очень большое подмножество интернета, включая полную копию википедии, гитхаба и ещё целую кучу всего. И он всё это запомнил.
Оу, этот момент (копия вики) я упустил… тогда все проще…
Степ 1 это набор научных данных из статей разбавленных клиникой и этикой, и доступных в Вики.
Подавляющее большинство вопросов 2-3 Степов usmle построены вокруг типичного паттерна симптомов/данных/анализов характерного только для конкретного заболевания в вариантах ответов и содержащего 1 или более нехарактерных симптомов/данных для остальных 3-5 вариантов. Путём перебора комбинаций как в шахматах при доступе ко всем этим данным приведёт к верному ответу в большинстве случаев.
Странно только что бот лучшие результаты показал во 2м Степе. Но это возможно связанно с последними изменениями степа 1 которые, возможно, привели к ухудшению качества самих вопросов.
Как раз нет, ничего удивительного не было бы. Вы не забывайте, что ChatGPT - это не огромная база данных, а относительно небольшая нейросеть (не специализирующаяся на медицине притом - т.е. лишь очень малая доля её ресурсов потрачена на знания по медицине). Поэтому попадание книг книг, посвящённых именно USMLE, не позволило бы ей сдать экзамен, если бы информация из них не коррелировала бы с другими медицинскими текстами, которых в обучающей выборке было на очень-очень-очень многие порядки больше, чем посвящённых USMLE.
А рецепт он "почерком врача" смог выписать? :)
А рецепты где-то ещё прописью пишут?
Серьезные рецепты, там где нет единой электронной базы рецептов - как правило только от руки, не в последнюю очередь из-за возможности подделок.
Серьёзно? У нас никакой общей базы нет. Есть отдельная база для электронных рецептов. Но там только они.
A в бумажном виде всё печатается. То есть подписать от руки врач конечно должен. Но всё остальное напечатано.
Вам очень повезло в вашем светлом будущем. Нам все по старинке - криптостойко
Рецептурные бланки формы 148 (наркотические и сильнодействующие средства, некоторые глазные капли) подлежат учёту. Они нумеруются и заносятся в специальный журнал, и заполняются, как правило, вручную.
Рецепты на медицинские изделия (форма 1-МИ) тоже подлежат учёту, но большинство ИМН вам продадут и так безо всякого рецепта.
Пример
А почему, собственно, нет? Как я понимаю, кое-где вести бумажный учет представляется руководству более оправданным, чем проводить работу по модернизации делопроизводства. И да, с бумаги это всё в итоге попадает в общую базу минздрава (со стороны врача; не знаю, как там насчет отчетности аптек), казалось бы, немного докрутить.
А почему, собственно, нет?
Потому что это потом кто-то читать должен. Представьте себе что аптекарь это не сможет разобрать или, что ещё хуже, поймёт что-то не так.
А отчётность она потом идёт с аптек. По реально выданным лекарствам. Потому что если врач рецепт выписал, то это совсем не значит что пациент с ним в аптеку пойдёт.
Понимаю ваши опасения по поводу человеческого фактора, но:
врач несёт ответственность, ставя подпись и печать
заведующий несет ответственность, ставя подпись и печать
кто-то там ещё из делопроизводителей несёт долю ответственности (вряд ли применительно к почерку врача и содержимому рецепта), ставя печать клиники.
То есть один человек пишет, второй проверяет, третий аутентифицирует второго (и журналирует), четвертый выдает медикаменты и отчитывается по ним.
Это вполне рабочая схема, которая, как мне кажется, будет сбоить в том случае, если большинство акторов забьют на свои обязанности.
Ни в коем случае не оспариваю преимущества печатного текста перед рукописным, просто считаю, что в комплексе они не так уж значительны, стало быть оправданность затрат на их реализацию неочевидна для принимающих решения. До какого-нибудь громкого прецедента, вестимо.
Потому что это потом кто-то читать должен. Представьте себе что аптекарь
это не сможет разобрать или, что ещё хуже, поймёт что-то не так.
Вы так удивляетесь, будто электронные рецепты были всегда. Десятилетиями выписывали рецепты на бумаге и ничего, читали. Т.е. электронный конечно лучше, но вот так вот категорично не нужно.
Да и сама ветка обсуждения изначально саркастическая.
Ну, Вы спросили "где-то". Знаем про турцию и россию.
В турции, например, торговля рецептухой (и вообще аптечными препаратами) очень нам нравится как сделано. Рецепт электронный, хотя могут и бумажный выдать и рукописный, но в электронную базу он внесен должен быть обязательно. Аптеки все с гос. регулированием цен на аптечные препараты и закупочной системой по принципу акцизов - подделок можно не опасаться. Купить можно в любой аптеке, если нет в наличии - закажут и привезут, даже без предоплаты. У платного врача без проблем выписать что надо, при наличии обоснования (например наличие рецепта из россии или диагноз поставленный у другого врача), у бесплатного что выпишут то и выпишут.
В россии электронную базу не родили, но в принципе всё к этому идет, периодически анонсируют. Рецепты рецептурные все выписываются от руки, плюс в зависимости от группы препарата должна быть определённая форма бланка (который нельзя печатать на принтере) и набор печатей (некоторые из которых обычный врач не может ставить, только заведущий отделением допустим). По совсем строгим препаратам - рецепт забирают, по не совсем строгим - ставят отметку о выдаче на рецепте, по совсем не строгим - просто смотрят рецепт (или если не выглядишь как нарк, то можно показать фотку). В любом случае могут отказаться продать и/или позвонить в поликлинику/больницу и уточнить у врача действительно ли выписан рецепт, если есть подозрения.
Мало того, особенности российской полиции и законодательства в том, что если рецепт забирают - крайне умной мыслью будет попросить сделать ксерокопию рецепта, чека и поставить их местную аптечную печать. Т.к. с препаратами из определённых групп с собой попасть на полицейского - может обернуться парой суток в обезьяннике, пока всё проверят.
Да, могу отсканировать. Все так же - нормальному человеку не прочитать :)
Чат сказал "в морг", значит в морг!
Из интервью с Анатолием Карповым (чемпион мира по шахматам 1975-2985) из 2006 года, когда речь зашла о том, что компьютер обыгрывает человека в шахматы:
Мы оказывается в неравных условиях, потому что в памяти ЭВМ заложена информация, собранная за всю историю шахмат, а шахматист пользоваться ей не имеет права. Значит, надо либо изъять эту базу данных у компьютера, либо и нам обеспечить доступ к ней в ходе партии. Я уж не говорю о том, что время необходимо выравнивать...
... Нужно просто очень серьезно подходить к подготовке и играть с любым «Deep Though» или «Deep Blue», как на первенство мира. К сожалению, большинство гроссмейстеров видят в этих поединках лишь дополнительную возможность заработка и не понимают, что вредят своему будущему, дискредитируют шахматы слабой подготовкой и не очень мудрой игрой. Именно из-за столь легковесного подхода у простых болельщиков, а тем более у людей, далеких от шахмат, сложилось впечатление, что компьютер намного сильнее и умнее человека. Нет, это, к счастью, не так.
Ну, лишь бы гптчат не тренировали на сценариях сериалов: «У него волчанка!» (с)
DailyMail это примерно уровень Спидинфо. Если прочитать немного более детально, то можно заметить, что тесты были упрощены. После чего, на этих упрощенных тестах AI показал результат от 52.4 до 75.0 процентов.
Достижение проходного балла за этот общеизвестно сложный экспертный экзамен без какой-либо помощи со стороны человека знаменует собой заметную веху в развитии медицинского ИИ
Сравнили ИИ с идеальной памятью и практически безграничной библиотекой предшествующих случаев и врача-человека с ограниченной памятью, который не с каждым случаем в своей практике сталкивался — и, внезапно, первый победил. Какой сюрприз!
Раньше не побеждал. Впрочем, тут дело даже не в победе, а в возможности пользоваться услугами такого ИИ, которая через пару лет у нас появится.
У врача есть одно сильно неоспоримое преимущество: он может объяснить причины, по которым он пришёл к неким выводам. Типа "я вижу, что у вас билирубин повышен — похоже, у вас гепатит". Желаю удачи получить хоть какие-то объяснения от этого вашего ИИ.
Врач, кстати, если у него появились какие-то сомнения, может запросить дополнительные анализы и исследования. В отличие от.
Врач, кстати, если у него появились какие-то сомнения, может запросить дополнительные анализы и исследования
А может не запросить ни фига, а просто сказать шибко умному пациенту "Кто здесь врач?", ибо ему за детальное копание в нестандартных случаях страховка не платит, и вообще, он на потоке пациентов залюбился сегодня и хочет домой.
Хороший врач конечно может. Но хорошего врача ещё надо найти (от среднего уже меньше ожиданий) и он дорог. ChatGPT, кстати, даёт "хоть какие-то объяснения" без проблем, просто они пока совершенно ненадёжны. Но "вы находитесь здесь". Через пару лет ИИ запросит и дополнительные анализы и будет на уровне среднего провинциального врача. И он нереально дёшев (в себестоимости).
С другой стороны у врача "глаз замыливается". То есть грубо говоря если к нему сегодня пришли 100 пациентов с кашлем и у всех в результате оказался грипп, то есть высокий шанс что 101 пациент с кашлем получит такой же диагноз "за компанию" и потому что врачу будет лень напрягаться.
Машине не сложно "обнулить контекст" после каждого пациента. . Она не устаёт. У неё не болит голова. Ей не нужно думать что подарить жене на день рождения. И так далее и тому подобное.
И да, самый оптимальный вариант это комбинация врача и машины/ИИ/программы.
Да всё ребят, сворачиваемся, нам тут делать нечего уже....
Это чисто текстуальный тест? Иначе как бы в ChatGPT скармливали схемы и фото (скажем рентген снимки) из вопросов.
нейросеть PubMedGPT, обученная исключительно на медицинской литературе и профильных базах данных, дала лишь 50,8% правильных ответов.
Интересно, ИИ должен иметь хотя бы базовые знания по непрофильным областям.
ChatGPT сдал медицинский экзамен USMLE на право работать врачом в США