Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 19
Это очень круто! То есть можно через эту систему прогонять 100% населения и выявлять всех носителей редких заболеваний проактивно, а не дожидаться, когда человек 5 лет блуждая по ненужным врачам, наконец, дойдёт до нужного и узнает свой диагноз. Или в любом фельдшерско-акушерском пункте проверить любого пациента на наличие редких заболеваний.
Сперва надо сделать капсулу диагностики (как симптоматик в fallout) - где не надо слушать субъективные жалобы пациента "неделю назад хоронили шурина, на утро в ушах шумело и колено болит".
Надо, чтобы аппарат всё тело просветил, проУЗИровал, анализы всякие взял. И через часик потрепанный и слегка пенетрированный пациент получает объективный результат.
Люди не описывают свои симптомы медицинскими терминами. Без анализов получить точность больше 50 процентов это маловероятно. Я мониторю эту тему и знаю, что нормальная вероятность диагностики без анализов может быть 9 - 15 %.
А все симптомы большинства диагнозов одинаковы - боль, температура, опухоль, покраснение, озноб, лихорадка, сыпь, зуд, кровотечение - всё очень похоже.
Я очень рад, что агенты по зарабатыванию бабла скопипастили статью из другой помойки, но у ресурса есть вебсайт, который - вся суть статьи. https://raredx.cn/doctor#/doctor
Учитывая смешное ограничение по символам, - у них все получилось, потому, что запланировали, что получится. Невозможно описать даже до смешного короткий список симптомов. Мое достаточно редкое состояние модель не угадала.
Edit: Дотестил до конца, боже, я упомянул 2 госпитализации в пределах одной недели (одно и то же заражение), а модель в итоге сгаллюцинировала 85% Mendelian Susceptibility to Mycobacterial Disease, что абсолютный абсурд с 2х кейсов за жизнь в течении 1 недели и вообще другой бактерии, при том, что прочие проявления пожизненны. Я ожидал ошибку с первого же этапа (их 6), но такой бред для реального врача должен заканчиваться отзывом лицензии.
Упомяну, что ресурс ВООБЩЕ не предназначен для обычных людей, исключительно и только для докторов и ученых, поэтому с проблемой, которую описал @alexhu они не боролись.
ресурс ВООБЩЕ не предназначен для обычных людей, исключительно и только для докторов и ученых,
Насколько понимаю, доктора и учёные в массе своей не пользуются медицинскими экспертными системами - возможно, около 0,1 % пользуется, только это исключение. Сколько не расспрашивал врачей, им это не нужно - у них специализация и всего несколько кодов болезней. Остальное им просто не оплатят, не разрешат заполнить в документы, не разрешат врачебную деятельность.
С учёными сложнее, но у них тоже специализация и жёсткие рамки грантов. То есть это организационный вопрос, но очень жёстко регламентированный.
И по качеству моделей - все остерегаются правовых последствий. Это приводит к тому, что когда я сравниваю открытые медицинские модели со своей "игрушечной" медицинской экспертной моделью - моя модель работает лучше. Возможно есть жёстко закрытые коммерческие медицинские системы, которые работают много лучше, только пока не слышал о таких, врачи не слышали, в новостях и фильмах об этом не заявляют.
Сидя по реддиту, не только пользуются, но даже заставляют и встроены в системы.
Никто не остерегается правовых последтсвий, у докторов регулярно посты в стиле "я задал вопрос, как обеспечивается безопасность данных, мне сказали, что не могут ответить". Все через задницу, как и везде в этой сфере.
как обеспечивается безопасность данных
Безопасность данных это не сфера компетенции врача, организационно этот пункт расписан на руководство. Поэтому врачам и отвечают - не лезте не в своё дело, занимайтесь тем, для чего вас наняли на работу; я тоже читаю форумы врачей.
А по медицинским моделям - они настолько толерантно вылизаны и сглажены что бы никого не обидеть и не выдать результат который сочтут оскорбительным, что от открытых моделей (и даже полностью коммерческих) мало толку ( - это только моё мнение), хотя все вокруг в восторге, от их возможностей.
Ну, открытые модели угадывают мой фенотип с 4-8 итераций в зависимости от подсказок, но только с интернетом. Из закрытых только Gemini, но угадывает за 2 итерации(одна серия уточняющих вопросов да/нет)
По моему опыту Gemini единственная модель с реальным знанием научных публикаций за 25 год, даже у антропика cut-off часто в 2019/2022.
Касательно сферы компетенции врачей, - может быть так верят в СНГ. Но в США врачи лично отвечают за каждое из положений врачебной сертификации, а уровень образования считается эквивалентен PhD. Для врача нормально заниматься научной деятельностью даже в России, с чего бы им не интересоваться ИИ в США, где он, как я сказал, - буквально включен в работу.
Совсем недавно я тестировал medGemma - специализированная нейронка по медицине от google - результаты слабенькие. Возможную причину я написал - что бы кого ненароком не обидеть.
По итогам вычислений моей модели - Если человек систематически курит или употребляет алкоголь (пусть и слабоалкогольное даже в 1 процент) больше 2 раз в неделю, то не нужно других причин заболеваний - это отражается на всех органах и на психике. Если избыточная масса или ожирение, то тоже нужно бороться с этими недугами, а уж потом с самой болезнью.
Предполагаю, что если врач такое озвучит, то на него сразу будет жалоба. Это я ещё про курение не написал - активное или пассивное.
По итогам вычислений моей модели - Если человек систематически курит или употребляет алкоголь (пусть и слабоалкогольное даже в 1 процент) больше 2 раз в неделю, то не нужно других причин заболеваний - это отражается на всех органах и на психике. Если избыточная масса или ожирение, то тоже нужно бороться с этими недугами, а уж потом с самой болезнью.
Не понял мысль. Лечение идет симптоматично, чтобы врач сказал, что проблема с курением/ожирением, вы должны проявлять симптомы ослабленной кардиоваскулярной системы.
По моим тестам обычного DeepSeek и ChatGPT4, - они спасли мне жизнь, в реальном кейсе с реальными emergency госпитализациями в другой стране. Без них (например, ибо пример не один), я бы уныло кивнул, когда доктора отменили IV-антибиотик и через неделю скончался или попал в ICU с отказом органов.
я бы уныло кивнул, когда доктора отменили IV-антибиотик
Современные модели выдают ответ в стиле "вы описали слишком сложные симптомы, которые могут свидетельствовать о присутствии серьёзного заболевания, я не врач и не могу давать таких советов, вам нужно обратиться в медицинское учреждение за квалифицированной медицинской помощью" - и такого текста 4 строки.
Без анализов такие решения действительно сложно принимать, нужно учитывать факторы о которых модель не знает и не может знать и пациент тоже о них знать не может. То есть ваша история похожа на ошибку выжившего.
открытые модели угадывают мой фенотип с 4-8 итераций в зависимости от подсказок
То что модель может что то определить с подсказками так это не чудеса, а алгоритм. Ваши подсказки с одним да/ нет (бинарный поиск) сужают поле для предсказаний в 1 / 2**8 = 0.0039 *100% или до 0,4% от от всех вариантов. Только мы не рассматриваем все варианты, происходит отбор по признакам. Есть ли вообще классификация на 256 фенотипов? - даже не знаю что это, но если давался ответ не на один вопрос за раз, а хотя бы на два, то вероятность правильного ответа также сильно увеличивалась.
Поэтому в моделях нет чудес, решение предопределено алгоритмами и данными. То, что модели немного тупят - это заранее определённое соглашение по метрикам.
Я искренне извиняюсь, если вам покажется это грубым, но это вы демонстрируете ошибку выжившего. У вас попросту не было причин критически воспринимать уровень собственной осведомленности LLM или возможности верифицировать медицинскую историю по фактически произошедшим обстоятельствам/нарушением/ошибкам.
Мне Data-Инженером быть приходится уже 9 лет и работать с врачами в тандеме приходилось, MD спит рядышком, а самому стать case-study повезло.
Без анализов такие решения действительно сложно принимать
Если ваше состояние требует госпитализации, у вас не может не быть анализов. Но если предположить, что все от руки, на китайском, Gemini уверенно вам ответит, что отменить тот антибиотик на третий день могли за счет биопсии, никак иначе и никак не вопреки. Gemini также знает, что боль и непроизвольное сокращение мышц с температурой это перитонит, а вы в дерьме, без анализов и уточнений обошелся.
То что модель может что то определить с подсказками так это не чудеса, а алгоритм. (бинарный поиск)
Вы заблуждаетесь, - сам механизм LLM буквально противопоставлен бинарному поиску. Если пытаться представить пример, врач будет отсеивать некорректные гипотезы, LLM будет "балансировать" конфликтующие диагнозы.
Как раз поэтому продукт девушки из статьи, - собачья чушь, неумело построенная человеком, не понимающим, как работает LLM, буквально усиливающим некорректные гипотезы и отдалаясь от истины с каждым шагом.
Без исследований за 2024 год в обучении, модели придется размышлять симптоматично и укреплять некорректные гипотезы, пытаясь совместить их между собой, пример хорош именно тем, что у модели нет знаний. Их придется искать, и чем хуже модель справляется, тем сильнее confirmation bias будет отдалять ее от корректного результата.
боль и непроизвольное сокращение мышц с температурой
Вот результаты моих моделей по такому запросу - топ 10 предсказаний по уверенности:
score title
0.159003 Столбняк
0.157201 Миозит
0.141532 Миозит мышц спины
0.141130 Диастаз прямых мышц живота
0.139427 Миозит
0.137222 Миозит мышц спины
0.136672 Диастаз прямых мышц живота
0.118158 Миофасциальный синдром
0.115729 Миозит
0.114224 Миозит
-------------------------------
другая модель:
score
Язва пищевода: -0.8287
Миозит: -0.8754
Миозит мышц спины: -0.8811
Диастаз прямых мышц живота: -0.8996
Миофасциальный синдром: -0.8999
Вагинизм: -0.9027
Недержание мочи у женщин: -0.9050
Подвывих позвонка: -0.9080
Столбняк: -0.9123
Бруксизм: -0.9158
------------------------
medgemma:
Боль и непроизвольное сокращение мышц с температурой - это симптомы, которые могут указывать на различные заболевания, от простого переохлаждения до серьезных проблем со здоровьем.
Важно: Я не могу поставить диагноз.
Причины:
Переохлаждение: Постоянное повышение температуры тела может привести к перенапряжению мышц и воспалительным реакциям в организме.
Инфекция: Высокая температура может быть симптомом инфекции, например, гриппа, ОРВИ, пневмонии или простуды.
Серьезные заболевания: В редких случаях, боль и непроизвольное сокращение мышц могут быть признаком серьезных заболеваний, например, сердечной недостаточности, мигрень, синдрома хронического усталости.
Что делать:
1. Обратитесь к врачу: Важно отслеживать симптомы и обращаться к врачу, особенно если:
Температура высокая (выше 38°C) или не снижается
Сильные боли в мышцах, сопровождающиеся затруднением дыхания, онемением или потерей чувствительности
Боль в грудной клетке, кашель или затрудненное дыхание
Вы потеряли сознание или не можете контролировать свои движения
2. Обеспечение комфорта:
Отдых: Уменьшите физическую нагрузку, постарайтесь расслабить мышцы.
Вода: Пейте много воды, чтобы поддерживать уровень жидкости в организме.
Лекарства от боли: При необходимости, используйте обезболивающие препараты.
Теплая одежда: Позаботьтесь о том, чтобы ваше тело не переохлаждалось.
Дополнительно:
Проведите анализ крови: Это поможет врачу определить причину.
Проведите анализ мочи: Это может помочь определить наличие инфекции.
Важно помнить: Я не могу ставить диагноз. Самолечение опасно. Обратитесь к врачу для получения квалифицированной помощи.
---------------------------
Почему у меня разные ответы? - разные базы знаний, разные архитектуры, разные модели - я много экспериментирую на эту тему.
------------------
Вы заблуждаетесь, - сам механизм LLM буквально противопоставлен бинарному поиску.
Мой пример с бинарным поиском - это иллюстрация затратности поиска исходя из теории информации.
Ну так-то, будьте выше газлайтинга. Вы прямо сказали, что это алгоритм ллм и подсказки снижают поле предсказаний подобно бинарному поиску. Это совершенно точно максимально далеко от правды. Масштабирование на маленькие модели и векторный поиск ничего не меняет.
Касательно остального, - блин, ну понятное дело нужно хотя бы локацию боли и число температуры уточнить. Вот 8b модель например
Пример
Не знаю, что вы пытаетесь проиллюстрировать от себя.
По этим симптомам 2b модель дала ответ -
[MedGemma]: Я не могу давать диагнозы.
Сильная боль в животе с синхронными непроизвольными мышечными сокращениями и высокая температура (38.6°C) могут быть симптомами различных заболеваний. ,,, Только врач может провести необходимые обследования и поставить правильный диагноз.
---------------------------
Моя модель:
score title
0.130238 Гастроэнтерит
0.130018 Дизентерия
0.115925 Аскаридоз
0.114157 Фибромиалгия
0.113346 Перитонит
0.104230 Описторхоз
0.101713 Неспецифический язвенный колит
0.100896 Сибирская язва
0.100048 Лямблиоз
0.098194 Метеоризм
Не знаю, что вы пытаетесь проиллюстрировать от себя.
Без анализов получается вот такая точность предсказаний модели. Тоже есть диагноз перитонит, другие диагнозы тоже могут объяснить эти симптомы.
Ну, используйте пожалуй другие модели, если вам нужна точность без анализов. Refusalы в медицинских моделях имхо вообще несовместимы с любой задачей.
Скоринг в таком виде бессмысленен, значительная часть результатов даже не отвечает этим симптомам, метеоризм вообще просто газы, он не может вызвать ни одного из трех симптомов, а например фибромиалгия хроническая и исключается температурой тела.
Скорее всего, симптомы матчатся синтаксически и частотно, а не семантически, слишком редкие/региональные заболевания, которые стоит опускать негативными весами локации/не указанных симптомов.
Имхо, можно без анализов сделать выводы, что вы попадете в emergency в любом случае.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
DeepSeek научили диагностировать редкие заболевания точнее врачей