ChatGPT не промахнулся ни в одном из пяти медицинских кейсов. И всё равно проиграл. Разбираем, почему

[TsarS]

А расскажите про свою модель? Как обучали, что использовали.

P.S. Про patient journey и целевые показатели вроде "ожидаем через месяц приема препарата X получить давление Y/Z" полностью согласен.

[medassist]

У нас пайплайн.

В основе - разные LLM, некоторые с файн-тюнингом на медицинских данных, гайдлайнах, кейс-стади. Над ними два главных модуля: OCR+парсер и RAG-слой над структурированной базой знаний.

В RAG: клинреки - там и Минздрав РФ, и PubMed, и Open Access от NIH/NLM, и профильные международные гайдлайны (ESC, AHA, AASLD, ATA, ADA, NCCN), и Cochrane Reviews. Но надо понимать, что гайдлайны, как и референсы в лабораторных бланках, пишутся под "среднего" человека, поэтому дальше делаем персонализацию под конкретного человека (если на бланках был возраст и пол, их тоже обязательно учитываем), проверяем все взаимосвязи между разными анализами.

Парсер собирает из бланка структурированную таблицу до интерпретации, поэтому Lost in the Middle на длинных панелях у нас не возникает архитектурно.

Про целевые показатели - согласен. Плюс целевые уровни могут быть разными. Простой пример: для человека с проблемами с обменом кальция высокие (но нормальные по референсным значениям) показатели витамина D принесут больше вреда, чем пользы. Поэтому вместо "пейте витамин D" получается "сейчас значение такое-то, цель столько-то, контроль тогда-то, более хорошая форма витамина такая-то". Ну и так далее.

Если кратко, то мы делаем упор на подробный и персонализированный отчет.

[TsarS]

Спасибо за ответ. Занимался когда то тем же, но до "эпохи ИИ". Вам удачи!

Ну про целевые, конечно, для разных людей абсолютно разные. Ну а уж этот витамин D, назначаемый всем кому ни попадя, вместе с железом в адских количествах...это да.

[medassist]

Спасибо!

[octoMax]

немного странный у вас ГПТ - я проверял (к сожалению) две недели назад кейс немного напоминающий ваш 1 кейс. Проверял и на Клоде и на ChatGPT - при "нормальном" общении оба два составили список дел - какие анализы досдать и какого врача попинговать в начале и какого потом. И задачи на несколько месяцев расписали. Единственное различие - Клод явно более нервный. Его легко бросает от "все пропало" до "прорвемся" Чат же более нейтральный в стиле "живы будем, не помрем"

[medassist]

Если смотреть на выдачу ЛЛМ отдельно, то разница в ответах может быть незаметна, особенно, если тот, кто загружает, не специалист. У нас в статье есть ссылка на сырые данные, там выдачи представлены полностью, разницу заметить легко.

В МедАссисте первый запрос бесплатный, если хотите, можете загрузить данные туда и посмотреть, есть ли разница в выдаче для конкретно вашего случая.

Спасибо