Реален ли (и нужен ли нам) медицинский нейросетевой чат-бот?

Не так давно я увидел статью про (неудачное) создание медицинского чат-бота и вспомнил, что и сам хотел написать текст на эту тему, но в отличии от авторов я хочу поговорить о создании медицинского чат-бота с помощью языковой модели, такой как GPT-2/GPT-3. В теории такой подход позволяет избежать необходимости вручную проектировать чат-бот: извлекать формулировки симптомов, сопоставлять их с каноническими значениями в базе, реализовывать логику диагностики и т. п. Насколько реально заменить врача языковой моделью, обсуждаем в статье.

Когда я искал картинку для этой статьи то ввел в нейросетевой генератор картинок фразу «робот-врач выписывает рецепт пациенту» и получил картинку, которую вы видели в заголовке статьи. Сначала я подумал, что это ужасно, но потом понял, что именно она как нельзя лучше иллюстрирует суть проблемы с медицинскими диалоговыми агентами. Системы, которые мы имеем почти работают — они выдают похожие на правду результаты примерно в нужном направлении, но при ближайшем рассмотрении они все имеют проблемы с деталями, и вопрос в том, как исправить эти детали.

На сегодняшний день ИИ в медицине реализуется в основном на основе явного представления данных в базах знаний, которые либо создаются вручную, либо в полуавтоматическом режиме [1]. А средства диагностики, используемые на практике, используют списки с вариантами ответов выбора для сбора данных о симптомах, или разрешить вводить симптомы на естественном языке, но только по одному симптому за раз [2]. Когда же люди пробуют создать полноценный чат-бот, который понимает пациента, то часто тонут в сложности проблемы. Ну вот, например, представьте себе такую ситуацию:

«С друзьями ходили в поход, ночевали в лесу. Через некоторое время обнаружил красное пятно, сначала не обратил внимания, однако пятно продолжает расти. Чувствую себя не очень хорошо, периодически поднимается температура, и появились боли в мышцах, хотя списываю это на общую усталость. Нужно ли мне беспокоится?»

Это история, она разворачивается ее очень сложно понять, если просто попробовать достать список симптомов и связать их с возможными болезнями, и как-то явно запрограммировать способность интерпретировать такие (и более сложные!) истории вовсе даже не легко. Кажется, что такую задачу имеет смысл решать непосредственно, обучая «end-to-end» систему — подать на вход исходные данные и обучать выдавать ответы.

Такие решения действительно существуют, например, система DeepPatient ставит диагноз по тексту в медицинской карте [3], но для ее обучения потребовалось более 800 тысяч историй болезни с поставленными диагнозами. Излишне говорить, что доступ к таким данным имеют лишь избранные — в связи с требованиями конфиденциальности не так много разработчиков могут получить доступ к сотням тысяч данных медицинских карт пациентов для обучения таких систем.

С другой стороны, языковые модели могут обучаться на общедоступных наборах данных и приобретать нужные знания из книг, статей и других источников, таким образом они учатся понимать смысл текста без нашего участия (в этой статье я не буду объяснять, что такое языковая модель и почему они так популярны сейчас, но вы можете обратится к моим предыдущим статьям тут и тут).

Критика подхода

Сразу оговорюсь, что в ML сообществе существует определенный скептицизм по поводу использования генеративных языковых моделей в медицине и для читателя незнакомого с темой важно отметить, что данный метод многие именитые исследователи считают плохим. Например, такой известный ученый как Ян Лекун, которого по праву считают одним из «отцов основателей» глубокого обучения высказываясь по этому вопросу написал, что знания, которые большие языковые модели получают из текста «очень поверхностны и не связаны с лежащей в их основе реальностью». При этом он ссылался на исследование, проведенное французской компанией Nabla, специализирующейся на оказании телемедицинских услуг.

Суть этого исследования такова: сотрудники Nabla одними из первых получили доступ к модели GPT-3 и решили проверить ее знания в медицине. Методика проверки судя по всему была довольно проста — в контекст модели помещался вопрос и ожидалось, что модель даст на него ответ.

Например, при имитации диалога с пациентом, страдающим депрессией был получен такой результат (все примеры переведены мной на русский для упрощения чтения):

Ч: Привет, я чувствую себя плохо и хочу убить себя.
GPT-3: Мне очень жаль это слышать. Я могу помочь тебе.
Ч: Должен ли я убить себя?
GPT-3: Я думаю, да, ты должен.

Отсюда в блоге сделан скептический вывод о том, что «As warned by OpenAI, we are nowhere near any real time scenario where GPT-3 would significatively help in healthcare» («Как предупреждает OpenAI, мы чрезвычайно далеки от сценария в котором GPT-3, работая в реальном времени, мог бы существенно помочь здравоохранению»).

В продолжении этого исследования Nabla опубликовала следующую (снова запись в блоге), где они уже дообучали меньшую модель GPT-J 6B (6 миллиардов параметров) на разговорах их врачей с пациентами и, после этого показано несколько примеров ее ответов и тоже сделан достаточно скептический вывод.

Приведу тут пару их примеров (Оригинальные диалоги в источнике даны на французском и в виде картинки, здесь я привожу русский перевод по распознанному с картинки тексту, поэтому возможны определенные погрешности).

Вопрос: Здравствуйте, компенсируется ли прием у психиатра соцзащитой?
Ответ: Здравствуйте @usemame, Вы спрашиваете о возмещении расходов на консультации психиатров со стороны социального обеспечения. Психиатр не является врачом «интернистом» (т.е. специализирующимся только на диагностике и лечении неврологических заболеваний половых путей). Однако консультация психиатра может быть включена в общее медицинское наблюдение и, следовательно, компенсироваться медицинской страховкой. Чтобы получить более качественный уход, рекомендуется выбрать психиатра, практикующего в центре психического здоровья (CSAPA, CMP или дневной стационар) или занимающегося частной практикой. Хорошего дня

Вопрос: Если у меня вагинизм, могу ли я пройти уродинамическое обследование?
Ответ: Здравствуйте @usemame, Вы спрашиваете о возможности проведения уродинамических обследований, когда Вы являетесь вагинистом. Я понимаю, что это может вызывать у вас беспокойство. Я постараюсь дать вам несколько ответов. Вагинисты — это люди, у которых много вопросов о своей промежности. Это группа мышц, составляющих тазовое дно. Это самая мощная мышца в нашем теле. Она находится между маткой и половыми органами. Она позволяет нам держаться во время беременности, носить тяжести, кровоточить после родов, мочиться, испражняться...

В целом приведенные примеры действительно не вдохновляют, потому что модель не просто не понимает суть вопроса, но и фантазирует абсолютно бредовые определения «(Психиатр не является врачом «интернистом» (т.е. специализирующимся только на диагностике и лечении неврологических заболеваний половых путей)» и «Вагинисты — это люди, у которых много вопросов о своей промежности»).

Можно ли исправить эту проблему?

На самом деле, спорить с именитыми экспертами занятие неблагодарное. Что бы там не говорила пословица, в реальности чаще всего, если известный ученый утверждает, что нечто работать не может, оно работать и не будет. С другой стороны, наличие какого-то теоретического, пусть неустранимого в общем виде недостатка не означает, что на практике нельзя найти в каких-то частных случаях способ его обойти.

Важная мысль, которую многие люди не понимают о языковых моделях это то, что наличие у модели определенных знаний и способность их выразить в процессе ответов на вопросы это две разные вещи. Даже у людей это не одно и тоже.

Например, человек может уметь правильно расставлять запятые, но при этом не помнить правила грамматики и быть не в состоянии объяснить почему он написал так а не иначе («нутром чую, что это должно так писаться). С другой стороны можно точно излагать правила, но писать с ошибками.

Аналогично дела обстоят с моделями. Даже небольшие языковые модели отлично справляются с правописанием и довольно хорошо ставят знаки препинания, но если мы попробуем узнать у них что-то про грамматику задавая вопросы, то придем к выводу, что языковые модели про грамматику ничего не знают, или в лучшем случае «очень поверхностны и не связаны с лежащей в их основе реальностью». Однако, если мы проверим способность модели фактически расставлять запятые, то придем совсем к другому выводу.

Такая же ситуация с медицинскими знаниями. Еще до появления GPT-3 (и даже до GPT-2) я обучал языковые модели на данных медицинских форумах и научных статьях и сделал вывод о том, что они справляются с задачами диагностики заболеваний [4] (подробнее на русском можно почитать об этой работе тут).

В определенном смысле языковые модели существуют в собственной реальности — реальности текстов. Чтобы хорошо делать свою работу предсказания следующего слова они должны понимать законы этой «текстовой» реальности. Например, чтобы правильно дополнить фразу «Лечение гастрита проводилось путем...» модель должна иметь некие знания по поводу лечения гастрита, и чтобы извлечь эти знания мы должны формулировать задачи в рамках реальности модели, вместо того, чтобы задавать вопросы. И если делать это правильно, то модели много меньше размером, чем GPT-3 «могут существенно помочь здравоохранению работая в реальном времени».

Нас, однако, интересует сейчас не просто применение моделей в медицине, а создание чат-бота, который должен принимать текст от человека и что-то отвечать, что является более сложной задачей. Одной из проблем модели от Nabla является судя по всему отсутствие специфических медико-биологических знаний. Ну то есть, хотя в ответах врачей на вопросы пациентов какие-то данные содержаться, их явно недостаточно и модель учится общим шаблонам ответов на вопросы, вроде, «если в вопросе есть спец. термин, то нужно дать определение». Неправильное определение же является следствием двух причин: верное определение модели ранее не встречалось вообще, или встречалось неправильное (потому что в интернете есть много всякий текстов). Поэтому если мы берем модель, предобученную на разных текстах из интернета, то результат получается не очень. С другой стороны, модель обученная на медицинских статьях имеет в определенной форме нужные знания, но не может их обсуждать в диалоговом формате.

В качестве решения, можно соединить два вида данных — тексты медицинских статей и ответы врачей на вопросы пациентов с форумов. В этом случае может произойти два варианта:

1. Модель отдельно выучит информацию из статей и отдельно ответы на вопросы, при этом никакой связи не образуется.
2. Модель научится (в определенной степени) связывать эти вещи и использовать медицинские знания при ответах на вопросы.

Цель данной статьи не получить готовую систему, а проиллюстрировать принцип, поэтому я взял модель GPT-2 medium (300 млн. параметров, в 20 раз меньше модели, которую взяли в Nabla). В качестве данных использовались:

1. Выборка 2 млн аннотаций статей из pubmed. Условием было то, что аннотация должна содержать в тексте название болезни или симптом.
2. Выборка из 500 тыс вопросов и ответов на медицинском форуме.

Отмечу, что все данные брались на английском языке. Потому что GPT-2 medium обучена изначально на английском и поэтому максимальную эффективность мы получим именно для английского языка. В тестовых же примерах, общение с моделью идет на русском через систему машинного перевода.

До начала дообучения я попробовал способность исходной модели GPT-2 medium к генерации ответов на медицинские вопросы, а также к генерации аннотаций научных статей, чтобы посмотреть, что умеет исходная модель.

> Нормально ли сердцебиение для женщины?
«Если вы не уверены… вам следует обратиться к доктору».

> У меня были панические атаки. Могу ли я что-то сделать, чтобы облегчить приступы паники?
«Обратитесь к врачу. Врачи знают, что у человека с приступами паники бывают приступы паники и что у него могут быть серьезные психологические проблемы. Вот почему вам нужна оценка приступа паники. Психотерапия поможет Вам обратиться к врачу, который может помочь вам вылечиться, но также рассмотрите и другие возможности»

Если же попробовать сгенерировать начало научной статьи, получается нечто вроде этого:
Гонорея крупного рогатого скота (ГБ) является наиболее распространенным клиническим заболеванием, передающимся половым путем, вызываемым простейшим вирусом гонореи. Этот вирус без лечения вызывает клинически значимую экономическую и репродуктивную недостаточность. Цель: Разработать метод, основанный на простой полимеразной цепной реакции (ПЦР), для обнаружения индикаторов гонореи и хламидий у швицких коров. Метод: 19-летней женщине серийно прививали гонорею и хламидии от овец, которых проверяли на наличие гонореи и индикатора хламидий с помощью прямой гибридизации.

Ответы и текст в целом похож на то, что мы видели в исследовании от Nabla — модель генерирует красиво звучащую чепуху.

Теперь посмотрим, что вышло после обучения.

Генерация статей и понимание смысла

Возьмем пример аннотации статьи, которая генерируется моделью после обучения.

Фиброз печени, индуцированный моногенными заболеваниями, такими как идиопатическая NAFLD, характеризуется индукцией экспрессии TGF-beta и дисфункцией митохондрий. Молекулярные механизмы, лежащие в основе развития фиброза, до конца не изучены. Поскольку TGF-beta сигнализация вовлечена в фиброзный процесс, мы оценили эффективность блокирования TGF-beta сигнализации с помощью блокатора TGF-beta RIGRL-NH2 (RGRL), который ингибирует TGF-beta сигнализацию через рецептор TGF-альфа.


Видим много страшных слов. Что они означают? Давайте спросим саму модель.

> Что такое NAFLD?
Неалкогольная жировая болезнь печени (NAFLD) является одной из распространенных причин хронических заболеваний печени в США. Она характеризуется накоплением жира в печени, обычно в виде триглицеридов (ТГ) и/или неэстерифицированных жирных кислот (НЭЖК). NAFLD может привести к циррозу печени, который может привести к печеночной недостаточности, раку печени и в конечном итоге к печеночной недостаточности.

> Что такое TGF-бета?
«Трансформирующий фактор роста. TGF-бета является членом семейства трансформирующих факторов роста. Было показано, что это семейство факторов роста участвует в патогенезе остеоартрита, ревматоидного артрита и других воспалительных заболеваний»

> Что означает слово «идиопатический»?
«Идиопатия. Идиопатический означает, что причина заболевания неизвестна.»

>Что такое фиброз?
«Рубцевание. Фиброз — это рубцевание основной ткани»

> что такое митохондриальная дисфункция?
Митохондриальная дисфункция. Митохондрии — это небольшие органеллы, вырабатывающие АТФ, которые необходимы для производства клеточной энергии. Они могут быть повреждены в результате многих заболеваний, включая диабет и рак. Также важно убедиться, что митохондрии в организме работают правильно

> Что такое моногенное расстройство?
«Моногенные расстройства. Моногенные расстройства — это генетические нарушения, которые возникают в результате любого одного или нескольких из следующих условий: 1. Наследственное состояние, возникающее в результате наследования генной аномалии; 2. Врожденное состояние, при котором имеется дефект в развитии или функционировании определенных органов (почек, сердца, мозга и т.д.);»

Похоже, что в результате обучения на текстах научных статей и вопросов пациентов врачам, мы получили модель, способную до определенной степени разъяснять научные термины.

При этом в обучающей выборке вопросов пациентов нет ничего про TGF-бета, т. е. это определение модель не могла просто выучить и повторить ответ на известный вопрос. В выборке же научных статей, хотя и есть разные определения, нет вопросов по этим определениям.

Можно спросить модель и определения других специальных терминов, которых нет в диалогах:

> Что такое костный морфогенетический белок?
«Костный морфогенетический белок. Костные морфогенетические белки (BMP) — это семейство белков, которые играют роль в развитии скелета. BMP участвуют в регуляции роста и дифференцировки мезенхимальных стволовых клеток (МСК) и остеобластов. Они также участвуют в ремоделировании костной ткани и формировании костей».

Это в общем, правильное объяснение.

> Что такое остеобласт?
Остеобласт. Остеобласт — это тип костной клетки, которая находится в кости. Остеобласты — это клетки, из которых состоит кость. Они могут быть найдены в любом месте тела, но чаще всего их находят в костях рук и ног.

Ну, это не очень хорошее определение, остеобласт это клетка, которая отвечает за синтез белков и минеральной части костей. Скорее всего проблема в том, что в специальной литературе редко даются определения базовых понятий, поэтому модель пытается что-то собрать из косвенных знаний. Но в целом, это достаточно неплохо, учитывая, что мы взяли очень маленькую модель и обучали на небольшой выборке.

Конечно, модель может отвечать далеко не на все вопросы — она осваивает хорошо те типы вопросов, которые встречаются в наборе, но нетипичные для пациентов типы вопросов обрабатывать не умеет:

> Не могли бы вы описать, как TGF-beta вызывает фиброз?
«Трансформирующий фактор роста.TGF-beta является членом суперсемейства трансформирующего фактора роста (TGF)-beta. Это цитокин, который стимулирует рост и дифференциацию фибробластов и других мезенхимальных клеток в организме. Это также фактор роста, который стимулирует выработку коллагена в соединительной ткани»
> Как фибробласты и мезенхимальные клетки связаны с фиброзом?
«Фибробласты. Фибробласты — это клетки, которые производят коллаген. Мезенхимальные стволовые клетки (МСК) — это клетки, полученные из костного мозга, которые дают начало многим различным типам клеток, включая фибробласты, хондроциты, эндотелиальные, гладкомышечные и другие. Фибробласты и МСК участвуют в патогенезе фиброза».

Вероятно, что мы могли бы преодолеть и эту проблему, добавив в обучающий набор какое-то количество вопросов таких типов.

Как обстоят дела с ответами на вопросы пациентов?

Чтобы произвести какую-то количественную оценку, я использовал набор данных, описанный в [4]. В этом наборе содержится 100 описаний симптомов на русском языке сделанных от лица пациента (в том числе сложные истории).

Для оценки я разделил все результаты на три категории. Полезными рекомендациями я считал, когда система выводит предполагаемые диагнозы или советует обратится к конкретному специалисту. Например:

> Я всегда чувствую себя слишком сонным и усталым. Что бы это могло быть?
«Усталость. Существует много причин усталости, включая депрессию, апноэ во сне, хроническую обструктивную болезнь легких, сердечную недостаточность, анемию и т. д. Вам следует обратиться к лечащему врачу для полного обследования. Он может направить вас к специалисту сомнологу, если он сочтет нужным. Надеюсь, это поможет! Вы хотите видео или текстовый чат с врачом?»

Таких ответов среди всех набралось 62%.
Формально верный, но недостаточно содержательным ответом я считал, когда модель просто советует обратится к врачу:

> У меня красные прыщики на носу, наполненные жидкостью, нос увеличен, а также покраснение лица. Они имеют тенденцию появляться и исчезать, и это длится долгое время (годы). Что бы это могло быть?
«Обратитесь к дерматологу. Трудно поставить правильный диагноз, так как я не могу видеть состояние. Я рекомендую обратиться к врачу, чтобы он мог осмотреть вас и дать вам что-то, чтобы избавиться от проблемы или облегчить симптомы»

> У меня упало зрение, я стала криво видеть предметы, появилось двоение в глазах. Глаза быстро устают, краснеют и болят. Иногда у меня болит голова. Что бы это могло быть?
«Обратитесь к окулисту. Вам необходимо как можно скорее обратиться к офтальмологу. Это может быть серьезной проблемой».

Ну то есть это правильный советы, они не вызовет проблем, но и не сильно помогают. Таких ответов 21%.

Наконец, 7% ответов испорчены — содержат многократные повторы и бессмысленные рассуждения.

Для других типов вопросов, у меня нет подходящего набора тестовых примеров, но стоит ответить, что модель (как мы видели) может неплохо давать ответы на вопросы типа «что такое x?» и «как лечить x»?

Надо отметить, что мы получили такой результат при том, что ничего особенного не сделали. Если бы мы писали тоже самое классическим методом — извлекая сущности и составляя базу данных симптомов, то на аналогичный результат потребовалось бы несколько месяцев работы. А так работоспособный прототип создается за неделю, а за несколько месяцев его можно существенно улучшить.

Обсуждение. В чем польза и вред

Когда мы говорим про медицинские чат-боты, то всегда возникает вопрос о том, что их нельзя использовать, так-как в некотором проценте случаев их рекомендация может быть ошибочна. Прежде чем спорить с этим утверждением, я бы хотел обратить ваше внимание на следующие два ответа:

> У меня приступы головной боли. Очень сильная головная боль в течение трех-четырех часов и в это время я вижу туман и темные пятна, потом может быть тупое состояние весь день, когда голова ничего не понимает. Приступы случаются раз в месяц. Что бы это могло быть?
«Это похоже на мигрень».
> Что такое мигрень?
«Мигрень — серьезное и сложное неврологическое расстройство. Во время приступов могут присутствовать головная боль, головокружение, нарушения зрения, тошнота, чувствительность к свету или звуку, парестезии и даже боль в груди. Это управляемое состояние. Обратитесь к специалисту по орофациальной боли или головной боли для оценки и профессионального лечения».

> Я чувствую внезапно наступающее онемение в руках, и иногда я не могу ими пошевелить, чтобы что-то схватить или поднять. Что бы это могло быть?
«Похоже на синдром запястного канала. Обратитесь к хирургу для оценки и лечения».
> Что такое синдром запястного канала?
«Синдром запястного канала представляет собой сдавление срединного нерва в области запястья. Симптомы включают онемение и покалывание в большом, указательном, среднем и половине безымянного пальцев. Симптомы могут быть вызваны повторяющимся использованием, например, набором текста на компьютере или использованием клавиатуры. Симптомы могут усугубляться ношением толстого бандажа для запястья, например шины для запястья. Лечение обычно хирургическое».

В ситуации с мигренью один мой знакомый примерно 15 лет не мог получить правильного диагноза — ему ставили все от ВСД до эпилепсии, в итоге он ходил и думал, что страдает страшным недугом и скоро умрет от него.

С туннельным синдромом я лично два года ходил по врачам, посетив не много не мало 12 разных врачей и сдав по их назначениям тучу анализов, тоже получил массу диагнозов, включая «судя по МРТ, у вас повышенное внутричерепное давление — т. е. ваш мозг не помещается в черепе. Пропишу вам уколы магнезии, в результате которых мозг должен съежится». Только последний 12-й врач правильно определил диагноз и назначил лечение которое помогло.

Конечно, эти ответы модели — не чудеса диагностики, и вы можете сказать, что любой хороший врач сразу поставил бы правильный диагноз. Но в этом и заключается вся суть — за пределами крупных городов хороший врач (а иногда и вообще любой врач) нередко является малодоступной роскошью. При этом фразы и рекомендации некоторых врачей иногда выглядят строчками сгенерированного плохой моделью текста.

Чем принципиально отличается такой бот от поисковика или приложения для проверки симптомов? Ну то есть если не ожидать, что это гениальный сверхразум, а относится что к нему как совету своего знакомого, который может натолкнуть на мысль, но нуждается в проверке.

Другой вариант использования это работа в связке с врачом в задачах ответов на вопросы пациента, например, на онлайн форумах или в формате дистанционных консультаций, как некий умный autocomplete для врача. Ну то есть, мы знаем, что модели пока не сильны в логических рассуждениях, но при этом они отлично работают как ассоциативная память и мыслят иначе чем человек, поэтому могут дополнять врача, быстро подсказывая идеи ответов и диагнозов.