Опасность скрывается повсюду. Любой вид деятельности человека, будь то работа или развлечение, может быть источником больших проблем или даже летальных последствий. Звучит вполне пугающе и крайне пессимистично. Если же бояться всего на свете, то жизнь теряет смысл, но никто не запрещает применять осторожность там, где она необходима. А в рамках употребления алкоголя осторожность просто неотъемлема. Ученые из Мичиганского университета (Анн-Арбор, Мичиган, США) провели исследование, в котором предполагается, что использование искусственного интеллекта для сканирования медицинских карт хирургических пациентов на наличие признаков рискованного употребления алкоголя может помочь выявить тех, у кого употребление алкоголя повышает риск возникновения проблем во время и после операции. Как был настроен ИИ, как проходила его работа, и что нового ИИ рассказал? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Алкоголь является наиболее часто используемым веществом, вызывающим привыкание, а рискованное употребление алкоголя в предоперационном периоде (т.е. > 2 стандартных порций алкоголя в день перед операцией) является одним из наиболее распространенных факторов хирургического риска. У пациентов, которые пьют сверх здоровых норм, в том числе с расстройствами, связанными с употреблением алкоголя, наблюдается повышенная частота инфекций, раневых и легочных осложнений, а также длительное пребывание в больнице после плановых хирургических процедур. Лица с рискованным употреблением алкоголя и расстройствами, связанными с употреблением алкоголя, используют наибольшую долю ресурсов здравоохранения после операции из-за осложнений, увеличения продолжительности пребывания в больнице и послеоперационных повторных госпитализаций.
В эпоху ограниченных ресурсов выявление пациентов с рискованным употреблением алкоголя может спасти жизни и снизить затраты. Однако пациенты с рискованным употреблением алкоголя остаются без внимания при хирургическом лечении. При своевременном выявлении лица из группы риска могут получить предоперационные вмешательства, а при необходимости – профилактику алкогольной абстиненции до или после операции. Однако скрининг на алкоголь часто не проводится, проводится слишком близко к дате операции или основывается на неверных вопросах, состоящих из одного пункта, что приводит к неполному выявлению или предвзятому выявлению рискованного употребления алкоголя. Проще говоря, практически все алкоголики не считают себя таковыми.
Помимо совершенствования проверенных методов скрининга, одним из способов устранения этого пробела в точной идентификации риска употребления алкоголя является использование существующих данных и технологий. Электронные медицинские записи (EHR от electronic health record) содержат весьма актуальные данные о состоянии здоровья в реальном мире, обновляемые в режиме реального времени для большого числа пациентов на протяжении многих лет, особенно в крупных интегрированных системах здравоохранения. Клинические записи могут содержать историю употребления алкоголя, данные проверки на алкоголь, подробную информацию о событиях, связанных с алкоголем, диагнозы и данные выставления счетов. Однако состояния, связанные с употреблением алкоголя, часто не диагностируются, в результате чего наиболее доступная информация в EHR, например, диагностические коды и списки проблем Международной классификации болезней (ICD от International Classification of Diseases), имеет ограниченную полезность. Таким образом, EHR не отражают истинную распространенность расстройств, связанных с употреблением алкоголя, или рискованного употребления алкоголя среди населения. Однако большая часть информации об алкоголе в клинических текстах доступна только посредством подробного ручного анализа таблиц, что отнимает много времени и неосуществимо для многих исследований и клинических сценариев. Полное использование данных об алкоголе в данных EHR требует инновационных методов.
Идеальным инструментом для извлечения значимой информации из неструктурированного клинического текста является обработка естественного языка (NLP от natural language processing). NLP — это область науки об искусственном интеллекте и машинном обучении, включающая вычислительные методы и техники, используемые для извлечения смысла из человеческого языка и текста. NLP охватывает множество областей понимания естественного языка, включая машинный перевод, синтаксический и семантический анализ, разрешение кореференций, обнаружение сущностей и анализ дискурса.
В данном труде представлена работа по созданию алгоритма на основе NLP для выявления рискованного употребления алкоголя среди хирургических пациентов с использованием существующих дооперационных данных EHR. Сюда входили клинические записи и другие источники клинических текстов за 3 года до операции, в том числе из стационарных, амбулаторных и отделений неотложной помощи.
Подготовка к исследованию
Ученые провели наблюдательное когортное исследование среди предоперационных пациентов, включенных в Мичиганскую геномную инициативу (MGI от Michigan Genomic Initiative).
Изображение №1
MGI набрала взрослых участников, которым назначена операция в Мичиганском медицинском центре, создав корпус данных сообщества пациентов, включая продольную электронную медицинскую информацию в одной когорте, доступной исследователям. На момент проведения исследования в MGI было зарегистрировано 61502 пациента. Как показано на изображении №1, пациенты были включены в когорту, если они были включены в когорту MGI в период с 29 мая 2012 по 17 апреля 2019 и перенесли операцию в течение 90 дней после включения в MGI (N = 53949). Те, у кого не было связи клинических записей и структурированных данных из MGI, были исключены. Из медицинской карты пациента ученые извлекли текстовые клинические записи за последние 3 года.
Трехлетний период был выбран для создания корпуса записей, охватывающих длительный, но относительно недавний период. Клинические текстовые записи включали амбулаторные и стационарные записи о приеме пациентов, прогрессе лечения, процедурах и выписке, а также письма, сообщения, лабораторные исследования и комментарии к ним. Эти записи были объединены в хронологическом порядке для создания единого документа для каждого пациента (в дальнейшем тексте он называется «картами пациентов»). В окончательный корпус данных вошли N = 53811 пациентов.
Основная цель исследования состоит в том, чтобы классифицировать дооперационных пациентов, используя текстовые клинические записи за последние три года, в один из двух классов – тех, у кого наблюдается «рискованное употребление алкоголя», которое также включает расстройства, связанные с употреблением алкоголя, или тех, у кого его нет. Рискованное употребление алкоголя определяется как сочетание нескольких факторов:
Предельные значения по количеству/частоте. Для женщин это определялось как употребление четырех или более стандартных напитков в любой день или восьми или более напитков в неделю. Для мужчин это определялось как пять или более порций алкоголя в любой день или 15 или более порций в неделю.
Предельные значения AUDIT-C. Также использовались стандартные пороговые баллы из проверенного метода скрининга на алкоголь, называемого «Тест-потребление для выявления расстройств, связанных с употреблением алкоголя» (AUDIT-C от Alcohol Use Disorders Identification Test-Consumption), который обычно используется перед операцией. Ученые использовали стандартный порог для рискованного употребления алкоголя: 3 и более баллов для женщин и 4 и более для мужчин.
Пьянство, расстройства, связанные с употреблением алкоголя, и другие текстовые индикаторы. Также были классифицированы случаи рискованного употребления алкоголя, если в записях пациентов указано прошлое или настоящее расстройство, связанное с употреблением алкоголя, или другие диагнозы, указывающие на основное расстройство, связанное с употреблением алкоголя (например, связанный с алкоголем цирроз печени), а также те записи пациентов, в которых упоминаются эпизоды пьянства и другие комментарии, указывающие на проблемы, связанные с проблемным употреблением алкоголя.
Следующий этап исследования был связан с созданием прототипа системы. Во-первых, ученые применили подход, основанный на ключевых словах, чтобы уловить контекстуальные сигналы, связанные с рискованным употреблением алкоголя, в клинических записях. Эти слова были заимствованы из Единой системы медицинского языка (UMLS от Unified Medical Language System) и охватывают как термины, описывающие модели или проблемы потребления алкоголя (например, abuse, addiction, binge, concern, dependence, excessive и heavy), так и состояние здоровья, и поведение, связанное с употреблением алкоголя (например, drunkenness, inebriety, insobriety, intemperance, intoxication). В список ключевых слов также были включены понятия, связанные с употреблением алкоголя, вызывающим тревогу и депрессию, а также дополнительные редкие слова, такие как dissoluteness, distraught, debauchery, dipsomania и bibulousness.
Список был показан трем экспертам по расстройствам, связанным с употреблением алкоголя (ACF, JM и GSW), которые предложили дополнительные часто используемые ключевые слова и фразы, связанные с алкоголем, в ЭМК, опираясь на свой клинический опыт и анализ историй болезни. Для поиска в записях пациентов по ключевым словам, связанным с алкоголем, использовалась поисковая система электронных медицинских записей (EMERSE от electronic medical record search engine). Этот список ключевых слов был дополнительно уточнен путем оценки их эффективности в выявлении дополнительных пациентов. Морфологические варианты ключевых слов были получены путем манипуляции суффиксами и добавлены в список ключевых слов.
В результате был составлен окончательный список из 36 ключевых слов, разделенных на категории, связанные с алкоголем, расстройствами, связанными с употреблением алкоголя, а также диагнозами или событиями, связанными с алкоголем. Также были собраны отрицательные и не относящиеся к делу фразы (например, спиртовые салфетки, изопропиловый спирт, вода и сок).
Конвейер NLP модели состоит из следующих этапов предварительной обработки, анализа текста и классификации сегментов.
Изображение №2
Во-первых, входные записи пациентов были сегментированы на небольшие связные текстовые фрагменты с использованием тегов XML, тегов форматирования примечаний и пустых строк. Разделы включают списки проблем, списки лекарств, инструкции для пациентов и структурированные разделы клинических записей (например, историю болезни пациента, оценку, план и т. д.). Текстовые сегменты далее разбиваются на предложения с использованием Natural Language ToolKit (NLTK). Знаки препинания и другая информация форматирования были сохранены или заменены специальными токенами, чтобы облегчить выполнение последующих задач.
Набор ключевых слов, выявленный при разработке прототипа, использовался для выявления «горячих точек» — записи сегментов с любым упоминанием ключевых слов, связанных с алкоголем.
В контекстном окне слов, окружающих «горячие точки», осуществляется поиск отрицаний и контекстных модификаторов, таких как хеджирующие слова («возможно», «вероятно», «исключать» и т. д.) или слова, указывающие, что употребление алкоголя не связано с алкоголем («выпить 8 унция воды с этим лекарством»).
Клинические записи часто включают шаблонный текст, который инструктирует пациентов не употреблять алкоголь перед операцией или во время приема лекарств, даже если пациент не подвергается высокому риску употребления алкоголя. Эти формы инструкций, соглашения между пациентом и поставщиком медицинских услуг и другие стандартизированные шаблонные текстовые сегменты удаляются и заменяются заполнителем, обозначающим удаление текста.
В записях пациентов ведется поиск явного упоминания пола пациента. Затем эта информация была подтверждена структурированными метаданными, чтобы обеспечить точность пороговых значений потребления алкоголя в зависимости от пола.
Число напитков, такое как количество (например, 1.6 унции), количество (например, семь банок пива), частота (например, 3 в день, 10 в неделю), идентифицируются и нормализуются. Единицы алкоголя, такие как пинты, банки и шоты, конвертируются в стандартные напитки США (1 напиток = 14 граммам чистого алкоголя), а дневные показатели конвертируются в еженедельные показатели. Поиск этих количеств осуществляется в контекстном окне, состоящем из определенного количества слов, следующих за соответствующим ключевым словом, связанным с алкоголем. Длина контекстного окна варьировалась для разных показателей употребления алкоголя, составляла от 3 до 8 слов и подбиралась эмпирически.
Упоминания о прошлом употреблении алкоголя или алкоголизме в контексте истории болезни пациента или в разделе истории болезни были идентифицированы и помечены как положительные в отношении рискованного употребления алкоголя.
Сегмент считался положительным, если доказательства соответствовали определенным качественным или количественным критериям, связанным с употреблением алкоголя, на основе гендерно-зависимых порогов рискованного употребления алкоголя в отношении количества, частоты, AUDIT-C и пьянства. Сегменты, указывающие на рискованное употребление алкоголя в прошлом, были помечены как положительные. Сегменты, относящиеся к семейному анамнезу, и сегменты с явным отрицанием были помечены как отрицательные.
Если какой-либо сегмент помечен как положительный в отношении рискованного употребления алкоголя, то пациент считается положительным. С другой стороны, если ни один из сегментов не был помечен как положительный, пациент был помечен как отрицательный.
Из окончательного массива данных N = 53811 пациентов случайным образом было выбрано 1200 записей пациентов, которые будут использоваться для исследования данных, разработки прототипа и обучения модели. Из этих 1200 записей была выбрана подгруппа из 500 записей пациентов с использованием ключевых слов, связанных с алкоголем, для создания обучающей подгруппы, помеченной золотым цветом. 500 записей пациентов были помечены вручную четырьмя экспертами-аннотаторами, так что каждая запись пациента была снабжена двойными аннотациями. Двое комментаторов были экспертами с клиническим образованием в области расстройств, связанных с употреблением алкоголя, а двое других прошли подготовку в области исследований алкоголя. Все аннотаторы имели доступ к решениям алгоритма, и когда они были не согласны с решениями алгоритма, они по возможности давали объяснения своим собственным решениям. Когда два аннотатора не согласились, третий эксперт по расстройствам, вызванным употреблением алкоголя, выступал в роли арбитра.
Для создания маркированного тестового набора 100 записей пациентов были выбраны случайным образом из оставшихся 52611 и были помечены алгоритмом. Они были выбраны для создания примерно сбалансированного набора положительных и отрицательных случаев. Эти случаи также были помечены четырьмя аннотаторами, группами в две пары, аналогичными аннотациям обучающего набора. Однако на этот раз аннотаторы помечали записи без метки алгоритма (слепая аннотация). Все споры рассматривались третьим экспертом по расстройствам, связанным с употреблением алкоголя.
Для сравнения ученые также классифицировали пациентов в наборе данных на основе общенациональной системы с использованием кодов ICD-9 и ICD-10 из электронных медицинских карт. Пациенты с любым кодом диагноза за последние 3 года из списка кодов, связанных с алкоголем, опубликованного в рамках программного обеспечения клинической классификации AHRQ (от Agency for Healthcare Research and Quality), считались помеченными как положительные благодаря этому альтернативному подходу. Этот подход имитирует современную практику выявления пациентов с алкогольными проблемами с использованием только диагностических кодов и повсеместно называется маркировкой на основе кодов ICD.
Маркировка, основанная на NLP, и маркировка на основе кода ICD сравнивались с экспертной оценкой 100 случаев в тестовом наборе. Это дало возможность напрямую оценить разницу в производительности современных диагностических кодов по сравнению с предложенным NLP подходом. Использование закодированных человеком данных в качестве золотых меток также позволило изучить, какой подход точно идентифицирует более рискованное употребление алкоголя (и по какому фактору). Он также подчеркнул ограничения отдельных моделей и последствия их использования для маркировки остальной части набора данных. Основными используемыми мерами оценки являются чувствительность, специфичность, прогностическая ценность положительного результата (PPV) и показатель F1, среднее гармоническое значение чувствительности и PPV. Все показатели варьируются от 0 до 1, причем более высокие цифры указывают на лучшую производительность.
Результаты исследования
Таблица №1: Демографические и клинические характеристики выборки.
Характеристики пациентов представлены в таблице №1. Участниками были 52.6% женщин (49% в аннотированной тестовой выборке), преимущественно белые (90.1%, 95% в аннотированной тестовой выборке) и неиспаноязычные (98.1%, 97% в аннотированной тестовой выборке). Средний возраст составил 53.6 года, и у 4.8% выборки за последние 3 года был диагностический код, указывающий на рискованное употребление алкоголя или расстройство, связанное с употреблением алкоголя.
Таблица №2: Сравнение эффективности подхода на основе кода ICD и подхода на основе NLP на тестовом наборе, помеченном человеком.
Используя набор данных для оценки тестов, ученые сравнили эффективность своего подхода NLP с подходом на основе кода ICD на тестовом наборе, отмеченном экспертами (таблица №2). Люди классифицировали 31 из 100 случаев как соответствующие критериям рискованного употребления алкоголя («положительные»), а 69 — как не соответствующие критериям рискованного употребления алкоголя («отрицательные»). Используя тот же набор тестов, помеченных человеком, алгоритм NLP пометил 38 из 100 случаев как положительные и пометил 62 случая как отрицательные. Коды ICD идентифицировали 16 случаев как положительные и 84 как отрицательные. Из 31 положительного случая, отмеченного человеком, NLP правильно идентифицировало 27, тогда как только 9 были правильно обнаружены с помощью кодов ICD. Подход, основанный на NLP, имел чувствительность 0.87, специфичность 0.84, PPV 0.71 и показатель F1 0.78. Подход на основе кода ICD имел чувствительность 0.29, специфичность — 0.90, а PPV — 0.56, что дает оценку F1 0.38.
Таблица №3: Подробная разбивка кодовой классификации NLP и ICD набора тестов, помеченных человеком.
В Таблице 3 показано более детальное сравнение того, как NLP и подход на основе кодов ICD классифицировали пациентов с учетом человеческой маркировки. Из 31 положительного случая NLP выявила 18 пациентов, которые были пропущены кодами ICD, тогда как коды ICD не выявили ни одного случая, пропущенного NLP.
Таблица №4: Сравнение эффективности кода ICD и подходов NLP на полной выборке.
Ученые также сравнили эффективность кодов NLP и ICD по всему набору данных из 53629 пациентов (удалены обучающие и тестовые случаи), а также долю полного набора данных, получившую положительную классификацию по каждому методу. В таблице 4 показано соответствие кода NLP и ICD 0 на полном отфильтрованном наборе данных. NLP классифицировало в общей сложности 7794 пациента как положительные на рискованное употребление алкоголя, тогда как код ICD классифицировал в общей сложности 2595 как положительные. Коды NLP и ICD согласовали положительную классификацию 1670 пациентов и 44910 отрицательных. Коды ICD дали 925 новых положительных результатов, при этом NLP 0 предоставила 6124 собственных положительных случая у пациентов. В целом, NLP классифицировал около 14.5% пациентов как положительные в отношении рискованного употребления алкоголя, тогда как код ICD дал 4.8% положительных оценок.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В рассмотренном нами сегодня труде ученые создали систему, способную определять степень риска во время операционного вмешательства, вызванного употребление алкоголя пациента.
Главным действующим лицом работы данной системы был даже не человек, а ИИ. В ходе подготовительных и обучающих шагов ИИ обучался на базах данных из медицинских записей. Особое внимание ИИ уделял словам, которые или прямо, или косвенно указывают на факт злоупотребления алкоголем, как минимум перед проведением операции.
Как отмечают сами ученые, многие люди, которые регулярно пьют, не имеют проблем с алкоголем, а когда они это делают, им может никогда не быть поставлен официальный диагноз расстройства или зависимости, вызванного употреблением алкоголя, который хирургической бригаде было бы легко обнаружить в их медицинской карте.
Модель искусственного интеллекта обнаружила признаки рискованного употребления алкоголя в записях 87% пациентов, которых эксперты (люди) определили как злоупотребляющих алкоголем. При этом только 29% этих пациентов имели в списке диагнозов код диагноза, связанный с алкоголем. Таким образом, многие пациенты с более высоким риском осложнений ускользнули бы из поля зрения их хирургической бригады.
Далее ИИ получил доступ к медицинским данным около 53000 анонимных медицинских карт пациентов, собранных в рамках Мичиганской инициативы по геномике. В целом 15% пациентов соответствовали критериям модели искусственного интеллекта по сравнению с 5% пациентов с помощью диагностических кодов.
Новые данные показывают, что хирургические клиники, которые просто проверяют диагностические коды, указанные в картах поступающих пациентов, и отмечают такие, как расстройство, связанное с употреблением алкоголя, алкогольную зависимость или связанные с алкоголем заболевания печени, будут упускать из виду многих пациентов с повышенным риском. А ведь комбинировать операцию и алкоголь — это очень плохая идея.
Следовательно, разработанная методика позволяет выявлять людей из группы высокого риска в предоперационный период, ввиду их употребления алкоголя. В дальнейшем данную ИИ систему можно применять и для оценки других рисков, базирующихся на медицинских записях пациента.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
