В прошлом материале мы говорили о том, как электронные медицинские карты (ЭМК) упрощают работу врачей и жизнь пациентов. Благодаря ЭМК, больной может рассчитывать на совместную помощь всех специалистов, к которым он обращался, а врач получает возможность быстро составить полное представление о состоянии больного.
У ЭМК есть еще один плюс: они помогают повысить качество медицинской помощи. Об этом сегодня и пойдет речь. Рассказываем, как реализуется контроль качества медицинских услуг в DOC+ и какую роль в этом процессе играют электронные карты.
«Только спросить: про больницы, про здоровье, про детей»
В «классических» больницах качество медицинских услуг, контролируют с помощью обходов территорий и палат и сбора врачебных консилиумов, а также проверки медицинских карт (в том числе их проверяют страховые компании). Например, в США участие в оценке рабочих процессов поликлиники принимают 74% врачей, а в Швеции — 93%.
Мы — мобильная клиника, поэтому наши сотрудники узнают мнение клиентов не в процессе обхода палат, а по телефону. Сейчас наш колл-центр делает два звонка.
Если человеку было назначено лечение, мы звоним ему через 40 минут после вызова и просим оценить сервис по пятибалльной шкале. Также операторы предлагают воспользоваться услугами клиник-партнеров, если врач рекомендовал посещение узкого специалиста или дополнительное обследование: МРТ, рентген и др.
Второй звонок выполняется через 3 дня: мы перезваниваем клиенту и спрашиваем о его самочувствии. Наша электронная система автоматически сортирует порядок обзвона по специальной формуле, чтобы упростить работу оператору — сначала в списке те, кому нужно звонить в первую очередь.
Чтобы получить больше фидбека о работе сервиса, мы общаемся с пациентами в чатах, проводим опросы и осуществляем тестовые вызовы, когда под видом клиента врача вызывают сотрудники DOC+. Однако все это очень трудоемкие процессы, которые не лишены субъективизма. Они не позволяют осуществлять контроль качества системно и в полном объеме.
Единственным массовым источником информации о предоставляемых медицинских услугах являются электронные карты. В них мы можем увидеть все жалобы пациента и результаты осмотра и оценить на их основе назначения врача.
В начале работы нашего проекта для проверки ЭМК мы организовали так называемую биржу электронных карт, на которой сообщество врачей-сотрудников DOC+ в формате peer-to-peer оценивало назначения и ставило соответствующие баллы.
Чтобы сбалансировать систему, каждую карту проверяли два доктора. Если проставленные ими баллы не сильно отличались друг от друга, считалось, что карта успешно проверена. В противном случае карта направлялась на дополнительную проверку старшим экспертам, — этими экспертами у нас были заместители главного врача по терапии и педиатрии — которые выносили финальный вердикт по спорным моментам.
Мы продолжили тестировать и развивать систему проверки медицинских карт и совершенствовать работу биржи. Чтобы ускорить процесс оценки ЭМК и повысить его качество (а в перспективе снизить количество проверок одной карты), мы организовали специальный отдел, в задачи которого входит проверка карт:
Однако, в отличие от прошлой модели, теперь врачебная комиссия (ВК) получила возможность вырабатывать стандарты. При решении проблемы, вызвавшей разногласия, создавался прецедент, которым доктора руководствовались в дальнейшем.
Со временем такой подход позволил накопить опыт и снизить число ситуаций, когда оценки двух экспертов значительно отличались, до 5% (и ниже). В этот момент мы перешли к модели проверки «одна карта — один эксперт», чтобы снизить нагрузку на ВК. Однако ~5% ЭМК по-прежнему проверяются двумя экспертами. Это позволяет нам убедиться, что члены комиссии ставят оценки объективно, и контролировать устойчивость всей системы.
Комиссия получает на проверку обезличенную информацию о пациенте: историю болезни, показатели при осмотре, диагноз, данные о том, какие препараты назначил врач (имя которого также скрыто), какие анализы рекомендовал сдать и к каким узким специалистам обратиться.
Эксперты проверяют ЭМК на точность и корректность заполнения: оценивается полнота осмотра больного и сбора анамнеза, соответствие диагноза отмеченным симптомам и др. Проверка ведется по 20 критериям согласно инструкциям, выданным экспертам. Каждый критерий оценивается по трехбалльной шкале: 0 — «не соответствует стандартам»; 0,5 — «частично соответствует»; 1 — «соответствует стандартам».
Мы используем трехбалльную систему, поскольку пока еще возникают спорные ситуации. Для таких ситуаций и оставлен вариант «частично соответствует». Однако со временем мы планируем полностью формализовать все процессы и перейти на бинарную систему оценки по каждому критерию — ЭМК будет или соответствовать требованиям, или не соответствовать.
В этом случае не будет каких-то промежуточных вариантов, и отбор станет более жестким: либо врач был во всем прав, либо нет. Все последние рекомендации Минздрава по оценке качества предлагают именно бинарную систему.
Такая система оценки позволяет нам с каждой заполненной и проверенной ЭМК повышать качество оказываемых услуг. Все баллы, которые поставил эксперт, сохраняются в базе данных. Эта информация позволяет выявлять недостатки системы, анализировать проблемы с постановкой диагноза и назначением лечения. Из статистики мы узнаём, насколько правильно врачи прописывают лекарства, чтобы можно было сразу внести коррективы в их работу.
Мы видим проблемы, с которыми сталкивается большинство врачей, а также области, которые вызывают затруднения у отдельного доктора. Это позволяет нам оперативно принимать меры: проводить семинары и лекции по нужным темам или просить одних специалистов «подтянуть» других.
Вся эта работа помогает сформировать стандарты лечения, основанные на лучших практиках и доказательной медицине, и «вооружить» ими всех врачей.
Каждый специалист видит в электронной системе свой текущий рейтинг, составленный по результатам оценки всех его ЭМК за текущий месяц, и детальную расшифровку по всем критериям проверки карт с комментариями члена врачебной комиссии. Это позволяет снять большинство спорных моментов — врач читает комментарий эксперта и понимает свою ошибку.
Также у доктора есть возможность прийти на заседание ВК и обсудить все интересующие моменты. В ближайшее время мы начнем проводить такие встречи ежемесячно. Эти собрания будут интегрированы в общий график обучения наших врачей.
Экспертиза целиком находится в ведении врачебной комиссии, которая смотрит карты и самостоятельно их анализирует. Однако мы работаем над автоматизацией этого процесса, чтобы помочь экспертам с оценкой ЭМК.
Как работает сейчас: уже создан специальный алгоритм отбора карт, формирующий стек на проверку из 20% ЭМК и учитывающий разные факторы: сколько карт этого доктора уже проверено, является ли эта карта «специфической». Например, мы чаще проверяем ЭМК, по которым оформлялись больничные листы, из-за требований ФСС.
В ближайшее время алгоритм начнет учитывать сложность нозологии (чем реже встречается заболевание, тем выше вероятность проверки), а также текущий рейтинг доктора (чем опытнее врач, тем ниже вероятность отбора карт его пациентов).
Второй алгоритм системы отбирает карты из сформированной очереди и распределяет их среди экспертов.
Как будет работать в будущем: мы стараемся сделать алгоритмы отбора карт более интеллектуальными. Идея состоит в том, чтобы с помощью техник машинного обучения натренировать алгоритм предсказывать балл, который поставит комиссия.
Обучающая выборка для системы формируется на основании накопленных данных о картах и проставленных баллах. На этих данных будут обучены 20 моделей — по одной на каждый критерий — которые начнут предсказывать вероятность неполучения высшего балла по заданному критерию.
Полученные этими алгоритмами оценки объединяются в одну итоговую, показывающую общую вероятность того, что карта не получит высший балл. Таким образом, набор ЭМК, подлежащий проверке, можно будет упорядочить по оценке вероятности. Это позволит выявлять «хорошие» и «плохие» ЭМК и назначать картам, требующим проверки врачебной комиссией, более высокий приоритет.
Для обработки неструктурированных данных используется NLP-препроцессор, который был разработан ранее для нужд другого внутреннего проекта. Препроцессор умеет извлекать из жалоб пациентов и анамнеза, который врач пишет в свободной форме, различные симптомы и их характеристики. Использование этих данных поможет строить более качественные модели (о том, как устроена наша система обработки естественного языка, мы расскажем в одном из следующих материалов).
Такая форма приоритизации снизит нагрузку на врачей и позволит оценивать большее количество карт. Кроме того, она увеличит скорость проверки, так как мы будем выявлять «ошибочные» ЭМК прямо в момент заполнения (а не через три дня, когда эксперт их проверит), а врач, находясь у пациента, будет получать подсказки от системы.
Мы в DOC+ создаем услугу для массового рынка, поэтому должны показывать стабильно высокое качество в условиях роста аудитории — это ключевой аспект нашей стратегии. В самом начале пути мы оказывали медпомощь лишь силами наших врачей. Такой подход позволил нам контролировать качество предоставляемых услуг, чтобы затем расширить их спектр, имея за плечами понимание того, как работает рынок.
Мы оказали более 100 тыс. медицинских услуг и набрали в штат 350 врачей двадцати разных специальностей. Например, в декабре 2016 с DOC+, кроме терапевтов и педиатров, начали работать ЛОРы и неврологи. Также появилась возможность вызывать медсестру для проведения процедур и импортировать результаты лабораторных анализов из партнерских лабораторий, а данные осмотра — из партнёрских клиник.
При этом наша полуавтоматизированная система контроля качества работы докторов позволила DOC+ стать обладателем уникальной для всего рынка экспертизы, которая открыла возможности для развития новых продуктов. Она позволяет нам поддерживать стабильно высокое качество телемедицинской помощи по 10 врачебным специальностям в DOC+ Онлайн. А невидимые интеграции дают возможность контролировать уровень медицинских услуг, которые оказывают нашим пациентам партнерские офлайн-клиники.
Мы убеждены, что подобные системы автоматизации процессов, работающие на стыке IT и медицины, помогут снизить вероятность возникновения врачебных ошибок. А база знаний, которую мы формируем, откроет возможности для предоставления персонализированной помощи клиентам.
Дополнительное чтение: материалы из нашего блога «Только спросить»:
У ЭМК есть еще один плюс: они помогают повысить качество медицинской помощи. Об этом сегодня и пойдет речь. Рассказываем, как реализуется контроль качества медицинских услуг в DOC+ и какую роль в этом процессе играют электронные карты.
«Только спросить: про больницы, про здоровье, про детей»
Первый этап: организация системы контроля качества
В «классических» больницах качество медицинских услуг, контролируют с помощью обходов территорий и палат и сбора врачебных консилиумов, а также проверки медицинских карт (в том числе их проверяют страховые компании). Например, в США участие в оценке рабочих процессов поликлиники принимают 74% врачей, а в Швеции — 93%.
Мы — мобильная клиника, поэтому наши сотрудники узнают мнение клиентов не в процессе обхода палат, а по телефону. Сейчас наш колл-центр делает два звонка.
Если человеку было назначено лечение, мы звоним ему через 40 минут после вызова и просим оценить сервис по пятибалльной шкале. Также операторы предлагают воспользоваться услугами клиник-партнеров, если врач рекомендовал посещение узкого специалиста или дополнительное обследование: МРТ, рентген и др.
Второй звонок выполняется через 3 дня: мы перезваниваем клиенту и спрашиваем о его самочувствии. Наша электронная система автоматически сортирует порядок обзвона по специальной формуле, чтобы упростить работу оператору — сначала в списке те, кому нужно звонить в первую очередь.
Чтобы получить больше фидбека о работе сервиса, мы общаемся с пациентами в чатах, проводим опросы и осуществляем тестовые вызовы, когда под видом клиента врача вызывают сотрудники DOC+. Однако все это очень трудоемкие процессы, которые не лишены субъективизма. Они не позволяют осуществлять контроль качества системно и в полном объеме.
Единственным массовым источником информации о предоставляемых медицинских услугах являются электронные карты. В них мы можем увидеть все жалобы пациента и результаты осмотра и оценить на их основе назначения врача.
В начале работы нашего проекта для проверки ЭМК мы организовали так называемую биржу электронных карт, на которой сообщество врачей-сотрудников DOC+ в формате peer-to-peer оценивало назначения и ставило соответствующие баллы.
Чтобы сбалансировать систему, каждую карту проверяли два доктора. Если проставленные ими баллы не сильно отличались друг от друга, считалось, что карта успешно проверена. В противном случае карта направлялась на дополнительную проверку старшим экспертам, — этими экспертами у нас были заместители главного врача по терапии и педиатрии — которые выносили финальный вердикт по спорным моментам.
Второй этап: создание спецкомиссии
Мы продолжили тестировать и развивать систему проверки медицинских карт и совершенствовать работу биржи. Чтобы ускорить процесс оценки ЭМК и повысить его качество (а в перспективе снизить количество проверок одной карты), мы организовали специальный отдел, в задачи которого входит проверка карт:
«Мы решили заменить роту “врачей-призывников” на отряд из десяти “спецназовцев”, — проводит аналогию Эльдар Гарифуллин, заместитель операционного директора по аналитике и медицинским проектам, — создали специализированную врачебную комиссию, которая отвечает за формирование внутренних стандартов: как лечить ту или иную нозологию».Первое время одну карту также проверяли два специалиста комиссии, потому что разногласия сохранялись даже среди лучших и опытнейших врачей. Каждый раз, когда возникал такой кейс, приходил арбитр в лице заместителя главврача и решал спорные моменты.
Однако, в отличие от прошлой модели, теперь врачебная комиссия (ВК) получила возможность вырабатывать стандарты. При решении проблемы, вызвавшей разногласия, создавался прецедент, которым доктора руководствовались в дальнейшем.
Со временем такой подход позволил накопить опыт и снизить число ситуаций, когда оценки двух экспертов значительно отличались, до 5% (и ниже). В этот момент мы перешли к модели проверки «одна карта — один эксперт», чтобы снизить нагрузку на ВК. Однако ~5% ЭМК по-прежнему проверяются двумя экспертами. Это позволяет нам убедиться, что члены комиссии ставят оценки объективно, и контролировать устойчивость всей системы.
Как проводится оценка
Комиссия получает на проверку обезличенную информацию о пациенте: историю болезни, показатели при осмотре, диагноз, данные о том, какие препараты назначил врач (имя которого также скрыто), какие анализы рекомендовал сдать и к каким узким специалистам обратиться.
Эксперты проверяют ЭМК на точность и корректность заполнения: оценивается полнота осмотра больного и сбора анамнеза, соответствие диагноза отмеченным симптомам и др. Проверка ведется по 20 критериям согласно инструкциям, выданным экспертам. Каждый критерий оценивается по трехбалльной шкале: 0 — «не соответствует стандартам»; 0,5 — «частично соответствует»; 1 — «соответствует стандартам».
Мы используем трехбалльную систему, поскольку пока еще возникают спорные ситуации. Для таких ситуаций и оставлен вариант «частично соответствует». Однако со временем мы планируем полностью формализовать все процессы и перейти на бинарную систему оценки по каждому критерию — ЭМК будет или соответствовать требованиям, или не соответствовать.
В этом случае не будет каких-то промежуточных вариантов, и отбор станет более жестким: либо врач был во всем прав, либо нет. Все последние рекомендации Минздрава по оценке качества предлагают именно бинарную систему.
Зачем это нужно
Такая система оценки позволяет нам с каждой заполненной и проверенной ЭМК повышать качество оказываемых услуг. Все баллы, которые поставил эксперт, сохраняются в базе данных. Эта информация позволяет выявлять недостатки системы, анализировать проблемы с постановкой диагноза и назначением лечения. Из статистики мы узнаём, насколько правильно врачи прописывают лекарства, чтобы можно было сразу внести коррективы в их работу.
Мы видим проблемы, с которыми сталкивается большинство врачей, а также области, которые вызывают затруднения у отдельного доктора. Это позволяет нам оперативно принимать меры: проводить семинары и лекции по нужным темам или просить одних специалистов «подтянуть» других.
Вся эта работа помогает сформировать стандарты лечения, основанные на лучших практиках и доказательной медицине, и «вооружить» ими всех врачей.
Каждый специалист видит в электронной системе свой текущий рейтинг, составленный по результатам оценки всех его ЭМК за текущий месяц, и детальную расшифровку по всем критериям проверки карт с комментариями члена врачебной комиссии. Это позволяет снять большинство спорных моментов — врач читает комментарий эксперта и понимает свою ошибку.
Также у доктора есть возможность прийти на заседание ВК и обсудить все интересующие моменты. В ближайшее время мы начнем проводить такие встречи ежемесячно. Эти собрания будут интегрированы в общий график обучения наших врачей.
Выборка и распределение ЭМК
Экспертиза целиком находится в ведении врачебной комиссии, которая смотрит карты и самостоятельно их анализирует. Однако мы работаем над автоматизацией этого процесса, чтобы помочь экспертам с оценкой ЭМК.
Как работает сейчас: уже создан специальный алгоритм отбора карт, формирующий стек на проверку из 20% ЭМК и учитывающий разные факторы: сколько карт этого доктора уже проверено, является ли эта карта «специфической». Например, мы чаще проверяем ЭМК, по которым оформлялись больничные листы, из-за требований ФСС.
В ближайшее время алгоритм начнет учитывать сложность нозологии (чем реже встречается заболевание, тем выше вероятность проверки), а также текущий рейтинг доктора (чем опытнее врач, тем ниже вероятность отбора карт его пациентов).
Второй алгоритм системы отбирает карты из сформированной очереди и распределяет их среди экспертов.
Как будет работать в будущем: мы стараемся сделать алгоритмы отбора карт более интеллектуальными. Идея состоит в том, чтобы с помощью техник машинного обучения натренировать алгоритм предсказывать балл, который поставит комиссия.
Обучающая выборка для системы формируется на основании накопленных данных о картах и проставленных баллах. На этих данных будут обучены 20 моделей — по одной на каждый критерий — которые начнут предсказывать вероятность неполучения высшего балла по заданному критерию.
Полученные этими алгоритмами оценки объединяются в одну итоговую, показывающую общую вероятность того, что карта не получит высший балл. Таким образом, набор ЭМК, подлежащий проверке, можно будет упорядочить по оценке вероятности. Это позволит выявлять «хорошие» и «плохие» ЭМК и назначать картам, требующим проверки врачебной комиссией, более высокий приоритет.
«Такой превентивный алгоритм позволит проводить автоматическую предварительную оценку 100% карт в момент их заполнения и отправлять на ручную проверку лишь 20% самых “проблемных”», — рассказывает Илья Ларченко, директор по инновациям DOC+.Сейчас работу в этом направлении ведет департамент обработки и анализа данных DOC+. Его задача — с помощью машинного обучения найти признаки, которые влияют на оценку по каждому из критериев, и построить математическую модель, оценивающую карту по этим признакам.
Для обработки неструктурированных данных используется NLP-препроцессор, который был разработан ранее для нужд другого внутреннего проекта. Препроцессор умеет извлекать из жалоб пациентов и анамнеза, который врач пишет в свободной форме, различные симптомы и их характеристики. Использование этих данных поможет строить более качественные модели (о том, как устроена наша система обработки естественного языка, мы расскажем в одном из следующих материалов).
Такая форма приоритизации снизит нагрузку на врачей и позволит оценивать большее количество карт. Кроме того, она увеличит скорость проверки, так как мы будем выявлять «ошибочные» ЭМК прямо в момент заполнения (а не через три дня, когда эксперт их проверит), а врач, находясь у пациента, будет получать подсказки от системы.
Мы в DOC+ создаем услугу для массового рынка, поэтому должны показывать стабильно высокое качество в условиях роста аудитории — это ключевой аспект нашей стратегии. В самом начале пути мы оказывали медпомощь лишь силами наших врачей. Такой подход позволил нам контролировать качество предоставляемых услуг, чтобы затем расширить их спектр, имея за плечами понимание того, как работает рынок.
Мы оказали более 100 тыс. медицинских услуг и набрали в штат 350 врачей двадцати разных специальностей. Например, в декабре 2016 с DOC+, кроме терапевтов и педиатров, начали работать ЛОРы и неврологи. Также появилась возможность вызывать медсестру для проведения процедур и импортировать результаты лабораторных анализов из партнерских лабораторий, а данные осмотра — из партнёрских клиник.
При этом наша полуавтоматизированная система контроля качества работы докторов позволила DOC+ стать обладателем уникальной для всего рынка экспертизы, которая открыла возможности для развития новых продуктов. Она позволяет нам поддерживать стабильно высокое качество телемедицинской помощи по 10 врачебным специальностям в DOC+ Онлайн. А невидимые интеграции дают возможность контролировать уровень медицинских услуг, которые оказывают нашим пациентам партнерские офлайн-клиники.
Мы убеждены, что подобные системы автоматизации процессов, работающие на стыке IT и медицины, помогут снизить вероятность возникновения врачебных ошибок. А база знаний, которую мы формируем, откроет возможности для предоставления персонализированной помощи клиентам.
Дополнительное чтение: материалы из нашего блога «Только спросить»:
