Это третья публикация в рамках цикла статей по изучению московской базы ковидных больных. В настоящей работе были созданы векторные представления медицинских терминов, которые теперь доступны на Github. Любой разработчик может использовать их в своих исследовательских целях.

Предыдущие мои публикации можно найти по ссылкам:

1. Мегаанализ распространения Covid-19 в Москве

2. Влияние загрязнения воздуха на тяжесть течения Covid- 19

Преамбула

Напомню, что автору в руки попала обезличенная база московских больных Covid-19 (без ФИО и информации из каких- либо личных документов). В ней содержатся записи о примерно 106 тыс. пациентах, для каждой из которых есть как ряд характеристик, так и в свободной форме написанные комментарии. Их оставлял медицинский персонал в нескольких случаях:

1. По результатам телефонного разговора.

2. Описание по факту первичного выезда бригады СМП (скорой медицинской помощи) к заболевшему.

3. Комментарий при лечении в стационаре / нахождения на карантине / долечивании на дому.

Разумеется появилось желание получить полезную информацию из этих полей. Было принято решение кластеризовать все тексты по их тематическому содержанию. После этого выбрать набор наиболее частых тем, которые создадут новые фичи. Останется получить проекции каждого текста на ранее отобранные темы, тем самым заполняя фичи конкретными значениями.

Но, к сожалению, готовые модели погружения слов в векторное пространство (т.н. word embeddings) при эксперименте дали ужасный результат на медицинской тематике. Они абсолютно не годились для поставленной задачи. Поэтому было принято решение самостоятельно создать отображение медицинских терминов в векторное пространство.

Создание векторного отображения

Изначальный план был таков: взять векторное погружение слов общей практики и дообучить его на медицинской тематике. В качестве словарной базы использовались подшивки медицинских журналов, поскольку в них содержися более "живой" язык (по сравнению с книжным). Таким образом полная медицинская база состояла из:

1. Журнал "Consillium medicum" (2004- 2012)

2. Журнал "Клиницист" (2006- 2016)

3. Журнал "Врач- аспирант" (2004- 2010)

4. Журнал "Кардиология" (1996- 2004)

5. Журнал "Лечащий врач" (2010- 2020)

6. "Сибирский медицинский журнал" (2004- 2011)

7. Журнал "Трудный пациент" (2006-2014)

8. Журнал "Туберкулёз и болезни лёгких" (2010- 2017)

9. 30 медицинских книг

10. Текстовые комментарии московской базы ковидных больных (~80 тыс. штук).

Оказалось, что импортировать pdf- журналы в txt- формат не так- то просто: дело в том, что текст в них разбит на колонки и при использовании импорта различных pdf- просмотрщиков, получалась каша. Поэтому для конвертации журналов в текст использовался собственный модуль, основанный на библиотеке PyMuPDF. Она позволяет последовательно читать все блоки с pdf- страницы, тем самым получая упорядоченный текст. За счет использования собственного алгоритма импорта появилась возможность алгоритмически удалить "мусорный" текст: список используемой литературы (иногда на несколько страниц!), контактная информация авторов, замечания о конфликте интересов, колонтитуллы. Также удалялись 7 первых и 6 последних страниц в каждом журнале, поскольку как правило этот диапазон страниц содержит рекламу и организационную информацию (оглавнение, приветствие редакции, планы выпуска журнала....)

После импорта журналов в текстовый формат получилась папка размером 385 МБ, а текст всех книг потребовал 26 МБ дискового пространства. Для сравнения напишу, что все 4 тома романа "Война и мир" Л.Н. Толстого в тектовом формате составляют примерно 3 МБ.

На первый взгляд размер словарной базы кажется большим, но оценка сильно зависит от размерности векторного представления: чем выше размерность векторного пространства, тем более разреженно в нем "находятся" слова. Поэтому для качественного представления небольшого корпуса слов (подобного тому, что представлен в настоящей статье для медицинской тематики) желательно использовать низкоразмерное векторное представление.

К сожалению, для русского языка в свободном доступе нашлись только 300- мерные представления слов общей практики. Небольшой объем медицинских терминов "растворился" бы в этой бездне, показывая что все слова между собой очень далеки. Поэтому план изменился: было решено получить также базу слов общей практики и на обоих базах самостотяельно обучить 48-ми, 64-ех и 100- мерные векторные представления.

В качестве словарной базы общей практики использовались:

1. Сборник учебной литературы гуманитарных специальностей

2. 180 студенческих учебников [DOC]

После импорта в тексовый формат общеязыковая база составила 705 МБ (а обе базы вместе ~1.1 ГБ).

При выполнении обучения использовались два лемматизатора pymorphy2 и pymystem3. Последний использовался только в случае, если pymorphy2 предлагал слово из словаря FakeDictionary (т.е. не находил слова и начинал заниматься предположениями). В качестве токенизатора использовался старый добрый nltk.

Общее количество слов в наборах составило 45 млн, из них уникальных- 302 тыс. При этом было принято решение проводить отбраковку редких слов на уровне не менее 30 использований (против 5, используемых по- умолчанию). Это позволяет значительно более качественно понять статистику контекстов использования слов, по которым далее будет происходить сопоставление слов между собой. Конечно, это сильно снизило итоговую языковую "мощность": векторизуемое моделью word2vec количество слов составило 44 млн, а уникальных- всего 41 тыс. слов.

При обучении word2vec все исследователи столкнутся с проблемой нехватки памяти. Дело в том, что для обучения модели общий объем текстов необходимо хранить в виде отдельных слов, что в Python реализованно неэффективно. Gensim предлагает использовать периодическую подгрузку данных с диска, что очевидно сильно замедляет обучение. Поэтому был придуман альтернативный вариант: хранение данных в оперативной памяти в сжатом виде. Для этого использовался класс, который умеет "на лету" сжимать и разжимать данные:

import zlib

class CompressedCorpus:
    COMPRESSION_LEVEL = 2
    
    def __init__(self):
        self.compressed_corpus = []
    
    def add_compressed_sentences(self, sentences): 
        self.compressed_corpus.extend(sentences)
    
    @staticmethod
    def compress_sentences(sentences):
        bin_data = pickle.dumps(sentences)
        return zlib.compress(bin_data, level=CompressedCorpus.COMPRESSION_LEVEL)
           
    def __iter__(self):
        for compressed in self.compressed_corpus:
            bin_data = zlib.decompress(compressed)
            sentences_of_document = pickle.loads(bin_data)
            for sentence in sentences_of_document:
                yield sentence

В результате выполнения обучения с помощью пакета gensim были получены векторные представления медицинских терминов (выбирайте подходящую для вас размерность векторного пространства).

После экспериментов оказалось, что 64- мерное представление слов показывает в решаемой задаче примерно на 20% более качественный результат, по сранению со 100- мерным. Насколько падает качество у 300- мерных векторов, можно только догадываться. Напомню, что при сравнении вариативности пространств нельзя линейно сравнивать их "мерности", необходимо использовать экспоненциальный закон. 48- мерное пространство показало схожие результаты, но иногда появлялся шум, из- за близости векторов.

Теперь любой желающий может их использовать для анализа текстов медицинской тематики:

from gensim import models

model = models.Word2Vec.load(file_with_word_embeddings)

Созданная модель так определяет близкие слова:

Кластеризация

С помощью полученного представления удалось векторизовать все тексты, характеризующие состояние и лечение пациентов (как средне- арифметическое всех входящих в текст слов). Существует несколько методик, позволяющих оценить оптимальное количество кластеров.

Метод локтя не показывает ярко выраженной точки перегиба, позволяющей установить оптимальное количество кластеров. Хотя в диапазоне между 5 и 10 кластерами происходит заметное снижение искажений.

Построение среднего значения коэффициента силуэтов показывает остановку быстрого роста в диапазоне 7- 12 кластеров.

Информационные критерии Акаике и Байесса, полученные с помощью кластеризации Gaussian Mixture, переходят на "плато" в диапазоне 4- 12 кластеров. Все же не надо забывать, что подобный метод выбора числа кластеров представляет собой меру успешности работы GMM как оценивателя плотности распределения, а не как алгоритма кластеризации.

Посмотрим на размеры получаемых кластеров: глупо выделять кластеры, в которые входит небольшое количество объектов. Необходимо заранее задать примерно верное количество кластеров, чтобы получить корректные размеры каждого кластера (исходя из предыдущих оценок, было использованно значение 10). По графику можно принять осторожное решение о выделении до 9 кластеров.

За всей этой батареей методов был упущен из вида самый простой и очевидный подход: так как мы кластеризуем тексты, то можно найти максимально близкие слова к каждому кластеру и предоставить их пользователю для анализа. Так было установлено, что 7 кластеров имеют независимые непересекающиеся тематики (это важно, поскольку мы по сути ищем базис, на который позже будем искать проекции).

После выбора оптимального количества кластеров была успешно проведена кластеризация алгоритмом K- means (в качестве конкурентов у него были методы "Gaussian mixture" и "OPTICS", которые показали более худший результат). Это позволило в векторном пространстве обнаружить центры 7-ми популярных текстовых тематик (как центры кластеров). Используя косинусное расстояние между нормированными векторами текстов и центров кластеров, были получены проекции каждого текста на популярные тематики.

А стоит ли устанавливать значения проекций для всех фичей- кластеров? Может чтобы не было лишнего "шума" стоит устанавливать значение только для кластера с максимальной проекцией, или для нескольких, чья проекция близка к максимальной? Ведь большинство слов посвящено одной тематике (медицина) и возможно предположить, что тексты будут близки друг к другу независимо от своего содержания. Как определить размер близости косинусных расстояний, который задаст "серьезные" проекции? Для этого можно использовать вложенную кластеризацию, которая отделит между собой группы близких и далеких проекций. Получается кластеризация в кластеризации.

После выполнения "вложенной" кластеризации "важными" проекциями оказались те, чье косинусное расстояние не меньше, чем 0.785 от максимальной проекции. Этим фичам устанавливалось значение проекции, а все остальные проекции считались шумовыми и их фичи получали значение 0.

В противовес изложенному выше подходу была опробирована идея более слабого ограничения на количество кластеров (20 и даже 30 выявляемых тематик) с последющим сжатием пространства методом главных компонент (PCA). Это не принесло улучшения по сравнению с первоначально предложенным вариантом.

Заключение

С новыми фичами было достигнуто улучшение качества обучения Catboost, который занимался предсказанием тяжести заболевания и смерти пациентов. Например, по метрике Каппа Коэна улучшение составило почти 5% и, например, для предсказания смерти пациента достигло 84% (при этом с помощью анализа ShapValues было подтверждено отсутствие утечек).

Надеюсь мое решение поможет другим в достижении успеха на исследовательской ниве.