Исследователи из Сколтеха научили нейросеть обнаруживать и описывать патологии на рентгеновских снимках лёгких, рассказали информационной службе Хабра в пресс‑службе Сколтеха. Сейчас эту задачу выполняет врач — рассматривает снимок и описывает всё, что видит в тексте. По словам разработчиков, новое решение сокращает время работы с одним снимком с нескольких минут до 30 секунд, если не требуется корректировка текста, а специалисту остаётся подтвердить предложенный нейросетью диагноз или отсутствие признаков патологий. Исследование опубликовано в журнале Nature Scientific Reports.
Решение использует модели машинного зрения и компьютерной лингвистики, в том числе GPT-3 small. Этот чат‑бот был предшественником популярных сейчас GPT-3.5 и GPT-4.
Олег Рогов
Один из авторов исследования, научный сотрудник Сколтеха
«Обычные модели просто классифицируют, а наша нейросеть благодаря использованию современных моделей машинного зрения и моделей компьютерной лингвистики учится автоматически описывать рентгеновские снимки. Мы специально составили свой радиологический словарь, чтобы повысить точность с точки зрения именно радиологических терминов, правил их использования в тексте. И, конечно, мы сформировали большую сводную базу рентгеновских снимков для использования в качестве обучающих данных».
Нейросеть обучена на парах «изображение — текст». Как рассказал один из авторов исследования Олег Рогов, нейросеть «знает» лишь те диагнозы, на которые имеются указания и их можно найти на рентгенограмме лёгких.
Обучающую выборку сбалансировали по разным болезням, а возможные варианты развития системы — применение нового решения к МРТ‑ и КТ‑снимкам. Также возможно внедрить активное обучение, позволяющее модели совершенствоваться с учётом корректировок, вносимых врачом в текст. Кроме того, новую систему можно совместить с другой нейросетью, подсвечивающей на рентгене подозрительные области, о которых идёт речь в сгенерированном тексте.
