Всем привет! Сегодня я хочу рассказать про мета-модели в медицине. Обязательно читайте до конца, вас ждёт сюрприз!
Под мета-моделями в машинном обучении обычно понимают модели, которые в качестве входных данных используют предсказания других алгоритмов. Мета-модель обучается комбинировать эти предсказания оптимальным образом в зависимости от задачи и характеристик конкретной единицы данных. Вообще существуют как простые примеры объединения предсказаний (голосование моделей), так и более хитрые – например, стекинг, в котором мета-модель может быть алгоритмом любой сложности – от логистической регрессии до глубокой нейронной сети.
На тему ансамблирования моделей уже написано немало статей и постов, поэтому здесь я хочу рассказать о паре интересных случаев использования мета-моделей для медицинских данных.
Всем привет! Сегодня я хочу рассказать про мета-модели в медицине. Обязательно читайте до конца, вас ждёт сюрприз!
Под мета-моделями в машинном обучении обычно понимают модели, которые в качестве входных данных используют предсказания других алгоритмов. Мета-модель обучается комбинировать эти предсказания оптимальным образом в зависимости от задачи и характеристик конкретной единицы данных. Вообще существуют как простые примеры объединения предсказаний (голосование моделей), так и более хитрые – например, стекинг, в котором мета-модель может быть алгоритмом любой сложности – от логистической регрессии до глубокой нейронной сети.
На тему ансамблирования моделей уже написано немало статей и постов, поэтому здесь я хочу рассказать о паре интересных случаев использования мета-моделей для медицинских данных.
Пожалуй, каждый ML-инженер за время своей карьеры сталкивался с ситуацией, когда метрики модели на продакшне сильно отличаются от результатов на валидационных и тестовых выборках. Такие расхождения между ожиданиями и реальностью негативно влияют на репутацию ML-систем, особенно в доменных областях, где цена ошибки высока. Ещё они замедляют их внедрение в бизнес-процессы организаций и, конечно же, бьют по самооценке ML-инженеров.
Сегодня мы попробуем разобраться, в чём же основные причины таких расхождений и как можно их предотвратить (или по крайней мере быстрее обнаружить).
Я Жека Никитин, Head of AI в компании Celsus. Больше трех лет мы занимаемся разработкой системы для выявления патологий на медицинских снимках.
Несмотря на то, что медицинским ИИ давно уже никого не удивишь, актуальной и структурированной информации о подводных камнях ML-разработки в этой области не так уж много. В статье я собрал самые «тяжелые» из этих камней — такие как сбор данных, разметка, взаимодействие с врачами и падение метрик при встрече модели с реальностью.
Ориентировался я в первую очередь на ML-разработчиков и DS-менеджеров, но пост может быть интересен и всем любопытствующим, кто хочет разобраться со спецификой CV в медицине.
