Наконец наступило лето, а с ним и пора отпусков. Уезжая на южные моря, не забывайте: большинство из нас имеет типичную для северянина кожу с пониженным содержанием меланина — пигмента, отвечающего за защиту от ультрафиолета. Если кожа отреагировала непонятным новообразованием, вызывающим опасения, теперь можно проконсультироваться с искусственным интеллектом. Он предварительно осмотрит кожу и посоветует, бежать ли ко врачу, за которым, конечно, всегда последнее слово. К слову, данная медицинская ИИ-технология, как и публикация, не является медицинской рекомендацией: диагноз ставит лечащий врач.
Уникальный ансамбль нейросетей
Знакомим вас с одним из решений. Его автор — разработчик дерматологических ИИ-технологий компания Scanderm. Компания является участником проектной группы HealthNet Национальной технологической инициативы (НТИ), и ее основатель Евгений Соболев рассказал о технологии. Соболев — Доверенный эксперт НТИ и акселератора ШОС, член жюри новосибирского акселератора «Архипелаг-2023», участник проекта «Человек +», а его проект Scanderm попал в Белую книгу интенсива «Архипелаг 2035», он также выступал экспертом в госпроекте регионального развития Новосибирской области.
Scanderm разработал правила разметки для обнаружения и определения кожных новообразований. «Сейчас мы ожидаем, что Сеченовский университет проведет ревизию правил. Как говорится, слона надо есть по частям, и нам никто не даст грант, который все бы покрыл. Мы находим выгодополучателя, например сеть клиник, аптек или фармкомпанию, они находят пациентов. И мы под задачу конкретного клиента разрабатываем набор технологий. Таким образом мы наращиваем небольшой конструктор, из которого хотим вскоре собрать весь спектр болезней», — пояснил Евгений Соболев.
Технология позволяет автоматически диагностировать состояние и проблемы кожи лица, тела, а также ногтей и волос. Качество требуемого изображения соответствует возможностям фотокамер большинства современных смартфонов, что делает ее применение доступным для самых широких масс. Согласно данным компании, количество пользователей ее дерматологической нейросети и других продуктов перевалило за четыре миллиона, а совокупный доход нарастающим итогом по всем рынкам мира (171 страна) составил около 700 тыс. долларов.
На изображении вверху можно увидеть, что на снимках датасета с помощью ограничивающих прямоугольников (bounding boxes) локализованы и классифицированы различные типы поражений. Scanderm создал ансамбль нейросетей, поняв, по какому принципу врач-дерматолог распознает болезнь и что он включает и выключает из своего подхода, однако секреты своего мастерства врачи передают неохотно.
Работает это так: ты сажаешь дерматолога с программистами, и они долго не могут найти общий язык. Но мы нашли “переводчика”, который может не просто перевести с “врачебного языка”, но и объяснить медикам, как правильно разметить датасет, какие точно признаки мы ищем. И это одно из наших ноу-хау, ведь именно благодаря этому подходу мы научились выявлять редкие болезни, в том числе с минимальными датасетами для валидации, — Евгений Соболев.
Команда у Scanderm подобралась довольно интересная. R&D состоит из экспертов разных областей, включая AR/VR, беспилотники, биометрию, нефтехимию и биотехнологии, объединенных общим знанием передовых технологий машинного обучения.
Правила разметки
«Наша нейросеть может выявлять покраснения, определяет текстуру кожи, уровень жирного блеска, другие проблемные зоны лица. Программа демонстрирует морщины, составляет карты пор, указывает, где они локализованы. По косвенным признакам можно также анализировать, насколько лицо увлажнено», — пояснил в интервью Евгений Соболев.
Соболев также рассказал, что на следующем этапе компания собирается заняться распознаванием всех проблем, так или иначе связанных с веснушками, а кроме того, выявлять на начальной стадии витилиго — нарушение пигментации, выражающееся в исчезновении меланина на отдельных участках кожи. «Витилиго важно изучать: мы давно знаем, что у людей с этим заболеванием бывают психологические и иммунные проблемы, причем о последнем они не всегда знают. Поэтому витилиго — один из симптомов, при котором обязательно нужно показаться врачам, и про это очень мало информации», — сказал руководитель Scanderm.
Scanderm использует десятки признаков, которые можно использовать для аналитики и диагностики в медицинских изображениях. Они включают текстуру кожи, цветовые паттерны, а также геометрические формы образований на коже и позволяют более глубоко анализировать состояние пациентов и точно выявлять заболевания. Однако о специфике применения сетей и моделей команда может говорить (для соблюдения коммерческой тайны) в более общем ключе. Важнейшие задачи, с которыми они работают, связаны с проблемами domain shift и out-of-domain generalization. Для их решения применяется особая аугментация, регуляризация и специфические функции потерь, а также методы обучения на малых датасетах, такие как few-shot и zero-shot learning. Нейросетевые архитектуры построены на сверточных нейронных сетях (CNN) и алгоритмах кластеризации. Они демонстрируют хорошие результаты на визуальных данных, выявляя сложные закономерности в изображениях.
Сравнивая свои решения с традиционными методами, в Scanderm отмечают несколько преимуществ. Главное: использование специализированных архитектур для обработки медицинских изображений значительно повышает точность диагностики. В то же время разнообразие алгоритмов, таких как LightGBM, Optuna, и библиотек для работы с изображениями — например, OpenCV, PIL и Albumentations — позволяет эффективно решать задачи оптимизации и обработки данных.
Компания предоставила список используемых продуктов по машинному обучению и оптимизации: PyTorch, Scikit-Learn, SkOpt — инструмент для байесовской оптимизации гиперпараметров моделей, основанный на Scikit-Learn. А также Nevergrad, Optuna, LightGBM, DEAP, PyTorch Metric Learning, TensorFlow + Keras.
По обработке изображений и данных — SciPy, Scikit-Image, OpenCV, Pillow, Albumentations, TorchVision и Torch Geometric. Для продуктового развертывания и демонстрации прототипов в Scanderm популярны ONNX, Gradio, FastAPI. Среди других полезных экосистем и вспомогательных технологий, которые используются компанией, — Hugging Face, Timm, Transformers, охватывающий широкий спектр задач NLP/NLU.
Примеры рекомендаций
Помимо упомянутых выше дефектов кожи, программа распознает и дает рекомендации по различным видам мешков под глазами, по асимметрии лица и неправильному прикусу. А людям в преклонном возрасте она помогает распознать тип старения лица. Дело в том, что существуют несколько типов старения лица. Они отличаются по своим характеристикам и проявлениям: усталый, мелкоморщинистый, деформационный, мускульный и комбинированный. Усталый тип характеризуется потерей упругости кожи и отечностью. Мелкоморщинистый тип, как понятно из названия, проявляется сеткой тонких морщин. Деформационный тип приводит к изменению формы лица, опущению щек и образованию складок. Мускульный тип характеризуется развитием глубоких мимических морщин и хорошо выраженными мышцами. Определив тип старения лица, можно разработать индивидуальную программу омоложения. Например, при усталом морфотипе рекомендуют массаж, при мелкоморщинистом приоритет отдается увлажняющим кремам и продуктам для питания кожи.
Фактически это своего рода “улучшайзер”: он покажет, как вы будете выглядеть, если всерьез заняться своим здоровьем или хотя бы косметически подретушировать морщины или прыщи , — пояснил Евгений Соболев.
В ответ на вопрос, почему в портфолио технологий есть агротехнологическое направление, Евгений Соболев пояснил, что у листьев растений много общего с человеческой кожей. Теми же методами, которыми дерматолог анализирует кожу лица, работают и в агротехе, определяя болезни растений. «Вместе с самарскими коллегами мы недавно запустили проект для агротеха. Он базируется на обширных советских датасетах растений: фотографиях культур, собранных в единую коллекцию».
Источники данных
Евгений Соболев рассказал, что когда компания только начинала свою деятельность, они работали в сотрудничестве с зарубежными коллегами над проектом компьютерного распознавания самых распространенных детских заболеваний: дерматита, псориаза, краснухи и крапивницы.
«Мы начали искать данные по этим болезням: сначала собирали из открытых источников, потом полезли в соцсети, искали по хештегам, изучили платные данные испанских дерматологов. И сделали первую версию алгоритмов на данных, которые были доступны на тот момент. А потом один наш крупный клиент выделил нам существенный маркетинговый бюджет, и мы смогли охватить много стран», — рассказал основатель Scanderm. По его словам, есть вероятность, что сейчас у компании самый большой датасет по кожным заболеваниям в мире. Над ним работают 20 разработчиков и 40 врачей-разметчиков данных.
Мы привлекли врачей Сеченского университета, которые помогают нам разметить кожные проблемы, ведь то, как врач анализирует клиническую картину, отличается от того, как видит ее классическая нейросеть, — пояснил Соболев
Компания собирает специализированные датасеты с 2015 года, используя как общедоступные, так и закрытые профессиональные ресурсы врачей и косметологов. Центральную роль играют данные, предоставляемые пользователями, что помогает преодолеть трудности, связанные с изменением доменов и обобщением вне обучающего набора. База охватывает сферы дерматологии, косметологии, стоматологии, а также ботаники. В ней только по дерматологии уникальный набор с более чем 470 тысячами изображений разных этнических групп, полов и регионов.
Работа по редким заболеваниям
Основатель Scanderm рассказал, что современная медицина знает примерно три тысячи кожных болезней, включая смежные (волосы, ногти и пр.). Из них визуально, с большой степенью вероятности, профессиональный дерматолог может определить примерно 2400, однако запомнить столько человеку-врачу не под силу, и ему нужны цифровые помощники. «А с помощью нашего датасета можно охватить и орфанные (редкие) болезни. Нам нужно буквально пару месяцев для настройки ИИ под такую задачу, и “орфанный помощник” врача будет широко доступен для пользователей с разным анамнезом (историей болезней пациента). Мы показали, как работает наш алгоритм специалистам: по некоторым редким заболеваниям существует не более 30 фотографий на весь мир, и мы можем распознать их нашим алгоритмом», — заверил Евгений Соболев. Он также рассказал, что однажды им удалось распознать по фотографии у одного иностранного пациента редкое и смертельно опасное злокачественное образование — саркому Капоши. К счастью, в подписи к изображению были данные о пациенте, удалось его найти и предупредить, что необходимо как можно быстрее обратиться к онкологу.
Изначально алгоритм научили определять всего девять самых распространенных среди детей кожных заболеваний, которые составляют 85% всех ювенальных обращений. Хотя и с ними не все так просто: сложность распознавания этих болезней в том, что они похожи, и нужно научить алгоритм точно отличать их друг от друга.
Специфика работы с персональными данными
Отвечая на вопрос о том, в чем специфика работы с персональными данными (лицо, кожа, история болезней и др.), Соболев пояснил, что фотографии лица являются персональными данными, только если на фото изображены глаза пациента. «Мы внедряем глубинные дерматологические технологии, у которых свои ноу-хау и специфические параметры, на которые мы обращаем внимание и оцениваем. И первое, что мы делаем, когда получаем фотографию кожи лица, исключаем из нее область глаз, — они для нас неинформативны, их алгоритмически мы себе на сервер не забираем».
Перспективы конкуренции в сегменте ИИ для дерматологии и индустрии красоты
Евгений Соболев считает, что в ближайшее время компании, подобные Scanderm, будут конкурировать за возможность определять наибольшее количество болезней. Максимальная цифра, которую он слышал, составляет 240 с небольшим болезней, эту планку взял Google. Однако этот ИТ-гигант не работает с фармацевтическими компаниями, и в компании не стремятся сделать свою нейросеть медицинским изделием — пока это лишь их внутренняя разработка. «Сегодня мы единственные на рынке, кто осуществляет коллаборации с фармой и маркетплейсами. В чем принципиальное отличие? Во-первых, проект работает с медицинскими данными или решениями, ориентированными на конкретные заболевания, а не на общие или широкие области медицины. К тому же на рынке мало компаний, которые имеют собственное компьютерное зрение, не связанное с чат-ботами с ИИ, например, с СhatGPT», — пояснил Соболев.
Хотя сейчас появляются конкуренты именно по анализу кожи лица, качественных компаний мало, и Соболев со своими коллегами уверенно себя ощущают в сфере дерматологии. «У нас более глубокий дерматологический анализ, базирующийся на спектральном 3D-сканере лица, с помощью которого мы проводим эксперименты и изучаем, что можно увидеть на коже человека, а также что можно получить с помощью камеры телефона. У нас одна из крупнейших баз ингредиентов, и мы анализируем не только косметические признаки, но и свойства ингредиентов, подтвержденные научными исследованиями, сопоставляя их с рекомендациями для пользователей», — отметил он. «Я сам работал в косметической индустрии и разработал 42 продукта для иностранных компаний, следил за тем, как крупнейшие игроки анализируют разницу и динамику кожи. За пределами компании уровня Biersdorf (Nivea) технологий по объективной оценке эффективности средств мало - в основном это делают специалисты "на глаз"», — сказал руководитель Scanderm.
