Если с тобой за карьеру не случалось никаких факапов — либо ты начал свой путь примерно три дня назад, либо на работе ты только тапаешь хомяка или рубишься в Харстоун. Фейлы, провалы, косяки — всё это офигенные способы чему‑то научиться и стать лучше, но это работает только, если после факапов проводить их «вскрытие» — анализировать, какие причины привели к неудаче, и что нужно изменить, чтобы уменьшить вероятность возникновения похожей ситуации в будущем.

Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML

По итогам RSNA - крупнейшей выставки в сфере радиологии, прошедшей в конце 2023 года, Стефан Брауневелл, управляющий партнер SynWisery, подготовил обзор, в котором поделился размышлениями о самых популярных темах и трендах в области искусственного интеллекта в рентгенологии. Я подготовил очень-очень вольный перевод его статьи со своими комментариями.

Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на мой Телеграм-канал Варим ML

В жизни ИИ‑системы, медицинской или любой другой, случаются неудачные моменты.

Часть таких ситуаций — непредвиденные ошибки. Да, все разработчики понимают, что рано или поздно что‑то пойдёт не так, но случается это всегда по‑разному и иногда в самые неподходящие моменты.

К примеру, неправильно заполненный тег части тела в DICOM‑файле и некорректная работа модели по фильтрации снимков может привести к возникновению пневмоторакса в стопе:

Недавно мы успешно прошли аудит по «ISO 13 485–2017. Изделия медицинские. Системы менеджмента качества». Основная цель была очень простая — наличие этого сертификата теперь часто включают в требования при закупках медицинских ИИ‑систем. Я сам участвовал в аудите — меня расспрашивали про то, как мы тестируем наши системы и мониторим качество их работы на продакшне.Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML.

Стандарт довольно общий — он распространяется на все медицинские изделия, не только на ПО и тем более не только на ПО на основе машинного обучения. Никаких конкретных указаний по поводу имплементации тех или иных требований там нет, а основная часть касается документирования всех процессов производства, тестирования и выпуска продукции.

Когда мы начинали этот процесс, на меня легла задача — привести процессы в ML‑отделе в соответствие со стандартом. Мне захотелось не просто формально выполнить требования, но заодно и улучшить и унифицировать некоторые наши процессы. Быстрый анализ показал, что каждая ML‑команда и так плодила достаточное большое количество документации и данных в процессе своей деятельности:

В далёком 2020 году мы решили отказаться от Скрама и перейти на канбаноподобную модель с парой элементов из фреймворка LeanDS. Это решило как минимум часть проблем, про которые я говорил в докладе - тенденция к выгоранию, искусственные разрывы экспериментов между спринтами, разрушение спринтов из-за внезапных задач, ухудшение качества кода и документации. И чуть ли не самое главное - после отказа от некоторых скрам-ритуалов значительно упали затраты времени и энергии на не особо нужные встречи и споры.

Спустя примерно два с половиной года и какое-то количество не самых удачных процессных экспериментов (например, OKR и квартальные цели) стало ясно, что что-то или сломалось, или изначально работало не очень хорошо. Вот примеры проблем, с которыми все четыре продуктовые команды (так мы называем ML-команды по разными направлениям - маммография, рентген лёгких, КТ лёгких, КТ мозга) регулярно сталкивались в пост-скрамной эпохе:

В конце октября вышла статья "The Future of AI and Informatics in Radiology" под авторством Кёртиса Ланглотца, профессора радиологии и биомедицинского data science в Стэнфорде. Она содержит 10 предсказаний о будущем ИИ в нашей индустрии. Хочу по ним пробежаться и поделиться своим видением текущей ситуации.

Ещё несколько лет назад ни один эксперт не мог даже предположить, что сегодня технологии искусственного интеллекта смогут проникнуть в такую сложную и ответственную область как медицина. Но динамика развития цифровых помощников просто поражает. На 2023 год насчитывается более 100 компаний, разрабатывающих продукты на основе ИИ. Кроме того, только официально зарегистрированных Управлением по контролю за продуктами питания и лекарствами США (FDA), алгоритмов на основе ИИ для радиологии насчитывается более 400. И это только в США, но не менее крупных достижений добиваются в России, Евросоюзе, странах СНГ.

В этом году в России каждый регион закупил минимум одну ИИ-систему в здравоохранении. Где-то выбрали предиктивную аналитику, где-то - системы для работы с медицинскими изображениями. Но даже внутри одного направления конкуренция часто очень высокая - например, только по направлению рентгена лёгких в каталоге Московского эксперимента числится семь сервисов. Как выбрать лучшее решение? Фактически в ИИ в медицине сейчас не существует прозрачного процесса по выбору среди конкурирующих решений, и выбор происходит в лучшем случае по формальным критериям, в худшем - "по знакомству".

Вы еще живы после прочтения прошлых двух частей, смогли их осилить и готовы двигаться дальше? Хорошо. Обещаю закрыть вопрос с ДЕТРами в этой чати.

Да-да, мы помним, DETR долго обучается?! А что если его предобучить, да ещё и в self-supervised манере?

Материал для ТГ-канала “Варим ML”.

В прошлой части мы поговорили про эволюцию DETR. А это значит, что сегодня самая пора поговорить про другие варианты исполнения архитектуры и их нюансы.

Материал для ТГ-канала “Варим ML”

Материал для ТГ-канала “Варим ML”

Я - большой фанат задачи детекции, она мне нравится по всем критериям. Она самая интересная концептуально - одновременно нужно и искать объекты, и определять их тип. Классификация целых изображений скучновата и не так часто применима на практике (по крайней мере в медицине), а сегментация мне кажется нудноватой - ну их, эти конкретные пиксели. Ещё статьи про детекцию - самые интересные для меня в техническом плане. Мне нравится разбираться в разных видах архитектур - anchor-based и anchor-free, one-stage и multi-stage, а ещё я очень люблю разные крутые идеи, которые улучшают тот или иной компонент детекционного пайплайна - например, PISA для умного взвешивания разных сэмплов в лоссе, Precise RoIPooling и Deformable RoIPooling для более точного и хитрого пулинга фичей, D2Det для декаплинга задач локализации и классификации, SoftNMS для замены традиционного NMS.

В 2020 году вышла крутая статья про новую архитектуру для детекции - DETR. Она меня очень вдохновила, и я тут же бросился впиливать её в проект Маммография (ММГ), тем более что код был с виду очень простой. После недели мучений я не смог выжать ничего адекватного - обучалось ужасно, долго и предиктило в основном фигню. Возможно, я где-то набаговал, но возиться дольше не хотелось.

Тем не менее, все три года идея всё-таки впилить DETR преследовала меня по пятам, тем более что за это время вышло несколько десятков статей, тем или иным образом улучшающим оригинальную архитектуру. И вот, в один прекрасный день я зачем-то решил прочитать вообще все статьи про DETRы, а заодно попробовать несколько вариаций в ММГ. Задача оказалась слегка сложнее, чем я ожидал…

Обычно мои посты не предполагают высказывание своего невероятно важного мнения по горячим в моменте AI‑темам. Однако, здесь сдержаться оказалось тяжело. Я почти каждый день захожу в Твиттер — и примерно половина моей ленты связана с ML. Последние несколько недель желание сидеть там монотонно уменьшается — вместо интересных обсуждений всё заполнено твитами про AGI, AI alignment и про то, как скоро нашему миру белый пушистый зверек. Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML.

Недавно в комментариях к одному из постов в Варим ML меня спросили, какие навыки и знания нужны, чтобы у нас работать. Вопрос на самом деле очень важный - без правильного ответа невозможно нормально выстроить процессы найма и развития сотрудников. Можно быстро набросать дефолтный список - питончик, ML/DL, докер, и на этом закончить, но я решил зарыться в вопрос пообстоятельнее. Конечно, существуют самые разные родмапы, но лично мне они кажутся излишне общими, а я захотел поразмышлять именно про те скиллы, которые необходимы для работы в Цельсе, а главное про их необходимый уровень.

Так совпало, что я недавно прочёл статью Transparency of deep neural networks for medical image analysis и пост от канала Reliable ML про интерпретируемость. Я работаю в сфере медицины уже почти пять лет, и всё это время постоянно где-то на орбите внимания мелькает эта тема.

Что такое интерпретируемость, если решается задача классификации всего рентгенологического исследования - в целом понятно. Врачи не доверяют системам, которые просто говорят "тут где-то на картинке есть рак", а значит нужны какие-то методы, которые будут "объяснять" итоговое предсказание. Их придумано довольно много - разнообразные виды GradCAMа, окклюзия, LIME. Из коробки многие из них можно взять из библиотеки Captum для Pytorch.

Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML

Всем привет! Сегодня поговорим про самые интересные стартапы в сфере цифрового здравоохранения за последний год. 

Опираться предлагаю на «Digital Health 150» – рейтинг от компании CB Insights. Составители ежегодно отбирают 150 (как видно из названия) наиболее перспективных компаний в 14 категориях и публикуют данные о них в виде таблицы. 

В 2022 году борьба была жесткой – финалистов отобрали из 13 000 претендентов. Смотрели на разные критерии: бизнес-модель, динамика на рынке, инвестиции, позиционирование, технологическая новизна, собственные данные CB Insights о компании-претенденте и многое другое. 

Что можно сказать о стартапах, вошедших в рейтинг? 

Совокупно с 2017 года участники рейтинга 2022 года привлекли около 5,6 млрд долларов в рамках 378 сделок. В ТОП-3 компаний по общему привлечению акционерного капитала за все это время входят SWORD Health, Maven Clinic и Viz.ai.

Все участники рейтинга сейчас находятся на разных стадиях инвестиционного развития, от начинающих до «единорогов». При этом компании, находящиеся на ранних стадиях, занимают примерно половину списка, тогда как «единороги» – только 3% списка (5 компаний).

Стартапы, вошедшие в рейтинг, располагаются в 18 странах. Интересно, что в этом году четверть из них имеют штаб-квартиры за пределами США – это максимальный показатель за всю историю рейтинга. Однако по количеству стартапов на страну США по-прежнему лидируют (целых 112 компаний). 

Первая ML-платформа для трекинга экспериментов, которую мне довелось использовать в проде - это MLFlow. В далёком 2018 мне это показалось чудом - это что же, теперь не надо заносить результаты обучения в Эксель-табличку??

Душа, однако, всегда требует перемен - хочется обновить куду, версию пайторча и фон в зуме. Так что, когда в июне 2019 открылся ML-отдел Цельса, мой взор упал на свеженький, прям из печки Trains AI, ныне известный как ClearML. Может показаться, что базировать ML-инфрастуктуру компании на продукте в бета-версии было слегка рискованно. Отчасти это так, но на самом деле даже сейчас переезд на какое-то аналогичное решение вряд ли стал бы катастрофой. Например, интеграция ClearML в код - это буквально строчки три на сложный проект.

Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML

Чем отличается образование в России, Великобритании и США?

Иногда я пишу посты, в которых нет сильной ML-специфики - например, про менеджмент или свой опыт. Немудрено, что именно за них я получаю больше всего респектов от своих друзей, не особо связанных с DS. Респекты я получать очень люблю, а ещё я люблю писать за жизнь - поэтому иногда тут будут появляться и такие сочинения.

Так уж получилось, что я обучался аж в трёх странах и соответственно в трёх университетах. На самом деле даже такой опыт является очень ограниченным, поэтому, когда меня спрашивают - "ну где же всё-таки лучше учиться?", я всегда даю очень осторожный ответ. Это, однако, не мешает поразмышлять о своих злоключениях, а заодно рассказать о самых интересных и полезных курсах и поделиться книгами и материалами.

Если вы хотите узнать больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML

Любой, кто хоть раз обучал нейронки, знает, что принято на каждой эпохе шаффлить датасет, чтобы не повторялся порядок батчей. А зачем это делать? Обычно это объясняют тем, что шаффлинг улучшает генерализацию сетей, делает точнее эстимейт градиента на батчах и уменьшает вероятность застревания SGD в локальных минимумах. Здесь можно посмотреть визуализацию поведения градиентов батчей с шаффлингом и без шаффлинга. Ну и самый простой и традиционный для ML аргумент - наши эксперименты подтверждают, что отключение шаффлинга действительно ухудшает метрики, так что проверяйте, не забагован ли ваш трейн-луп ? Еще больше полезной информации в нашем telegram-канале Варим ML

Шесть лет назад я занимался стартапом FscoreLab, мы разрабатывали ML-системы для кредитного скоринга. Тогда я ещё слыхом не слыхивал о термине MLOps, да я и не уверен, что он вообще существовал. Однако, необходимость определённых практик и процессов, которые сейчас относят к MLOps, стала быстро понятна уже тогда. Один из самых важных уроков того времени - если модель обучить, задеплоить и отправить в свободное плавание, то рано или поздно, постепенно или внезапно, но случится что-то не очень хорошее. Да, сейчас от этого "откровения" хочется зевать - написана тонна книг и статей, запилена куча полезных инструментов, но в то время пришлось собирать систему ML-мониторинга опытным путём из подручных материалов. Состояла она из следующих компонентов:

В июне 2019 года открылся наш ML-отдел, и я решил, что неплохо будет попробовать поработать по Скраму. Неплохая идея, ведь правда? 

Команда абсолютно новая, тимлидского опыта у меня было не так много, а начать с чего-то нужно....

Честно и прилежно мы попытались внедрить все принципы, практики и ритуалы из гайда и книжек. Это был интересный опыт, но буквально через год мы от Скрама мы отказались, о причинах я когда-то рассказывал на Датафесте, да и вообще я теперь считаю его узким инструментом, применимым в весьма ограниченном количестве ситуаций.

Решение это далось непросто, все привыкли работать по Скраму, и от команды посыпались вопросы - что делать с эстимейтами, как приходить к общему контексту без скрам-покера, как будем измерять выгоду или потери от перехода на канбан? Изменения - это всегда сложно, недаром теме change management посвятили целый сезон конфы Podlodka Teamlead Crew. Эта статья про то, как мы генерируем предложения и внедряем изменения у нас в отделе.

Я уже много лет являюсь любителем различных систем и книг по личной эффективности и продуктивности. Точно скажу, что в этих вопросах - главное не переборщить и не стать "рабом продуктивности", но правильно подобранные под себя принципы и инструменты могут ощутимо повысить выхлоп и снизить уровень тревоги. Например, метод calendar blocking точно подойдёт не всем =)