Кажется, что ни один пост сейчас не обходится без упоминаний коронавируса, и эта подборка не станет исключением.

С конца января количество открытых репозиториев, в которых упоминается COVID-19, стало исчисляться сотнями. В них можно найти наборы данных, модели и визуализации.

Появляются массы публикаций о применении алгоритмов машинного обучения для борьбы с распространением COVID-19, но мало какие из них позволяют ознакомиться с исходным кодом.

Подобные материалы в подборку не попали, потому что здесь, как и в двух предыдущих выпусках, собраны публикации, которые призваны снизить порог входа в сферу ML. Больше внимания уделяется инструментам, которые абстрагируют поведение сложных моделей в высокоуровневые API, которые можно начинать применять уже сейчас.

Вычислительные прогнозы белковых структур, связанных с COVID-19

Google DeepMind опубликовали результаты своего исследования по предсказанию структуры белков вируса. Для этого использовалась опенсорсная DNN AlphaFold. Эта информация может быть полезна при разработке новых лекарств. Однако, как DeepMind ясно дает понять на своем веб-сайте, эти данные не проверены экспериментально, и нельзя быть уверенным в точности структур.

Машинное обучение для определения COVID-19 по рентгену груди

Один из создателей COVID-CXR рассказывает, как начать применять машинное обучение для прогнозирования тяжелых случаев заражения коронавирусом с помощью рентгенографии грудной клетки. Внутри инструкция о том, как подготовить набор данных, осуществить предпроцессинг и провести обучение модели. Большой упор делается на объяснение предсказаний, которые делает нейронная сеть. Объяснение состоит из двух сопоставленных изображений. Области подсвечиваются зеленым или красным цветом, чтобы указать что способствовало прогнозу.

5 датасетов о COVID-19, которые можно использовать уже сейчас

Здесь можно найти данные по пациентам, данные по географии распространения и даже подборку из миллионов твитов, в которых упоминается вирус.

Далее материалы, не связанные с коронавирусом

Отслеживание лиц и рук в реальном времени

Google Research представили два легковесных инструмента, которые полностью работают в браузере. Таким образом, данные не покидают пользовательское устройство, что обеспечивает их безопасность.

Facemesh выводит приблизительную трехмерную геометрию поверхности лица из потока изображения или видео, а, значит, может работать с обычной камерой без датчика глубины (демо).

Handpose распознает кисти рук в видеопотоке и на основе двадцати одного ориентира (суставы пальцев и ладони) определяет местоположение частей кисти (демо).

Дальнейшее развитие этих инструментов позволит распознавать эмоции и жесты, и возможно изменит то, как мы взаимодействуем с контентом в интернете.

Распознавание объемных объектов в реальном времени

Большинство исследований по распознаванию объектов сосредоточены на прогнозировании двухмерных объектов, в то время как прогнозирование с 3D открывает массу сфер применения от беспилотных автомобилей до дополненной реальности.

Создатели опенсорсного фреймворка Mediapipe представили новый инструмент Objectron, который вычисляет трехмерные ограничивающие рамки для объектов в реальном времени на мобильных устройствах. Уже сейчас можно протестировать мобильное приложение на моделях, обученных распознавать стулья и обувь.

Применение BERT в браузере с помощью Tensorflow.js

На основе модели MobileBERT Q&A авторы статьи создали расширение для Chrome, которое работает подобно поиску по странице, с разницей в том, что можно задать вопрос, и расширение попробует найти на него ответ.

Например, в статье про крабов авторы задали вопрос: “Как крабы двигаются”, и алгоритм подсветил фрагмент текста “Обычно крабы передвигаются боком”. На странице с рецептом лазаньи авторы задали вопрос, как долго ее выпекать, на что получили ответ: 25 минут.

Также приводятся и менее удачные примеры, однако уже сейчас виден потенциал применения этой модели.



На этом все, спасибо за внимание!