![](https://habrastorage.org/getpro/habr/upload_files/777/a0a/d51/777a0ad5108d7bd43c81bd547ad6e97e.png)
Мы живем в век, когда каждая задача, которую мы выполняли на нашей локальной машине, теперь выполняется в облаке. Гибкость, надежность, совместная работа, более низкие затраты на оборудование и программное обеспечение, энергоэффективность, защита данных и безопасность — эти особенности выделяют облако и делают его предпочтительным выбором по сравнению с локальными компьютерами.
В этой статье я детально продемонстрирую шаги создания грязного/сбалансированного бинарного классификатора для обнаружения пневмонии на рентгеновских снимках грудной клетки с Google Cloud AutoML Vision без написания единой строчки кода.
Давайте начнем с обучения модели, просто используя 100 нормальных изображений из класса «normal» и 100 изображений с пневмонией из класса «pneumonia», но намеренно создав грязный набор данных «dirty», поместив 30 нормальных изображений в папку pneumonia и 30 изображений с пневмонией в папку normal.
Эта статья шаг за шагом проведет вас через процесс создания и обучения модели на платформе AutoML Vision Google Cloud.
1. Загрузите набор данных рентгеновских снимков грудной клетки Kaggle (Pneumonia), перейдя по этой ссылке.
2. Перейдите в Google AutoML: https://cloud.google.com/automl/.
3. Кликните «TRY AUTOML» и выберите «AutoML Vision».
4. Залогинтесь в Google Developer или создайте учетную запись.
5. После входа в систему перейдите в консоль AutoML Vision: https://console.cloud.google.com/vision и примите условия обслуживания.
6. Далее создайте проект с любым, угодным вашему желанию, названию.
![](https://habrastorage.org/getpro/habr/upload_files/a82/5f5/490/a825f549096564ae7fcfeefbbe4fe878.png)
![](https://habrastorage.org/getpro/habr/upload_files/b66/24b/273/b6624b273def70a2c704152283940c8f.png)
7. На панели управления нажмите «Get Started» в AutoML Image Classification.
8. Подтверждайте все, пока не вы не попадете на последнюю страницу, где вам нужно настроить биллинг и Vision API.
![](https://habrastorage.org/getpro/habr/upload_files/bf3/755/5ea/bf37555ea8fa6b2d8325c65e5446aa50.png)
9. Когда вы перейдете к биллингу, вы должны увидеть в верхней части экрана возможность активировать бесплатный кредит в размере 300 долларов. Нажмите «ACTIVATE».
![](https://habrastorage.org/getpro/habr/upload_files/b7b/711/91b/b7b71191ba6ecaa0a82c25d07890745b.png)
10. Выберите тип учетной записи «Individual» и введите всю необходимую информацию, включая данные карты. Google не снимет средства с этой карты, если вы сами вручную не проапгрейдите свой аккаунт до платного.
![](https://habrastorage.org/getpro/habr/upload_files/b2a/349/dd3/b2a349dd3ebd00a3410464d3817fb922.png)
Не апгрейдите свой аккаунт до платного, потому что с вашей кредитной карты будет взиматься плата. Если вы используете ее для проекта компании, который должен быть размещен в облаке, вы, конечно, можете проапгрейдиться до платного аккаунта, но с вашей карты будет взиматься плата! Имейте в виду следующие рекомендации из Google Cloud Platform Instructions
1. Бесплатная пробная версия заканчивается, когда вы израсходуете весь свой кредит, или через 3 месяца, в зависимости от того, что произойдет раньше.
2. Вы также можете потерять свои данные по истечении пробного периода. Я рекомендую вам ознакомиться с полным набором рекомендаций сервисов Google Cloud Platform.
11. После завершения настройки биллинга вы можете вернуться на страницу настройки проекта и нажать «SET UP NOW», чтобы включить Vision API. Это автоматически настроит API и перенаправит вас на выбор Google Cloud Project.
12. В раскрывающемся списке вы должны увидеть созданный вами проект. Выберите проект и продолжайте.
![](https://habrastorage.org/getpro/habr/upload_files/7da/18b/9cf/7da18b9cf0e8715e04f26f272d981a48.png)
13. Затем вы должны увидеть страницу наборов данных (Datasets). Кликните «NEW DATASET» вверху страницы.
![](https://habrastorage.org/getpro/habr/upload_files/158/8b1/5ac/1588b15ac4f9626e2138d69165276892.png)
14. Выберите «Single-Label Classification».
![](https://habrastorage.org/getpro/habr/upload_files/8d1/28b/85d/8d128b85d68e15ffe409b87e53c3bef7.png)
15. Создайте свой набор данных.
a. Дайте набору данных имя.
b. Откройте папку Chest Xrays, которую вы скачали с Kaggle, и перейдите в папку для обучения.
c. В отдельной папке создайте каталог со следующей структурой:
i. AutoMLDataset/
1. normal/
2. pneumonia/
d. Затем скопируйте по 100 изображений каждого типа каждой классификации и намеренно создайте «грязный» (dirty) набор данных, поместив 30 нормальных изображений в папку pneumonia и 30 изображений с пневмонией в папку normal из исходной папки train/
(normal, pneumonia) в соответствующую новую папку. После того, как вы разместите изображения в новых папках, заархивируйте всю папку AutoMLDataset/
, чтобы создать automldataset.zip
.
![](https://habrastorage.org/getpro/habr/upload_files/9c5/9c9/63d/9c59c963d05465cb8b6f09c1292169a4.png)
16. Теперь вернитесь в AutoML Console Dataset и загрузите zip-файл со всеми изображениями. Опять же, убедитесь, что вы заархивировали папку верхнего уровня, которая содержит две папки: normal/
и pneumonia/
с соответствующими наборами из 100 изображений в каждой папке. Это позволит AutoML автоматически определять правильную метку истинности для каждого изображения, глядя на имя папки, в которой оно содержится. После того, как zip-файл прикреплен, продолжите нажав «CREATE DATASET». Для нашей текущей схемы маркировки нет необходимости нажимать кнопку «Enable multi-label classification» (Включить классификацию по нескольким меткам - это позволяет применять несколько меток к одному изображению). Этот шаг может потребовать несколько минут на загрузку всех изображений и настройку набора данных.
17. Когда данные будут готовы, вы должны увидеть экран со всеми изображениями, которые вы добавили, а также метку «normal» или «pneumonia» под каждым изображением. Это изображения и эталонные метки, которые будут использоваться для обучения/тестирования/проверки вашей модели детектора пневмонии.
![](https://habrastorage.org/getpro/habr/upload_files/b29/1ac/a79/b291aca79c73271565c638284686fe1b.png)
18. Затем кликните на вкладку «TRAIN» и здесь вы увидите распределение изображений, а также разделение изображений для обучения, проверки и тестирования.
![](https://habrastorage.org/getpro/habr/upload_files/732/e39/736/732e397369701eb6a2fc1a55e7e4998b.png)
19. Нажмите «START TRAINING», чтобы начать обучение вашей модели классификации пневмонии. В параметрах сохраните все настройки по умолчанию (Cloud-hosted, 8 узлов в час), а затем начните обучение.
![](https://habrastorage.org/getpro/habr/upload_files/b22/e4f/541/b22e4f5415482a5461aa053413d55c3f.png)
20. Сейчас модель находится в стадии обучения. Можно взять свой телефон и немного поиграть в свою любимую игру. По завершению обучения модели вы получите уведомление по электронной почте.
21. После завершения обучения вы можете кликнуть вкладку «EVALUATE», и вы увидите различные показатели модели, такие как точность, рекол и матрица неточностей. Постарайтесь понять, что означает каждый из этих показателей и как они рассчитываются.
![](https://habrastorage.org/getpro/habr/upload_files/1d2/29e/69b/1d229e69b13153df4fc5937fa482c831.png)
22. Затем кликните по вкладке «TEST&USE» — здесь вы можете протестировать модель на новых данных, которые модель никогда не видела. Если вы нажмете «UPLOAD IMAGES» и выберите изображение из набора данных Kaggle, которое вы НЕ использовали в обучающем наборе изображений, вы увидите, как модель предсказывает, есть ли у пациента на рентгеновском снимке пневмония или нет. Попробуйте найти изображения, которые дают как правильные, так и неправильные прогнозы.
![](https://habrastorage.org/getpro/habr/upload_files/c11/718/59f/c1171859f41524f6a3d9e4c41ab2566b.png)
Ура! Поздравляю, вы сделали это. Вы создали свою первую модель искусственного интеллекта! Теперь вы знаете, как загружать данные и обучать модель в облаке Google.
Материал подготовлен в рамках курса «Компьютерное зрение». Если вам интересно узнать подробнее о формате обучения и программе, познакомиться с преподавателем курса — приглашаем на день открытых дверей онлайн. Регистрация здесь.