На прошлой неделе Google анонсировал запуск новой облачной платформы для машинного обучения — Vertex AI.
Главная особенность новой платформы в её амбициозном масштабе и интеграции с Google Cloud. Vertex AI вобрала в себя все облачные инструменты Google для подготовки наборов данных и обучения ML моделей.
По замыслу разработчиков Google, команды смогут полностью перенести все ML процессы на Vertex AI: дата-инженеры ищут данные в Google BigQuery, аннотаторы размечают данные с помощью встроенных инструментов, дата-сайентисты настраивают алгоритмы обучения в AutoML и автоматически подбирают оптимальные гиперпараметры. Обученную и протестированную ML модель можно подключить к рабочему приложению в пару кликов — либо загрузить на специально подготовленный сервер в Google Cloud, либо экспортировать в один из популярных форматов.
После запуска модели Vertex AI поможет с наблюдением и сбором статистики. Данные о предсказаниях и ошибках позволят дата-инженерам и дата-сайентистам найти недочеты модели, скорректировать обучающий набор, обучить новую версию модели, провести А-Б тестирование, и запустить её в приложение.
Для некоторых частей этого круговорота предусмотрены средства автоматизации. Например инструмент для аннотирования данных может самостоятельно предлагать варианты разметки, что ускорит работу аннотаторов. Система мониторинга имеет возможность автоматически дополнять обучающий набор новыми данными, например теми на которых модель ошиблась при реальном использовании приложения. В совокупности это позволяет настраивать автоматические процедуры обучения новых версий модели, создавая само-совершенствующийся сервис.
Несмотря на всеобъемлемость платформы, разработчики предусмотрели возможность замены любой ее части на самописные решения. Например в этом туториале показывается как написать свой алгоритм обучения модели, запаковать его в Docker контейнер и встроить его в процесс обучения модели. Использование Docker контейнеров позволяет писать код на любом языке программирования и использовать любые библиотеки. Официально поддержаны клиентские обвязки для Python, Java и Node.js. Контейнеры ни в чем не ограничены, в частности они имеют доступ к интернету и Google Storage, что позволяет скачивать любые данные необходимые для обучения модели. Подобный механизм действует и для кода самой ML модели, которую тоже можно создать на произвольной технологии, упаковать в контейнер и загрузить на Vertex AI.
Если захотите познакомится с Vertex AI глубже, будте осторожны со стоимостью ресурсов облака, необходимых для обучения моделей. Я рекомендую установить небольшой бюджет в настройках Google Cloud и обращать внимание на приблизительную стоимость выполнения туториала в долларах (USD) которая иногда указывается.
Официальный пост о запуске Vertex AI можно прочесть здесь.
Видео демонстрации возможностей Vertex AI (на английском):
Интерактивные туториалы от Google (на английском):
- Vertex AI:Training and serving a custom model: ~30 минут, ~$1
- Building a financial ML model with the What-If Tool and Vertex AI: обучение на табличных данных с использованием What-if Tool, ~ 60 минут, ~$1
- Build an AutoML Forecasting Model with Vertex AI: ~90 минут, ~$25
