SberCloud ML Space – это платформа ML-разработки полного цикла и совместной работы DS-команд над созданием, обучением и развёртыванием моделей машинного обучения на базе суперкомпьютера Christofari. Она позволяет компаниям-разработчикам концентрироваться на создании AI-сервисов. На конференции AI Journey 2021 SberCloud представила обновлённую платформу ML Space. Вот какие изменения появились в ней.
Платформа стала мультикластерной
Теперь на ML Space можно значительно проще и быстрее разрабатывать, тестировать и деплоить модели машинного обучения. Это стало возможным за счёт использования всей мощности двух суперкомпьютеров или отдельно самых технически продвинутых графических процессоров для ускорения ИИ, высокопроизводительных вычислений (HPC) и графики – Tesla V100 и A100 Tensor Core.
Пополнилась библиотека базовых docker-образов
Библиотеку можно использовать как на самой платформе ML Space (онлайн), так и на ноутбуке (офлайн). Теперь разработчики смогут самостоятельно создавать собственные docker-образы на основе базовых и запускать их в ML Space без ошибок. Главный профит здесь – сильная экономия времени и сокращение непроизводительной работы специалистов по Data Science.
Модуль AutoML стал доступен для задач NLP и Computer Vision
AutoML – это модуль по автоматическому созданию ML-моделей. Раньше он работал только на табличных данных и уже тогда выдавал высокие показатели в тестах точности и производительности. Теперь же разработчики и дата-сайентисты (DS) получили возможность работать с новым уровнем задач в области компьютерного зрения и математической лингвистики.
Появился новый модуль: AI Services
Модуль AI Services – это маркетплейс ML-сервисов. Теперь любые DS-специалисты могут публиковать и продавать разработанные ими продукты с ML-составляющей. Для этого достаточно загрузить свою модель машинного обучения на платформу в модуль AI Services и кратко описать этот сервис. Всю необходимую обвязку продукта предоставит SberCloud (например, авторизацию, аутентификацию, мониторинг и прочее). Пока что модуль запущен в тестовом режиме. Полноценная монетизация AI-сервисов, созданных сторонними специалистами в области машинного обучения, планируется в марте 2022 года.
И ещё один новый модуль: Pipelines
Он позволяет организовать конвейер из цикла экспериментов. Благодаря этому модулю у специалиста высвобождается больше времени – он может посвятить его, допустим, обработке данных или разработке новой задачи. Мы уверены, что Pipelines будет востребован продвинутыми DS.
Платформа ML Space с новым функционалом и картами А100 будет доступна всем желающим с 1 декабря 2021 года в SberCloud. С этого дня на сайте SberCloud можно будет получить доступ к самой платформе ML Space и к семейству генеративных моделей ruGPT-3, сервисов и демостендов для разработки собственных AI-сервисов, а также интеграции готовых решений SberCloud в продукты вашей компании. В честь обновления платформы и запуска Christofari Neo увеличен размер гранта для тестового доступа на ML Space: первым 100 клиентам (юридическим лицам) будут доступны 180 000 рублей.
Добавлен новый сервис конфиденциальных вычислений
Этот сервис позволит не только хранить и передавать данные в зашифрованном виде, но и обрабатывать их в защищённом контуре. Сервис конфиденциальных вычислений будет работать на базе Intel® Software Guard Extensions (Intel® SGX), который обеспечивает целостность и конфиденциальность чувствительных данных. Ни сам провайдер облачных услуг, ни неавторизованное ПО, ни кто-либо извне не сможет попасть в защищённую область и получить доступ к обрабатываемым там данным. Сервис станет доступен в облаке SberCloud в марте 2022 года.
Появилась специальная гибридная версия платформы: ML Space Private
ML Space Private содержит абсолютно все преимущества публичного ML Space и при этом её можно развернуть в гибридном режиме. То есть какая-то часть платформы может быть установлена на серверах клиента, а другая может реализовывать вычисления в облаке SberCloud. ML Space Private можно интегрировать с инфраструктурными и бизнес-сервисами компании, например службами каталогов, биллинговыми системами, системами мониторинга, логирования, ITSM и так далее. Платформа может быть сертифицирована под любые ИБ-требования компании.
Создана новая платформа для поиска DS-специалистов через соревнование: Data Science Works
Ещё одна приятная новость – запуск платформы Data Science Works (DS Works), которая поможет компаниям в решении прикладных задач бизнеса в области ML, а именно в поиске DS-специалистов. Она предназначена для организации соревнований по Data Science с возможностью обучения и инференса ML-моделей на высокопроизводительной инфраструктуре. Компания может воспользоваться DS Works, если у неё нет своих дата-сайентистов для решения ML-задачи. Достаточно запустить соревнование на платформе и получить решение, над которым работали специалисты в области машинного обучения. В ближайшее время в платформу будут добавлены обучающие программы для продвижения образовательной составляющей проекта.
