Привет, Хабр! Вместе с Harmony OS мы представили пятую версию HMS Core — набора инструментов, с помощью которых можно разрабатывать приложения для экосистемы Huawei. Мы добавили новые возможности для работы с контентом, сделали акцент на безопасности данных, взаимодействии между устройствами и расширили возможности для AI-инструментов — обо всём этом мы детально поговорили на нашей конференции HDC.Together, а в этой статье дадим обзор новых возможностей HMS.
Инструменты для работы с ML и AI
Основные сервисы для работы с AI входят в ML Kit и позволяют работать с текстом, голосом, картинками, AR/VR-технологиями. В HMS Core 5.0 мы увеличили количество поддерживаемых языков до 50 и можем выполнять перевод между 20 языками, при этом на вход принимаются как текстовые записи, так и голосовые. Также ML Kit может быть использован для отсеивания спама и всяких неприличных картинок.
С ML Kit можно конвертировать голосовые записи в текстовый формат и обратно, и мы расширили этот функционал с помощью Video Course Creator, который автоматически создаёт образовательные курсы: он берёт на вход образовательную программу, комментарии учителя и предустановленные аудио- и видеопараметры — во время трансляции учитель может обращаться к нужным материалам и все записанные материалы компонуются в единый курс.
Особый акцент мы сделали на распознавание лица, жестов и поз. Благодаря этому с помощью ML Kit можно проводить аутентификацию по лицу — система подключается через API и может быть использована для быстрого доступа к приложениям без каких-либо дополнительных действий.
Работать с инструментами AI и ML можно на разных уровнях:
- Платформа для работы с технологиями искусственного интеллекта на мобильных устройствах HiAI позволяет обучать нейросети, создавать модели и конвертировать их в бинарный файл, который уже можно загрузить на NPU-чип.
- Платформа Ability Gallery предоставляет разработчикам готовые сценарии использования AI и позволяет работать с большими данными в своих приложениях.
AR/VR
Наш AR-движок анализирует информацию об освещении, плоскости, форме объектов, типе поверхности, умеет искать заданные объекты в пространстве. Отдельно система может строить 3D-схему с помощью опорных точек и отслеживать человеческие движения, жесты и мимику. Например, для определения положения руки выделяется 21 точка, а для положения тела — 23 точки. Сейчас система может распознавать 6 поз и анализировать сразу 2 человек.
С пятой версии HMS Core CameraKit обеспечивает различные режимы съёмки: широкую диафрагму, портретный режим, HDR, размытие фона, суперночной режим и иже с ними. Также появилась возможность использовать AI в фото- и видеосъемке для предварительного выбора фильтров и цветокоррекции.
Совместная работа устройств
В новой версии HMS Core появилось несколько новых движков для совместной работы разных устройств. Мы упростили взаимодействия между устройствами и умными вещами с помощью DeviceVirtualization-движка. Он преобразует периферийные устройства в виртуальные объекты и позволяет телефону работать с ними так же, как с обычными функциями.
В этом же направлении мы разработали Cast Engine, который позволяет телефону работать в мультиэкранном режиме и передавать изображение на TV с высоким разрешением. Также планируем добавить возможность работать с Cast Engine через другие приложения.
Ещё один новый движок OneHop Kit работает с NFC и позволяет безопасно передавать данные между устройствами «в одно касание». С его помощью можно синхронизировать устройства Huawei между собой, передавать файлы и открывать приложения на других устройствах с теми же настройками, что и на основном. Пока он работает только между телефонами и планшетами Huawei, поэтому для связи с другими устройствами мы предоставляем Share-движок, который обеспечивает скорость до 80 Мб/c по Bluetooth.
Видео и аудио
В новой версии мы разработали несколько новых SDK-инструментов для работы с аудио и видео. Audio Kit и Video Kit поддерживают основные форматы файлов и кодеки и могут легко встраиваться в приложение и выполнять чтение, сохранение и удаление списков, последовательностей воспроизведения, регулировать скорость воспроизведения. Всё аудио и видео защищается алгоритмами шифрования.
В Audio Kit теперь есть аудиодвижок для записи звука в высоким качестве с функциями оптимизации задержки и других инструментов. Видеодвижок, в свою очередь, поддерживает основные протоколы HTTP, HTTPS, HLS, DASH. Также он позволяет организовывать стриминг со сторонних сервисов с помощью Video Kit WisePlayer SDK.
На основе нашего сервиса Huawei Meetime появился Caas Kit для видеозвонков, который обеспечивает воспроизведение и передачу HD-изображения даже при нестабильном соединении. Также движок позволяет расшаривать экран, рисовать дудлы и с помощью технологий виртуализации передавать изображения на любые другие устройства, что можно использовать для бизнес-конференций.
Картинки и 3D-рендеринг
Для обработки изображений появился Image Kit — он предлагает более 20 фильтров и визуальных эффектов, включая анимацию с рендерингом. В него входят 2 SDK: Image Vision SDK для работы с цветовыми фильтрами и Image Render SDK для использования эффектов анимации.
Scene Kit предназначен для работы с 3D-объектами: он использует метод физически корректного рендеринга (PBR) и позволяет приложениям подключаться через API и получать 3D-модели сложных объектов. Движок предлагает три сценария работы: SceneView для общих сцен (не-AR), ARView для общих сцен AR и FaceView для работы с лицами в сценах AR.
Аналитика и безопасность
В Сore 5.0 Huawei мы запустили систему тегов Dynamic Tag Manager (DTM) для отслеживания маркетинговой активности пользователей: она интегрируется как с самими сервисами Huawei, так и со сторонними платформами для отправки и обработки данных. С помощью DTM можно динамически обновлять теги в пользовательском веб-интерфейсе, отслеживать определённые события и отправлять данные на сторонние аналитические платформы. В наших системах главный акцент сделан на безопасность, поэтому движок DTM также используется как antifraud-система для отслеживания подозрительной активности.
Одной из фишек новой версии HMS стала аутентификация по лицу с помощью LocalAuthentication Engine. Он работает с инфракрасной камерой, которая строит модель по опорным точкам и производит аутентификацию с помощью ML Kit.
Наконец, мы уделили внимание и защите контента: для аудиофайлов используется шифрование кеша, для видео — антилитическая система и аутентификация при воспроизведении, а для работы с камерой — сквозное шифрование. Все данные HMS хранит в доверенной среде TEE, в рамках которой и выполняется шифрование.
Где узнать подробности?
Все записи конференции HDC.Together доступны по ссылке. Здесь можно послушать доклады о новинках платформы, основных сценариях работы с инструментами HMS и задать технические вопросы на Huawei Developer Forum или Stackoverflow c тегом huawei-mobile-services.
