Обзор HMS Core 5.0: ещё больше возможностей для ML на мобильных устройствах и новые инструменты для аудио и видео



    Привет, Хабр! Вместе с Harmony OS мы представили пятую версию HMS Core — набора инструментов, с помощью которых можно разрабатывать приложения для экосистемы Huawei. Мы добавили новые возможности для работы с контентом, сделали акцент на безопасности данных, взаимодействии между устройствами и расширили возможности для AI-инструментов — обо всём этом мы детально поговорили на нашей конференции HDC.Together, а в этой статье дадим обзор новых возможностей HMS.

    Инструменты для работы с ML и AI


    Основные сервисы для работы с AI входят в ML Kit и позволяют работать с текстом, голосом, картинками, AR/VR-технологиями. В HMS Core 5.0 мы увеличили количество поддерживаемых языков до 50 и можем выполнять перевод между 20 языками, при этом на вход принимаются как текстовые записи, так и голосовые. Также ML Kit может быть использован для отсеивания спама и всяких неприличных картинок. 

    С ML Kit можно конвертировать голосовые записи в текстовый формат и обратно, и мы расширили этот функционал с помощью Video Course Creator, который автоматически создаёт образовательные курсы: он берёт на вход образовательную программу, комментарии учителя и предустановленные аудио- и видеопараметры — во время трансляции учитель может обращаться к нужным материалам и все записанные материалы компонуются в единый курс.



    Особый акцент мы сделали на распознавание лица, жестов и поз. Благодаря этому с помощью ML Kit можно проводить аутентификацию по лицу — система подключается через API и может быть использована для быстрого доступа к приложениям без каких-либо дополнительных действий. 

    Работать с инструментами AI и ML можно на разных уровнях:
    • Платформа для работы с технологиями искусственного интеллекта на мобильных устройствах HiAI позволяет обучать нейросети, создавать модели и конвертировать их в бинарный файл, который уже можно загрузить на NPU-чип.
    • Платформа Ability Gallery предоставляет разработчикам готовые сценарии использования AI и позволяет работать с большими данными в своих приложениях.

    AR/VR 


    Наш AR-движок анализирует информацию об освещении, плоскости, форме объектов, типе поверхности, умеет искать заданные объекты в пространстве. Отдельно система может строить 3D-схему с помощью опорных точек и отслеживать человеческие движения, жесты и мимику. Например, для определения положения руки выделяется 21 точка, а для положения тела — 23 точки. Сейчас система может распознавать 6 поз и анализировать сразу 2 человек.


    С пятой версии HMS Core CameraKit обеспечивает различные режимы съёмки: широкую диафрагму, портретный режим, HDR, размытие фона, суперночной режим и иже с ними. Также появилась возможность использовать AI в фото- и видеосъемке для предварительного выбора фильтров и цветокоррекции. 

    Совместная работа устройств


    В новой версии HMS Core появилось несколько новых движков для совместной работы разных устройств. Мы упростили взаимодействия между устройствами и умными вещами с помощью DeviceVirtualization-движка. Он преобразует периферийные устройства в виртуальные объекты и позволяет телефону работать с ними так же, как с обычными функциями.

    В этом же направлении мы разработали Cast Engine, который позволяет телефону работать в мультиэкранном режиме и передавать изображение на TV с высоким разрешением. Также планируем добавить возможность работать с Cast Engine через другие приложения.

    Ещё один новый движок OneHop Kit работает с NFC и позволяет безопасно передавать данные между устройствами «в одно касание». С его помощью можно синхронизировать устройства Huawei между собой, передавать файлы и открывать приложения на других устройствах с теми же настройками, что и на основном. Пока он работает только между телефонами и планшетами Huawei, поэтому для связи с другими устройствами мы предоставляем Share-движок, который обеспечивает скорость до 80 Мб/c по Bluetooth. 

    Видео и аудио


    image
    В новой версии мы разработали несколько новых SDK-инструментов для работы с аудио и видео. Audio Kit и Video Kit поддерживают основные форматы файлов и кодеки и могут легко встраиваться в приложение и выполнять чтение, сохранение и удаление списков, последовательностей воспроизведения, регулировать скорость воспроизведения. Всё аудио и видео защищается алгоритмами шифрования.

    В Audio Kit теперь есть аудиодвижок для записи звука в высоким качестве с функциями оптимизации задержки и других инструментов. Видеодвижок, в свою очередь, поддерживает основные протоколы HTTP, HTTPS, HLS, DASH. Также он позволяет организовывать стриминг со сторонних сервисов с помощью Video Kit WisePlayer SDK.

    На основе нашего сервиса Huawei Meetime появился Caas Kit для видеозвонков, который обеспечивает воспроизведение и передачу HD-изображения даже при нестабильном соединении. Также движок позволяет расшаривать экран, рисовать дудлы и с помощью технологий виртуализации передавать изображения на любые другие устройства, что можно использовать для бизнес-конференций.

    Картинки и 3D-рендеринг


    Для обработки изображений появился Image Kit — он предлагает более 20 фильтров и визуальных эффектов, включая анимацию с рендерингом. В него входят 2 SDK: Image Vision SDK для работы с цветовыми фильтрами и Image Render SDK для использования эффектов анимации. 

    Scene Kit предназначен для работы с 3D-объектами: он использует метод физически корректного рендеринга (PBR) и позволяет приложениям подключаться через API и получать 3D-модели сложных объектов. Движок предлагает три сценария работы: SceneView для общих сцен (не-AR), ARView для общих сцен AR и FaceView для работы с лицами в сценах AR. 

    Аналитика и безопасность


    В Сore 5.0 Huawei мы запустили систему тегов Dynamic Tag Manager (DTM) для отслеживания маркетинговой активности пользователей: она интегрируется как с самими сервисами Huawei, так и со сторонними платформами для отправки и обработки данных. С помощью DTM можно динамически обновлять теги в пользовательском веб-интерфейсе, отслеживать определённые события и отправлять данные на сторонние аналитические платформы. В наших системах главный акцент сделан на безопасность, поэтому движок DTM также используется как antifraud-система для отслеживания подозрительной активности.

    Одной из фишек новой версии HMS стала аутентификация по лицу с помощью LocalAuthentication Engine. Он работает с инфракрасной камерой, которая строит модель по опорным точкам и производит аутентификацию с помощью ML Kit. 

    Наконец, мы уделили внимание и защите контента: для аудиофайлов используется шифрование кеша, для видео — антилитическая система и аутентификация при воспроизведении, а для работы с камерой — сквозное шифрование. Все данные HMS хранит в доверенной среде TEE, в рамках которой и выполняется шифрование.



    Где узнать подробности?


    Все записи конференции HDC.Together доступны по ссылке. Здесь можно послушать доклады о новинках платформы, основных сценариях работы с инструментами HMS и задать технические вопросы на Huawei Developer Forum или Stackoverflow c тегом huawei-mobile-services.
    Huawei
    Компания

    Комментарии 2

      0
      Эти сервисы доступны только для телефонов производства Huawei или можно поставлять на аппарат любого производителя?
        0
        Наши сервисы HMS Core возможно поставить на любой Android-смартфон, работоспособность на всех девайсах мы не проверяли, но на большинстве устройств наши сервисы работают. В Google Play опубликованы «Мобильные сервисы Huawei», но там версия устаревшая. Рекомендация по установке сервисов — загрузить сначала наш магазин приложений AppGallery и затем вы сможете установить актуальную версию HMS Core. https://appgallery.huawei.com/#/app/C27162

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое