Snap представила раннюю версию своей технологии искусственного интеллекта на устройстве, которая позволяет изменять фон и одежду пользователя Snapchat в реальном времени при использовании дополненной реальности (AR). Презентация модели состоялась на выставке Augmented World Expo.
Соучредитель и технический директор Snap Бобби Мерфи заявил, что модель достаточно компактна, чтобы работать на смартфоне, и довольно быстра для повторного отображения кадров в реальном времени на основе текстового запроса. Сейчас команды Snap работают над ускорением моделей машинного обучения.
Новая модель позволит превратить текстовую подсказку в специальную линзу. Релиз функции обещают к концу года.
Работу линзы можно увидеть на GIF-изображении ниже, на котором одежда и фон трансформируются в сеттинге научно-фантастического фильма 1950-х годов.
Мерфи заявил, что эта и будущие модели генеративного машинного обучения в реальном времени на устройствах свидетельствуют о новом направлении для дополненной реальности и дают возможность переосмыслить представления о рендеринге и создании AR-опыта.
По словам Мерфи, доступ к новым инструментам можно получить в Lens Studio 5.0 для разработчиков. При помощи технологии Face Mesh можно создавать персонажей. Последняя версия Lens Studio включает чат-бота, которому можно задать вопросы об использовании технологии.
В пакет также входит функция Immersive ML, применяющая «реалистичное преобразование лица, тела и окружения пользователя в реальном времени».
