NVIDIA считает себя аппаратным властелином «метавселенной» и намекнула на создание собственного виртуального пространства, где люди смогут работать, играть и взаимодействовать в качестве аватаров.
В апреле NVIDIA представила систему Omniverse для создания трехмерных виртуальных сред на конференции GTC. Позднее она сообщила, что на одной из конференций этого года выступила цифровая копия гендиректора Дженсена Хуанга. Разработчики воссоздали не только самого топ-менеджера, но и его кухню, где Хуанг обычно проводит презентации.
Теперь компания добавила в Omniverse базовый аппаратный и программный движок, который позволит объединить виртуальные сообщества в альтернативную трехмерную вселенную.
На этой неделе во время конференции по технологиям GPU NVIDIA анонсировала технологию Omniverse Avatar, которая может создавать интерактивные интеллектуальные аватары для помощи при заказе еды и вождении.
NVIDIA привела пример диалогового аватара в ресторанах. При заказе еды система искусственного интеллекта, представленная аватаром на экране, может общаться в режиме реального времени, используя методы распознавания речи и естественного интеллекта, а также задействует компьютерное зрение, чтобы уловить настроение человека и порекомендовать ему блюда. Чтобы аватар одновременно использовал несколько моделей искусственного интеллекта, компания создала Unified Compute Framework, который моделирует ИИ как микросервисы, поэтому приложения могут работать в одиночных или гибридных системах.
У NVIDIA уже есть базовые системы искусственного интеллекта, такие как модель Megatron-Turing Natural Language Generation — преобразователь языка, разработанный совместно с Microsoft. Теперь система будет предлагаться на оборудовании DGX AI.
Omniverse Avatar также является базовой технологией Drive Concierge — автомобильного помощника AI, который выступает «личным ассистентом в автомобиле». Системы искусственного интеллекта в автомобилях, представленные интерактивными персонажами, могут понимать водителя и пассажиров автомобиля с помощью голоса и других методов взаимодействия. Соответственно, система искусственного интеллекта может совершать телефонные звонки или давать рекомендации о близлежащих ресторанах, где можно поесть. Используя камеры и другие датчики, система также может видеть, спит ли водитель, или предупреждать владельца, если он что-то забыл в машине. Сообщения системы ИИ представляются через интерактивные символы или интерфейсы на экранах.
NVIDIA надеется создать единую метавселенную, чтобы пользователи могли переключаться между виртуальными вселенными, созданными разными компаниями.
Во время брифинга компания, однако, не упомянула о том, будет ли она сотрудничать с Meta (бывшей Facebook).
Но другие компании уже переносят свои 3D-работы на платформу Omniverse через программные соединители. В этот список входят ArcGIS cityEngine от Esri, который помогает создавать городские среды в 3D, и голосовой движок Replica Studio AI, который может имитировать реальный голос для анимированных персонажей.
NVIDIA также анонсировала Omniverse Enterprise — предложение подписки со стеком программного обеспечения, которое поможет компаниям создавать 3D-рабочие процессы, которые можно подключить к платформе Omniverse. Подписка стоит $9000 в год. Предложение нацелено на такие отрасли промышленности, как проектирование и развлечения, и будет доступно через торговых посредников, включая Dell, Lenovo, PNY и Supermicro.
Компания также использует платформу Omniverse для создания синтетических данных, на которых можно обучать «цифровых близнецов» или проводить виртуальное моделирование реальных объектов. SIM-карта ISAAC может обучать роботов с помощью синтетических данных, основанных на реальной и виртуальной информации, а Drive SIM позволяет создавать реалистичные сцены с помощью смоделированных камер для автономного вождения. NVIDIA тесно сотрудничает с производителями датчиков для точного воспроизведения данных. По словам Дэнни Шапиро, вице-президента компании по автомобильной промышленности, для моделей камеры, радара, лидара и ультразвукового датчика отслеживается путь с использованием графической технологии RTX.
Плата разработчика Jetson AGX Orin следующего поколения будет доступна производителям в первом квартале следующего года. Он имеет 12 ядер ЦП на базе архитектуры Arm Cortex-A78, 32 ГБ оперативной памяти LPDDR5 и обеспечивает производительность 200 TOPS (тераопераций в секунду).
Drive Hyperion 8 — это вычислительная платформа для автомобилей с двумя SoC Drive Orin, обеспечивающая производительность до 500 TOPS. Платформа имеет 12 камер, девять радаров, один лидар и 12 ультразвуковых датчиков. Он будет использоваться в автомобилях, произведенных в 2024 году, и имеет модульную конструкцию, поэтому автопроизводители могут использовать только те функции, которые им необходимы. Автомобили со старыми компьютерами Nvidia можно обновить до Drive Hyperion 8.
NVIDIA также анонсировала коммутатор Quantum-2 InfiniBand, который имеет 57 миллиардов транзисторов и производится по 7-нм техпроцессу Taiwan Semiconductor Manufacturing Co. Он может обрабатывать 66,5 миллиардов пакетов в секунду и имеет 64 порта для передачи данных со скоростью 400 Гбит/с или 128 портов для передачи данных со скоростью 200 Гбит/с.
Компания представила Morpheus — структуру искусственного интеллекта, которая позволяет поставщикам кибербезопасности выявлять и предупреждать компании о нетипичном поведении в сети или в центре обработки данных. Инфраструктура искусственного интеллекта выявляет незначительные изменения в приложениях, у пользователей или в сетевом трафике для выявления аномалий и подозрительного поведения.
Morpheus извлекает необходимые данные из сетевых адаптеров/модулей обработки данных BlueField от NVIDIA, которые получили новые возможности благодаря обновлению DOCA SDK, то есть для Bluefield DPU, как CUDA для графических процессоров NVIDIA.
Обновление DOCA — версия 1.2 — также может «создавать облачные сервисы, которые контролируют доступ к ресурсам, проверяют каждое приложение и пользователя [и] изолируют потенциально скомпрометированные машины». DOCA 1.2 позволяет устройствам Bluefield аутентифицировать программную и аппаратную аутентификацию, применять криптографию данных на линейной скорости и поддерживать распределенные межсетевые экраны, работающие на SmartNIC. NVIDIA сообщила The Register, что в Пало-Альто производительность брандмауэра улучшилась в 5 раз при запуске инструментов в распределенном режиме на SmartNIC.
Говоря об искусственном интеллекте, компания также объявила о программе Launchpad, в рамках которой она будет предлагать краткосрочный доступ к аппаратному и программному обеспечению ИИ через центры обработки данных Equinix в США, Европе, Японии и Сингапуре.
Еще одно предложение — это новая версия диалогового инструмента искусственного интеллекта RIVA, который, как говорят, способен создавать пользовательский голос, похожий на человеческий, за день на основе всего 30 минут образца речи.
