Компания Stability AI выпустила новую модель искусственного интеллекта — Stable Virtual Camera, которая, по утверждению компании, может преобразовывать 2D-изображения в «захватывающие» видеоролики с реалистичной глубиной и перспективой.

Виртуальные камеры — это инструменты, которые часто используются в цифровом кинопроизводстве и 3D-анимации для захвата и навигации по сценам в реальном времени. С помощью Stable Virtual Camera компания Stability стремилась добавить генеративный AI в микс, чтобы обеспечить больший контроль и настраиваемость, говорится в сообщении компании в блоге.

Stable Virtual Camera генерирует «новые виды» сцены из одного или нескольких изображений (всего до 32) под углами камеры, которые указывает пользователь. Модель может генерировать видео, которые перемещаются по «динамическим» траекториям камеры или предустановкам, включая «Спираль», «Dolly Zoom», «Перемещение» и «Панорамирование».

Текущая версия Stable Virtual Camera, исследовательский предварительный просмотр, может генерировать видео в квадратных (1:1), портретных (9:16) и альбомных (16:9) соотношениях сторон длиной до 1000 кадров. Однако Stable предупреждает, что модель может давать результаты более низкого качества в определенных сценариях, особенно с изображениями людей, животных или «динамических текстур», таких как вода.

«Крайне неоднозначные сцены, сложные траектории движения камеры, пересекающие объекты или поверхности, а также объекты неправильной формы могут вызывать артефакты мерцания», — отмечает Stability в своем сообщении в блоге, — «особенно когда целевые точки обзора значительно отличаются от входных изображений».

Stable Virtual Camera доступна для исследовательского использования по некоммерческой лицензии. Ее можно загрузить с платформы разработки AI Hugging Face.

Stability, находящаяся в тяжелом положении фирма, стоящая за популярной моделью генерации изображений Stable Diffusion, в прошлом году привлекла новые средства, поскольку инвесторы, включая Эрика Шмидта и основателя Napster Шона Паркера, пытались вывести бизнес из кризиса. Сообщается, что Эмад Мостак, соучредитель и бывший генеральный директор Stability, неправильно управлял Stability, доведя ее до финансового краха, что привело к увольнению сотрудников, развалу партнерства с Canva и росту обеспокоенности инвесторов перспективами компании.

За последние несколько месяцев Stability наняла нового генерального директора, назначила в свой совет директоров режиссера «Титаника» Джеймса Кэмерона и выпустила несколько новых моделей генерации изображений. Ранее в марте компания объединилась с производителем микросхем Arm, чтобы представить модель AI, которая может генерировать звук, включая звуковые эффекты, для мобильных устройств с чипами Arm.

Источник

Новая модель искусственного интеллекта Stability AI превращает фотографии в 3D-сцены