Разработчики открытой модели машинного обучения Stable Diffusion представили Stable Video Diffusion — решение для генерации коротких видео. Организация обновила GitHub-репозиторий и опубликовала материалы исследования.
Предварительная версия Stable Video Diffusion может генерировать короткие видеоролики на 14 и 25 кадров с настраиваемой частотой от 3 до 30 кадров в секунду. Разработчики опубликовали всё необходимое для локального запуска, включая веса модели. Для генерации необходимо задать текстовое описание для итогового видео.
Модель можно адаптировать для использования в собственных проектах, но разработчики отмечают, что пока она не готова к интеграции в коммерческие приложения. Команда разработчиков планирует и дальше расширять возможности Stable Video Diffusion. В будущем на её базе реализуют экосистему решений для генерации контента.
В ближайшее время ожидается релиз веб-интерфейса для быстрого доступа к Stable Video Diffusion. Желающим необходимо пройти предварительную регистрацию. Разработчики надеются, что упрощённый доступ к модели поможет использовать её для создания рекламных, образовательных и развлекательных материалов. Кроме того, в блоге Stability AI отметили, что в тестах Stable Video Diffusion показывает себя лучше моделей Runway и Pika Labs.
Код и все необходимые материалы для локального запуска Stable Video Diffusion опубликованы в открытом GitHub-репозитории. Вместе с этим доступно детальное исследование решения.
