Китайский техногигант Kuaishou официально представил следующую итерацию своей модели для генерации видео — Kling 4.0. В условиях гонки с другими ИИ-видеогенераторами азиатские разработчики делают ставку на нативную генерация 30 секунд, 4K, липсинк и мультимодальный omni reference.

Публичный релиз модели намечен на следующий месяц, но архитектурные особенности и заявленные фичи уже вызывают интерес.

Архитектурные новшества и фичи Kling 4.0

Демо-видео THE BEAT, которое создали в Kling 4

Kling исторически славился хорошей физикой движений, но четвертая версия решает главную проблему диффузионных/трансформерных видеомоделей — временну́ю нестабильность и консистентность персонажей на длинных отрезках.

  • Omni reference (мультимодальные референсы). Модель способна переваривать до 15 референсов одновременно. Это означает, что при создании видео из фотографий энкодеры точнее фиксируют геометрию лиц, элементы одежды и окружение, снижая уровень галлюцинаций при смене ракурсов.

  • Нативная генерация 30 секунд. В отличие от апскейла времени (когда генерируются 5 секунд, а потом интерполируются/продляются), Kling 4.0 умеет нативно строить 30-секундный контекст.

  • Multi-keyframe control. Поддержка до 10 ключевых кадров. Разработчики могут точнее задавать траектории движения объектов и камеры.

  • Аудиодвижок и липсинк. Модель научилась полноценной генерации видео со звуком. Заявлен качественный стереовыход и точная синхронизация губ с поддержкой нескольких языков и диалектов.

  • Рендер. Апскейл до 4K и вывод в цветовом пространстве 10-bit HDR.

По словам разработчиков:

«Kling 4.0 выводит создание видео на новый уровень визуального реализма, творческого контроля и повествовательной завершенности. Сцена готова. Решающее слово — за вами!»

Доступность

Полноценный релиз намечен на октябрь. Однако Kuaishou уже открыла доступ к более легкой модели — Kling 4.0 Flash — для подписчиков тарифа Ultra Yearly на своей глобальной платформе.

👉 А пока мы ждём, протестировать актуальную версию, чтобы оценить качество архитектуры от Kuaishou, можно здесь: Kling 3.