Разработчики из команды FunAudioLLM (входящей в Alibaba Group) представили PrismAudio – новый фреймворк для генерации звука по видео (video-to-audio, v2a), который кардинально меняет подход к этой задаче.
Вместо того чтобы пытаться оптимизировать всё и сразу с помощью единой функции потерь, как это делалось раньше, PrismAudio разбивает процесс на четыре специализированных потока рассуждений – семантический, темпоральный, эстетический и пространственный. Каждый из них обучается с помощью собственной функции награды в рамках многомерного обучения с подкреплением (multi-dimensional RL).
Результаты уже доступны для тестирования на платформах Hugging Face и ModelScope.
Проблема существующих v2a-моделей, как объясняют авторы в опубликованной статье, заключается в “запутывании целей”. Когда одна функция потерь пытается одновременно отвечать за соответствие звука содержимому кадра (семантика), его синхронность с движениями (темпоральность), высокое качество (эстетика) и правильное позиционирование в пространстве, модель неизбежно идёт на компромиссы.
PrismAudio обходит это ограничение, предлагая decomposed multi-CoT. Вместо монолитного пути генерации используются четыре независимых потока:
Semantic CoT (определяет, что должно звучать),
Temporal CoT (вычисляет, когда должен раздаться звук),
Aesthetic CoT (отвечает за качество звучания)
и Spatial CoT (определяет откуда идёт звук).
Такая декомпозиция делает процесс не только более точным, но и объяснимым.
Ключевое новшество фреймворка – многомерное обучение с подкреплением. Каждый из четырёх CoT-потоков получил свою собственную функцию награды: MS-CLAP для семантики, Synchformer для синхронизации, StereoCRW для пространственной точности и ряд других для эстетического качества. Это позволяет оптимизировать каждое измерение независимо, без ущерба для остальных.
Чтобы сделать такое комплексное обучение вычислительно возможным, исследователи разработали метод Fast-GRPO. Он ограничивает случайность узким временны́м окном и позволяет добиться более высокой производительности всего за 200 шагов обучения, в то время как предыдущие методы требовали 600.
Для объективной оценки возможностей новой модели авторы создали собственный бенчмарк AudioCanvas. В отличие от существующих датасетов, он сбалансирован по распределению и включает в себя сложные сценарии, в том числе 300 классов одиночных событий и 500 примеров с несколькими одновременными звуками. Именно на таких внедоменных сложных сценах, где другие модели дают сбой, PrismAudio показывает наибольшую устойчивость.
Сравнение с конкурентами – HunyuanVideo-Foley, MMAudio, ThinkSound – проведённое на тестовом наборе VGGSound и новом бенчмарке AudioCanvas, показывает, что PrismAudio (с 518 млн параметров) превосходит соперников по всем четырём ключевым метрикам: семантике (CLAP), темпоральной синхронности (DeSync), эстетике (PQ, CE, CU) и пространственной точности (GCC, CRW). Особенно впечатляет разрыв в субъективных оценках (MOS) – пользователи ставят звуку от PrismAudio 4,21 балла против 4,05 у ближайшего преследователя (ThinkSound) при оценке качества и 4,22 против 4,18 при оценке соответствия видео. При этом модель работает быстрее всех – 0,63 секунды на генерацию, что сопоставимо с MMAudio и быстрее, чем ThinkSound (1,07 секунды) и HunyuanVideo-Foley (10,63 секунды).
Технические детали, демо, текст исследования: официальной странице проекта.
Тест генерации: демо на Hugging Face Spaces или ModelScope Studio.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
