Stability AI опубликовала в открытом доступе модель Stable Audio, предназначенную для генерации музыки, звуковых эффектов и окружения. Модель и веса опубликовали на платформе Hugging Face.
Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. К примеру, можно попросить нейросеть создать партию на фортепиано, барабанный бит, гитарный риф, пение соловья или шум дождя. Для генерации надо отправить текстовый запрос. Примечательно, что пользователи могут генерировать музыку на своих данных. К примеру, барабанщик может загрузить записи своих битов и на их основе создавать новые.
В блоге компании рассказали, что открытая модель отличается от одноимённой коммерческой. Закрытая версия Stable Audio может генерировать трёхминутные треки с проработанной структурой. Также поддерживается режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.
Открытую модель Stable Audio Open обучили на данных сервисов FreeSound и Free Music Archive, что позволило соблюсти все требования к авторским правам. При этом для доступа к нейросети всё равно необходимо ознакомиться с лицензией использования. Модель и вес опубликованы на Hugging Face.
