Стартап в области искусственного интеллекта Stability AI выпустил Stable Audio Open Small — модель искусственного интеллекта для создания стереотреков, которая, по заявлению компании, является самой быстрой на рынке и достаточно эффективной для работы на смартфонах.
Stable Audio Open Small — это результат сотрудничества Stability AI и Arm, производителя микросхем, который выпускает множество процессоров для планшетов, телефонов и других мобильных устройств. Хотя ряд приложений на базе ИИ, таких как Suno и Udio, могут генерировать звук, большинство из них используют облачную обработку, а значит, их нельзя использовать в автономном режиме.
Компания Stability также утверждает, что обучающий набор Stable Audio Open Small полностью состоит из песен из бесплатных аудиобиблиотек Free Music Archive и Freesound. В отличие от обучающих наборов вышеупомянутых Suno и Udio, которые, как сообщается, содержат контент, защищённый авторским правом, что создаёт риск нарушения прав интеллектуальной собственности.
Stable Audio Open Small содержит 341 миллион параметров и оптимизирован для работы на процессорах Arm. Stable Audio Open Small, предназначенный для быстрой генерации коротких аудиосемплов и звуковых эффектов (например, барабанных и инструментальных риффов), может генерировать до 11 секунд аудио на смартфоне менее чем за 8 секунд, утверждает Stability AI.
Вот пример, созданный Stable Audio Open Small:
И вот еще один пример:
Модель не лишена недостатков. Stable Audio Open Small поддерживает только запросы, написанные на английском языке, и Stability отмечает в своей документации, что модель не может генерировать реалистичный вокал или высококачественные песни. Модель также неодинаково хорошо работает в разных музыкальных стилях, предупреждает Stability, что является следствием западно-ориентированных обучающих данных.
Ещё одна потенциальная проблема для разработчиков заключается в том, что у Stable Audio Open Small довольно строгие условия использования. Он бесплатен для исследователей, любителей и компаний с годовым доходом менее 1 миллиона долларов, но разработчики и организации с доходом более 1 миллиона долларов должны платить за корпоративную лицензию Stability.