Команда Управления R&D ML SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру и обучила нейросеть создавать уникальные мультиинструментальные композиции. Нейросеть назвали “SymFormer”, она основана на открытой модели Performer. Обучение проходило на суперкомпьютере Кристофари при помощи платформы ML Space с использование датасета из 160 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. В результате получилась модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста.
Как это работает
Создание музыкальных композиций при помощи SymFormer происходит в два этапа: сначала нейросеть получает на вход информацию о стиле (она может быть основана на данных о музыкальных предпочтениях и текущем настроении пользователя, жанре и даже текстовом названии произведения) и генерирует несколько вариантов структуры будущего трека. На втором этапе создаётся несколько вариантов мультиинструментальной композиции, соответствующих заданному стилю. Затем модель-ранжировщик выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции. В итоге получается уникальное музыкальное произведение.
Где послушать
Альбом “Thriving Machine”, вышедший под брендом Aiphoria, можно послушать в СберЗвуке. Композиции будут доступны целиком, если зарегистрироваться на ресурсе. Альбом состоит из треков разных жанров — эмбиент, поп, электро, рок, лаунж и классика. Вот, например, композиция “Like a Cloud”.
Кстати, в этом альбоме не только музыка создана нейросетью. Его обложка – коллаж из четырёх изображений, сгенерированных нейросетью ruDALL-E по запросам «процветающая вселенная» и «струнный оркестр галактики». А названия треков – результат работы нейросети ruGPT-3.
Зачем всё это
С помощью модели можно не только создавать аудиозаписи под определённый вкус, но и генерировать музыку с открытой лицензией для производства самого разного мультимедийного контента – как для развлечений, так и для решения бизнес-задач.
А ещё подобные нейросети помогут нам продвинуться на пути развития виртуальных ассистентов нового поколения, которые будут уметь не только отвечать на вопросы, заказывать еду или управлять умным домом, но даже выполнять роль личного композитора, писателя или художника.
Обязательно расскажем подробнее об этом проекте в наших будущих постах. Не пропустите!
