Команда исследователей Google представила Magenta RealTime — нейросеть с 800 млн параметров, предназначенную для генерации музыкальных композиций в реальном времени. Код и веса модели машинного обучения открыты и доступны на Hugging Face.
Существующие нейросети для генерации музыки создают сразу весь трек от начала до конца. Благодаря этому модель машинного обучения может более точно следовать промпту, но у пользователей нет возможности быстро изменить вывод. Например, поменять жанр или набор музыкальных инструментов.
Эту проблему попытались решить исследователи Google. Они разработали нейросеть Magenta RealTime, которая генерирует треки по фрагментам длительностью до 2 секунд. При этом во время генерации модель учитывает пользовательские подсказки и предыдущие 10 секунд хронометража композиции. Это позволяет нейросети согласовывать каждый новый фрагмент с уже сгенерированным произведением.
Magenta RealTime обучили на датасете из музыки со стоков общей продолжительностью около 190 тыс. часов. В обучающих данных нет вокальных композиций, поэтому нейросеть может генерировать только инструментал. Также модель хорошо понимает только западные музыкальные жанры. Всё из-за того, что таких треков на стоках было больше всего.
Авторы проекта отмечают, что благодаря генерации треков по частям Magenta RealTime можно запустить на сравнительно слабом оборудовании. Нейросеть не обрабатывает сразу всю композицию, поэтому меньше нагружает систему и быстрее справляется с задачей. Например, в бесплатном тарифе Google Colab с TPU модель генерирует фрагменты длительностью до двух секунд за 1,25 секунды. При этом частота дискретизации составляет 48 кГц.
Код модели доступен на GitHub, а веса опубликовали на Hugging Face. В Google Colab разработчики развернули бесплатное демо с инструкцией по запуску.
