Привет, друзья! Сегодня расскажу, как нейросети прямо сейчас, пока вы, куски мяса, читаете этот текст, заменяют живых музыкантов в студиях звукозаписи, позволяя DIY-музыкантам записывать полноценные альбомы, не выходя из дома и используя лишь компьютер с мощной видеокартой.
Где пруфы?
Пару дней назад я выпустил свой дебютный альбом #My_Zero. Все треки записаны нейросетью без привлечения музыкантов. На вход нейросеть получила файлик Guitar Pro, где я прописал музыкальные партии, а также файл с текстами песен. На выходе — wav.
Если послушаете треки, то кое-где можете заметить аномалии, например, лишние слоги, неверные ударения, кривые гармонии, странные шумы. Я не смог докрутить сетку, чтобы та идеально воспроизвела партии из GP. Железные мозги еще несовершенны. Но уже сейчас качество записи лучше, чем получилось бы, используй я студию и настоящие инструменты.
Как я пришёл к нейросетям для записи музыки?
Я музыкант-любитель. Люблю побренчать на гитаре в свободное время, чисто для себя.
Периодически сочиняю музыку, оформляю ее в виде табов в Guitar Pro.
У меня совсем нет времени и сил играть в музыкальной группе, а также ввязываться в дорогостоящую и длительную историю с записью в студии. Мне чудовищно лень.
Но мне нравится создавать музыку. Нейросети в этом смысле незаменимы. Они уже сегодня позволяют превратить ноты в звучащий инструмент или вокал. Таких сетей много, вы можете их легко нагуглить и выбрать подходящую сетку для жанра, в котором работаете.
Какие сложности есть с записью нейросетями?
Во-первых, надо разбираться в нейросетях и иметь мощный компьютер. Пока ещё техника на этапе, где нужно самому загуглить сеть, далее, возможно, придётся её обучить на треках, что нравятся лично вам. Потребуется python и GPU.
Во-вторых, музыку писать надо самому. Ошибкой будет доверить сочинительство нейросети. Нейросети не сочиняют музыку. Они могут сгенерировать средневзвешенное нечто, которое будет компиляцией штампов. Творчество — это все еще удел людей. Используйте нейросети только для воспроизведения нот и аранжировок.
В-третьих, текущие сетки плохо справляются с воспроизведением сложной музыки. Прогрессив-рок? Экстремальный метал? Техничный рэп? Забудьте. Все доступные нейросети хорошо справляются с роком, поп-музыкой, простенькой электроникой, но выдают мусор, если трек сложный и содержит много нот или быстрый темп. Поэтому музыкант, который записывает музыку при помощи нейросетей, возможно, будет вынужден значительно упрощать мелодию и партии инструментов, чтобы снизить число аномалий в записи. Либо надо делать свою сеть, обучая её не сложных треках.
В-четвертых, нет возможности сгенерировать уникальный вокал. Запоминающийся голос - это половина успеха. Есть небольшой банк голосов, из которых можно выбрать. Голоса типичные. Кроме того, я не нашёл способа заставить нейросеть гроулить или читать рэп.
Что дальше?
Дальше я планирую сконцентрироваться на том, чтобы выпустить парочку своих сеток, которые смогут читать рэп. А пока советую вслушиваться в треки, что вы слышите по радио. Кажется, мы идем на всех парах в мир, где студии звукозаписи и сессионные музыканты станут не нужны.