Как я обучила нейросеть рисовать спектрограммы (и что из этого получилось)

[Hunt3rSmile]

Очень классный эксперимент! Здорово, когда человек с горящими глазами пробует нестандартные идеи и делится реальным опытом.

Маленький совет для лучшего звука: попробуйте переводить спектрограмму обратно в аудио через HiFi-GAN вместо обычного Griffin-Lim. Звук сразу станет намного чище и плотнее.

Успехов вам и вдохновения на новые статьи!

[Moog_Prodigy]

С этого начинался проект Riffusion, сначала он был открытым, а когда у них начало что-то получаться (и хорошо получаться) лавочку быстро прикрыли и окуклились, почистив гитхаб и оставив там одну из своих первых программ (которая толком и не работает). А после всех перипетий Riffusion переименовали в Producer.AI и стали рубить бабло.

[zababurin]

У гугла посмотри. Есть обученная модель шумоудаления. В реалтайме звук делает чистым.