Comments 16
Спасибо, интересно. Где можно скачать финальную (Suno) версию песни "Дубовый дом"?
Учите англ, пригодится в жизни
Все бы хорошо, а как локальную модель туда подключить? Сейчас просто везде высокоскоростной крутой и доступный заблокированный интернет. Ollama, lmstudio, вот это все. Если локалить так локалить.
Спасибо, поигрался немного с фронтир моделями через OpenRouter, но текстовые модели, видимо, вообще не понимают специфичные жанры, т.к. их нужно было бы обучать то ли на табах, то ли вообще на таких TidalCycle скриптах. На промпты (не смейтесь :) ):
напиши музыку в стиле Super Contra 8-bit на NES (боевик, энергичная музыка)
напиши progressive death metal
Выдаёт несусветное нечто. П. 2 - это, конечно, вообще не для таких скриптов, но попытка не пытка.
Но чтобы ту же 8-16-битную музыку массово превратить в ноты+инструменты и скормить нейросетке для обучения, это надо ковырять код/output из рип-форматов вроде nsf, vgm, sfc и т.д.. NSF - это вообще вырезанный код звукового движка, как он работает со звуковым чипом. Технически это даже сегодня возможно, но трудоёмко, и под каждый звуковой движок нужен отдельный конвертор. (Хотя был такой проект nsf2midi).
А прокрутка трека на позицию не предусмотрена? Или слишком сложно, поэтому её не реализуют?
для расширения аудитории можно эту тему продвигать в демосцену. там иногда бывают online конкурсы live кодинга визуальных эффектов (т.е. типа shtrudel для видео), а вот со звуком такого не видел (может пропустил)
У меня тоже идеи были для собственного языка программирования музыки - но даже для прототипирования дело не дошло - а тут оказывается уже практически всё готовое есть.
Мне в первую очередь хотелось писать ноты русскими буквами - до, ре, ми..., потому что учился классической гитаре у живого преподавателя и успел закостенеть в этом вопросе.
Ещё хотелось отказаться от явного задания октавы цифрой, а перескоки по октавам делать в зависимости от текущей тональности или аккорда. Плюс/минус октаву от текущей задавать префиксом ("ми +ми -ми"). Числами, в хроматической гамме, аналогично.
Всякие нестандартные темперации ещё, чтобы например до-диез от ре-бемоля по тону отличался.
За проделанную работу огромное спасибо!
У glm тоже есть бесплатная модель: glm-4.5/4.7-flash
Ну то есть схема: просишь AI написать код который генерит музыку, записываешь в WAV и отдаёшь другому AI который тоже генерит музыку. Как переводить с английского на французский через китайский))
У меня классическая midi-клава, которая ни разу не синтезатор и в "самоиграйку" не умеет. А ваша булка может как-то с этим помочь? Чтобы можно было прямо в live режиме и аля ямаховские стили играть, и автоарпеджиатор, автоаккомпанемент и т.д. Короче, чтобы миди клава превратилась в синт, где выбираешь нужный стиль - и дальше чисто аккорды накидывать, а свадьба сама играет и поёт! ))
тобы миди клава превратилась в синт
так то для этого необходимо и достаточно софта с условным названием vst host. это софтины которые умеют перенаправлять midi потоки на софтовые синтезаторы сделанные в виде vst плагинов. (на самом деле не только vst их там еще полно вариантов). И бесплатных этих синтезаторов просто куча, но эти синтезаторы просто синтезируют условно говоря отдельные ноты, аккорды
прибамбасы которые позволяют импровизации тоже есть но я так глубоко не копал
Если про синтезаторы-самоиграйки, то эти аккорды очень легко кодируются в нужные последовательности (их не много), а дальше чего хочешь - арпеджиатор, просто аккорд в ритме, транспозиция. Так работают хардовые самоиграйки. Разумеется проигрыши и переходы тоже надо будет запрограммировать но только один раз - тональность всегда относительна. На миди-уровне работа с музыкой довольно проста, если знать как.
Спасибо за рассказ об интересном подходе. Давно играюсь с Suno, но вот как раз программистского пути к музыке не хватало )
Это прикольно, но хочется еще несколько «булок»:
Во первых генерация с помощью локального ии, может тупее зато свое.
Также возможно добавить англ язык, потому что фичи мне нравятся, но предпочитаю все же английский интерфейс)
Еще неплохо добавить backpack в который допустим ты придумал бит крутой, и чтобы не копирастить убираешь его в рюкзак и когда нибудь достаешь.
Ну и последнее, публичные биты, тоже самое что и backpack но публично, так можно комбинировать свое с чужим.
Спасибо за внимание!
Пишешь код, а звучит музыка. Как я сделал бесплатную лайвкодинг-платформу для создания музыки с ИИ-агентом