Comments 52
Вышла 3.1.0 всего семейства студий. Если понравилась YuE2 Studio, посмотрите и две другие: одно ядро, те же плеер, LoRA, обучение и стемы, разные модели.
YuE2 Studio — песни с редактируемой партитурой: https://github.com/timoncool/YuE2-Studio
MiniMax Music3 Studio — полноформатные треки: https://github.com/timoncool/MiniMax-Music3-Studio
ACE-Step Studio — Suno дома, быстрые песни с LoRA: https://github.com/timoncool/ACE-Step-Studio
Вот прям чего я очень очень ждал!) Пойду гонять на своей GTX 1660 super. Работа конечно колоссальная проделана, благодарю!
Сделайте сборку плз под старую Tesla V100
Погонял на 5070Ti Desktop c 12ГБ. Работает достойно, композиция на 3:31 рендерилась ~1:55.
Звук - моё почтение, не плоский, со стереоэффектами.
Косячит, правда, иногда в произношении слов в русском и в ударениях, но не часто и без какой-либо закономерности.
Забыл отметить, что это время рендеринга на модели YuE2-3B-BF16.gguf
А что насчет стилей и жанров? Trance, hardstyle и др. EDM поддерживает?
Да, правда мне показались они довольно однообразными, но я сильно пока не экспериментировал. Описания брал из статьи на медиуме, но нашел сейчас более интересную коллекцию: https://github.com/naqashmunir21/awesome-suno-prompts
Отлично работает на AMD Ryzen AI 9 HX 370 (встройка Radeon 890M).
Программа предложила по умолчанию профиль quality-q8, скачала 4,9Гб, указал стиль, в текст скинул четверостишье, нажал "сочинить партитуру", указал128 kbps, mp3, и за 1,5-2 минуты сгенерировала полноценный аудиотрек длительностью 0:37.
Просто мэджик!
Искал что-то похожее онлайн, но там куча ограничений. А тут огонь.
Есть ли какой метод при создании кавера, определить стиль/стили из исходного трека?
e2.cpp (C++/CUDA с квантованными весами GGUF): один exe для Windows, без Python и зависимостей, работает от 6 ГБ видеопамяти
Моё почтение. Новый PyTorch не поддерживает видеокарты Nvidia GTX 1???
Скажите, как на линуксе можно запустить? Через wine будет работать?
В кои то веки реальный проект сделанный на нейросетях, а не абстрактные рассказы о том, какие они крутые. Ну и сам проект весьма интересен и полезен, хотя прямо сейчас попробовать нет возможности.
Большое обновление YuE2 Studio: в студии появились LoRA, обучение своих LoRA и обработка звука. Спасибо всем за интерес к проекту!
LoRA. Отдельная страница LoRA: каталог готовых LoRA (стили, артисты, звучание, слайдеры) и поиск по Hugging Face прямо в студии. Все нескачанные можно выбрать одной кнопкой. В форме у каждой LoRA своя сила для композиции и для звука, триггер подставляется сам.
Своя LoRA. Берёте 5–20 песен одного артиста или стиля и обучаете LoRA на своей видеокарте, по рецепту HOT-Step с разметкой текста по времени (русский тоже). Готовые точки уходят в библиотеку одним кликом. Датасеты переносятся между YuE2 Studio и MiniMax Music3 Studio. Нужна RTX 30-й серии или новее с 11 ГБ видеопамяти.
Обработка готовых треков. Шумоподавление, Spectral Lifter, очеловечивание вокала, ваши VST3-плагины цепочкой и мастеринг по эталонному треку. Можно сравнить «до» и «после» и сохранить результат версией рядом с оригиналом.
MP3 делает LAME из выхода модели без потерь.
Исправлено:
- форма «Создать» больше не сбрасывается при переходе на другие вкладки;
- песни снова играют, если папка студии переехала или диск сменил букву;
- ошибки разделения на дорожки, караоке и обложек теперь показывают причину.
Скачать: https://github.com/timoncool/YuE2-Studio/releases/latest
Вау, ноты? Первый раз вижу в музыкальных нейронках ноты =) Интересно, будем посмотреть.
Ух, круто. Скажите, а амбиент можно генерировать по промату достаточно долгие по времени? То есть, трек длинной 10-20 мин? Или звуки природы?
6 минут ограничение у этой модели, так что длиннее не выйдет за один раз
Спасибо за ответ
6 минут ограничение у этой модели, так что длиннее не выйдет за один раз
Это ограничение «по умолчанию». В расширенных настройках можно задавать любую длину, какую сможет переварить карта, исходя из того, что модель тратит 1500 токенов на 1 минуту трека. В обертке проекта Ladypoly/YuE2_WebUI таких ограничений нет. Другое дело, что где-то читал, что к 8 минутам качество генерации может быть хуже.
Очередное доказательство, что половина веса современных ИИ-утилит это просто раздутый рантайм питона с дублирующимися кудами
Привет! Вроде все комменты пересмотрел, очень заинтересовал инструмент.
Есть момент:
Разбор песни на дорожки: трек раскладывается на шесть стемов: барабаны, бас, вокал, гитару, пианино и всё остальное. Можно вытащить минус или чистый вокал
В MIDI формате возможен экспорт? Суно ужасно с миди работает, всё что я даже на своих синтах записываю, и потом использую как подложки для трека, потом нереально вытащить обратно, если что-то было добавлено нейронкой в аранжировку (особенно арпеджиаторы страдают). Было бы прикольно попробовать локально партии\идеи генерить, и чистый миди уже своим синтам скармливать :D
Очень круто! Программу просто поставил и она работает! Когда я ставил ACE-STEP, было много мата.
Интерфейс очень крут. И будоражит своими возможностями. Пока попробовал просто хоть что то сгенерировать и понравилось. Но впереди использование LoRa, тонкие настройки и т.д.
Видеокарта 3060. За 2-3 минуты получается трек.
Проверил, погонял, и опять разочарование. Ну не умеет она даже рок и хеви метал делать. Либо откровенную пластиковую попсу, либо какой то медляк. Ну поет...по русски очень плохо. Потенциал есть в виде LoRa моделей и я их применил, но это очень сильно еще не дотягивает до sora и riffusion (в замужестве producer.ai).
P.S.Я ее расшевелил с использованием мощного колдунства (промпты от крупных LLM, которым я пожаловался на такое), и таки рок инструментал скоростной оно могет. Но структура песни весьма бедная...Короче тут похоже поле непаханое. Пробуйте!
Если у кого проблемы с CUDA на GTX-моделях - выбирайте Вулкан в настройках, при проблемах с малым количеством видеопамяти, например, на борту всего 4 ГБ, то лучше урезать KV-кеш LM до 6144, иначе процесс генерации в 70% заканчивается мягким прекращением своей жизнедеятельности из-за перерасхода видеопамяти.
Автору респект.
Скриншот
Попробовал сгенерировать в этой сборке.
Возникло несколько непонятностей:
1. регулировка длительности трека ползунком не согласована с пунктом «максимум токенов», а именно их количество влияет на длительность. Например, мои треки длятся >6 минут (9000 токенов = ровно 6 минут). Сейчас обрываются на полуслове;
2. температура в секции генерации музыки и вокала, как будто задана жестко и не считывается при ручном изменении. Выявлено субъективно, т.к. треки получаются монотонными и однообразными, не зависимо от указания величины температуры и значений величины и окна штрафа за повтор.
3. Эти предположения показывают также логи — часть значений, которые были изменены, не передаются (например, 12000 токенов, как на скрине, не передалось ни разу, всегда жестко 9000). Следовательно используются значения по умолчанию?
Вопросы:
1. могли бы пояснить чем отличаются ползунки «Песен за запрос» от «Вариаций»?
2. Похоже кнопка «Взять уже скачанные модели» не может подключить к сборке модели YuE2-3B bf16, VAE, SheetSage2 которые находятся в разных папках?
И, если возможно, несколько пожеланий:
1. могли бы сделать редактирование названия трека в окне Деталей песни и Библиотеке;
2. в секции Деталей песни добавить блок с информацией значений, отличных от умолчальных, использованных Лорах и их значений при генерации конкретного трека.
3. позволить левый и правый сайдбары двигать в два раза шире. Удобно для мониторов 4К
И спасибо за проделанную работу над интерфейсом, подсказками и возможностью запустить всё, практически без установки.
Я бы чуть чуть попросил добавить туда галочку "генерить без ограничений" то есть в цикле. А то заложенные ограничения - не более 10 треков, потом опять кнопку жамкай. Как в A1111 - "generate forever". Причем это ограничение я обошел крайне криво, но получилось - если очень быстро накликивать по кнопочке "создать" (лучше скриптом на сверхскорости) то можно до 30 генераций в батч положить. И она отрабатывает их потом честно. Зачем сделано именно 10 - не понятно.
Пожалуйста, нажмите у себя в клоде, чтоб собрало под Linux)
Как подключить llama.cpp, который у меня работает на другом компьютере, доступном по сети?
В 3.1.0 так: Настройки → Модели → Ассистент-автор → Локальный сервер — адрес любого OpenAI-совместимого сервера на другом компьютере (llama-server, LM Studio, Ollama), например http://192.168.1.10:8080/v1, и, если сервер его требует, ключ API. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
Спасибо за программу и статью!
Хочется только прояснить условия использования.
На сайте, как я понимаю, лицензия лежит по адресу https://github.com/multimodal-art-projection/YuE/blob/main/MODEL_LICENSE
И она в моём прочтении явно разрешает физическим лицам коммерческое использование продуктов генерации.
При этом на сами веса действует лицензия CC BY-NC 4.0 (Attribution-NonCommercial 4.0 International).
Может кто-то, пожалуйста, прояснить ситуацию?
Всё верно. На «результатах генерации», т.е. на том, что «выходит» из моделей (ноты, треки и т.п.) индивидуальным музыкантам зарабатывать можно. Разработчик указал это явно в строках с 20 по 48, в упомянутой вами лицензии.
А вот предоставлять платные услуги за саму генерацию, без коммерческой лицензии нельзя. Стартапы, пишущие обёртки для моделей и продающие доступ к генерации, пролетают.
Ответ разработчика от 17 сентября 2026 года «Commercial License #189».
Спасибо за вопрос. В 3.1.0 текст лицензии в самой студии приведён к лицензии YuE2 с дополнительным разрешением: отдельные авторы и музыканты могут публиковать и продавать сделанные песни. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
Нужно превью нот не только графически, но и как midi, а то приходится копировать партитуру в EasyABC и там слушать)
Похоже в сборке на ABC партитура просто не переключается. Поэтому попробуйте лайфхак — нажмите в правом сайдбаре открытого трека «Взять эту партитуру» и она подставится в сайдбаре слева в двух форматах.
Сделал в 3.1.0: у партитуры есть кнопка прослушивания простыми голосами и сохранение в MIDI, без EasyABC. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
off На подопытной Вин10 вылезла локальная проблема
Downloading WebView2 bootstrapper… WebView2 bootstrapper downloaded successfully Installing WebView2… Execute: C:\WINDOWS\Temp\MicrosoftEdgeWebview2Setup.exe /silent /install Error: Installing WebView2 failed with exit code -2147219198 Failed to install WebView2! The app can’t run without it. Try restarting the installer.
Как то WebView2 в виде чего-то подобного portable версии установить можно?
WebView2 нужен и портативной версии — это системный компонент Windows. Когда бутстраппер падает, помогает отдельный установщик от Microsoft, Evergreen Standalone Installer x64: https://developer.microsoft.com/microsoft-edge/webview2/ — после него студия ставится как обычно. В 3.1.0 установщик при такой ошибке сам останавливается с понятным сообщением и этой ссылкой.
Добрый день. Спасибо автору за проделанную работу. Результат впечатляющий. Можно экспериментировать много. Особенно нравится возможность делать каверы.
Есть пожелания: добавить возможность раскладывать на стены не только результат генерации, но и загруженный трек; добавить возможность работы в проекте, ну то есть создал проект например песня "Про кофе"и в нем появляются результаты генерации. Захотел переключиться на другую песню, создал проект песня "Про чай", и генерирует в нем. А сейчас всё в одном списке появляется, немного неудобно.
Спасибо заранее.
Спасибо! В 3.1.0 разложить на стемы можно любой трек библиотеки, загруженный тоже, а из трека или стема сделать MIDI. Проектов пока нет, но близко к этому: под кнопкой «Создать» можно выбрать плейлист, и новые песни сразу ложатся туда — «Про кофе» и «Про чай» не перемешаются. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
Нормально ли, что обучение на 4070 super на базовых настройках при 26 треках идёт уже сутки и ещё половины нет? Время растёт пропорционально кол-ву треков?
Посмотрите не на процессоре ли оно у вас пошло, не должно быть так долго конечно.
В 3.1.0 карточка обучения показывает, на чём оно считает, и предупреждает, если это процессор или у карты кончилась память. И рецепт по умолчанию теперь base-matched из HOT-Step с тремя размерами: «Быстро» — 50 шагов по 4 песни, «Сбалансированно» — 100, «Тщательно» — 200 по 8. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
Спасибо за подробный материал! Судя по обзорам вещь очень интересная. К сожалению в моем случае, что-то пошло не так ) После установки, на любые попытки сгенерировать трек, постоянно выдает ошибку - "The engine stopped answering about this job: yue-server returned 404 Not Found: job not found". Был бы очень благодарен, если кто-то подскажет, в чем дело.
Такое бывало, когда движок падал посреди песни и перезапускался, чаще всего от нехватки видеопамяти. В 3.1.0 вместо «404: job not found» студия пишет причину из журнала движка — кончилась видеопамять, ошибка CUDA. Если повторится на 3.1.0, пришлите этот текст и модель видеокарты — разберёмся. https://github.com/timoncool/YuE2-Studio/releases/tag/v3.1.0
Вышла 3.1.0 всего семейства студий. Если понравилась YuE2 Studio, посмотрите и две другие: одно ядро, те же плеер, LoRA, обучение и стемы, разные модели.
YuE2 Studio — песни с редактируемой партитурой: https://github.com/timoncool/YuE2-Studio
MiniMax Music3 Studio — полноформатные треки: https://github.com/timoncool/MiniMax-Music3-Studio
ACE-Step Studio — Suno дома, быстрые песни с LoRA: https://github.com/timoncool/ACE-Step-Studio
YuE2 Music skill 1.2.0: instrumental generation and covers
Планируется ли поддержка?
У меня ноут с RTX 3070 8GB VRAM. Генерит быстро, использовал рекомендованную 4.9GB модель. Чтобы качество было хорошим, нужно сделать и промпт и разметку в другом продвинутом ИИ, можно в гугле. Вот пример трека (стихи также от ИИ): https://drive.google.com/file/d/1f4LKjYDwkh19IjRvqM6zbFr_09KJrmcW/view?usp=sharing. Автору за YuE2 Studio респект, отличная работа!
Пока столкнулся с неразрешимой проблемой, что никак не добиться разнообразия, если делаешь инструментальный трек в жанре Cinematic Ambient, Epic Music, New Age, Downtempo.
Использовал разные настройки для модели, но мало что меняется.
Модель не развивает композицию, а повторяет один и тот же паттерн много раз.
Добавил лору Instrumental, генерировал партитуры с помощью gemini, qwen, добавлял очень подробную структуру композиции, ничего не помогает.
YuE2 Studio: бесплатная замена Suno на своей видеокарте, и почему я перешел с Python и Gradio на Rust, Tauri и C++