Комментарии 7
А по мне так результаты стёрмные, больше похожие на на банальное переобучение, когда вместо извлечения смысла сеть тупо запоминает обучающую выборку и фигачит ей по поводу и без, но GPT-2 не виноватая тут...
ИМХО засада именно в некорректности представления музыки в текст, которое сделано без учёта понимания теории музыки, что выглядит несколько дико, ибо оная вполне себе формализована, имплементируй - не хочу!
Это равносильно тому, что кормить GPT-2 рукописным текстом, пусть и бинаризированном, в надежде что она научится распознавать письмо и эмоциональное состояние писателя, а потом ещё как-то в курит написанное. Не, ребята, так не бывает, про проклятие размерности слышали? Это как раз оно самое стучится в дверь. Но дело даже не в нём, сеть не взлетит если кормить её предложениями вырванными из контекста фраз.
Но заниматься музыкой можно и нужно, ибо есть годная теория музыки, есть алгоритмические решения на её основе, с которыми можно сравнивать результат, и это даёт возможность найти правильный путь тупым инженирингом. Но предметную область придётся покурить.
Спасибо большое за развернутый комментарий! Учту замечания.
По поводу представления соглашусь, что оно не в полной мере отражает музыкальную композицию - буду искать пути улучшения.
Хочу сказать пару слов по поводу теории музыки и ее формализации:
читал труды Р.Х.Зарипова на эту тему. Они меня очень впечатлили тем, что музыка создаваемая алгоритмами получается правильная с точки зрения теории и звучит очень хорошо для человеческого слуха. Но мне кажется, что алгоритмической музыки не хватает разнообразия, каких-то "изюминок", нестандартностей.
Музыка же постоянно развивается, и те правила, которыми руководствовались композиторы одной эпохи, уже не так строго соблюдаются композиторами другой (взять хотя бы атональную музыку Шёнберга).
Безусловно у любой музыки есть форма, гармония, но и они имеют кучу вариаций. И как всё это заходить я пока что плохо понимаю. Буду изучать)
Если мы собираемся генерить музыку конкретного жанра, то да, в этом случае мы можем очень классно формализовать теорию, применимую к этому жанру и будет круто. Но что если хочется генерировать музыку разных жанров и разных эпох?
Да, и это как раз таки самое интересное, ибо здесь статистические методы могут быть потенциально лучше алгоритмических. Ваш путь вполне имеет право на существование и я не призываю идти иным, а лишь уточнить метод текстового описания дабы позволить реализовать потенциал GPT-2...
Ведь если внимательно приглядеться, мелодия похожа на речь, не только ритмически, но и структурно. Так что должно прокатить.
Идея интересна, однако соглашусь с@SADKO - надо дорабатывать с учетом теории музыки. Иначе какой смысл от сгенерированного "Турецкого рондо" Моцарта, да еще и с нарушением правил гармонии?
Как вариант, кстати, не замахиваться на полноценную генерацию мелодий, а сделать лишь конвертацию более современных произведений в стилистику того же Баха. Кстати, это примерно и происходит в примере с "В лесу родилась елочка", но только надо учесть ограничения, накладываемые теорией.
Отрицательный результат, тоже результат, "нарушение правил гармонии" намекает нам на то, что вместо "извлечения смысла", сеть именно переобучилась. Ну и в данном случае ИМХО очевидно почему оно так произошло и не получилось иначе.
Прелесть музыки, в отличии от прочих художеств в том, что она глубоко физиологична, и отражает сам процесс мышления. Здесь не получится задвинуть, я художник, я так вижу.
Ибо обыватель безо всякого сольфеджио прочухивает, что " в этом мотиве есть какая-то фальш "...
Добрый день! Занят почти параллельной тематикой. Есть бесплатные нотные библиотеки, думал как людям помочь петь по нотам. Делал караоке для детей. Скачал сделанное вами. Извините, не впечатлило. Ясно, что система подстроилась под размер, шаг изменения тона и другие индивидуальные параметры композитора, "что-то такое" выделила и, усилив это гипотезами нейросети, излила на бумагу.
База. Нужно больше статей по "нецелевому" использованию гпт. Статьи на тему "я сказал эдакое чатгпт и третий его ответ удивит вас" достали.
Генерация музыки с помощью GPT-2