Как стать автором
Обновить

Комментарии 10

правильнее это назвать генератор рандомных мелодий. картинку вы используете для получения шума который подаете на генератор музыки.

настоящий же генератор музыки из картинки будет работать по другому, сначала по всему изображению отпределяется общая тема (мелодия или бит), потом как взгляд следует по ярким пятнам изображения так и генератор проходит по ним, определяет сюжет и создает музыку. внимание медленно движется по каринке, постепенно углубляется во второстепенные области, это создает сюжет мелодии.

на практике это будет делаться нерйосетями, нужен большой датасет картинок и примеров мелодий подходящих под данный сюжет. естественнно все это ОЧЕНЬ субъективно. так что простор для творчества также огромный...

Настоящий генератор музыка из картинок работает проще - распознает изображение нотной партитуры, и проигрывает получившийся миди файл.

В более продвинутых версиях можно добавить распознавание не только нот, но и табулатур. Сначала современных гитарных. Потом старинных - реннесансных табулатур, барочных, германских, французских, итальянских и английских систем. Потом добавить индийские, китайский и арабские. Что ещё можно? Табулатуры для укулеле, для флейты, для губной гармошки, просто для гармошки. Работы непочатый край!

Вашу идею автор тоже оценил и сказал, что было бы здорово обучить ИИ считывать партитуру, скажем, произведений Баха и оценивать отличие композиции, интонировки, контрапункта и т.п. между разным инструментами (например, отличие композиции для органа от композиции для лютни или скрипки). Было бы круто научить ИИ сочинять музыку под конкретные инструменты. Здесь действительно огромное поле для экспериментов.

riky, очень интересный комментарий! Благодарим за идею! Завтра передам автору оригинала обязательно.

Я передал ваш комментарий автору. Он выразил признательность и поделился ссылкой на приложение одного из его читателей (https://boredhumans.com/text-to-image.php). Это приложение базово создавалось для конвертации текста в изображения и было расширено для последующей конвертации полученных изображений уже в музыку при помощи кода из программы автора.

Что касается лично вашего комментария, то он высоко оценил высказанную вами идею и выразил согласие с тем, что использование ИИ было бы отличным подходом. Правда тут, по его словам, сложность в том, что модель в результате обучения может получиться излишне ограниченной в плане трактовки определенных деталей изображений. К примеру, она будет ассоциировать облака исключительно с мягкими/спокойными мелодиями. Хотя тут, как он говорит, нужно пробовать...

С пиксельной графикой получилось интереснее всего, на мой взгляд ;) Идея трансформации картинки в аудио звучит как кодирование текста в картинку, когда позиция символа в Unicode используется как hue цвета, в который кодируется символ. Тут вы применяете, по сути такую же аналогию. И с интервалами задумка очень интересная!

Давно вынашивал похожую идею, но пошёл другим путём. Синтезировал не мелодию. а звук — по образу и подобию проигрывателя грампластинок, только траектория иглы могла быть произвольной. И даже что-то интересное получалось. Другое направление, которое до практики ещё не добралось — через непрерывное вейвлет-преобразование с кастомными вейвлетами, настроенных на отдельные ноты (что-то близко похожее).

Помню, такую музыку я генерировал еще когда загружал с аудиокассеты заставки к играм на ZX Spectrum)
Но кому-то идея пришла еще раньше: https://ru.wikipedia.org/wiki/АНС_(синтезатор)
Есть и программка, чтобы поиграться: https://warmplace.ru/soft/ans/index_ru.php

  1. У меня сложилось впечатление, что на выходе получилось гораздо примитивнее, чем на входе. Чуть лучше чем азбука морзе.

  2. Как это использовать? Конвертировать музыку в картинки и обратно?

Зарегистрируйтесь на Хабре , чтобы оставить комментарий