Эта тема хорошо раскрыта в документальном мультфильме Рик и Морти! Предположу, что где-то по пути редактирования материала мысль плавно превратилась в утверждение. Если что Владимиру Владимировичу можно будет задать вопрос на вебинаре, а пока попросили у него уточнения - сразу обновим, как ответит.
Это мнение конкретного человека, который при выборе пойти на год махать лопатой или клацать по кнопкам выбрал клацать по кнопкам и рассказывает как это было. Я не вижу в тексте призывов всем срочно бросать свои дела и переезжать в РБ служить в ИТ роте. Есть такой феномен. Есть наш сотрудник, который поделился своим опытом. Для кого-то это ужасно, а для кого-то это возможность. Все зависит от контекста. Размышляйте, пожалуйста, самостоятельно. А то у вас Будда вышел из дворца, посмотрел на мир и расстроился. Ну, простите, что потревожили.
Одно из определений слова рутина вот такое: Консервативный распорядок и метод работы, рабское следование заведённому шаблону, превратившееся в механическую привычку. Я имел в виду, что насколько мне казалось, подобная работа для рентгенологов это интересный квест, а не "рабское следование заведённому шаблону".
Я бы спросил у рентгенологов. Насколько я слышал - это по крайней мере раньше считалось задачей нетривиальной, требующей насмотренности и профессионализма. А вот написание отчета об по гос. шаблону, протоколы осмотра в котором из 100 слов нужно вставить 3 важных, действительно несущих смысл - вот это рутина.
Думаю, что все возможно, но как я к сожалению не разбирался. Эксперименты, изучение кода и вопросы в гугл группе :) Буду очень признателен, если потом расскажете что получилось.
Если вы про MusicVAE — то разрезать на отдельные инструменты не стоит. Смысл именно в том, что сеть учится на последовательности сочетаний звучания всех инструментов одновременно. Если вы ей накидаете отдельных дорожек с басом — она нагенерит вам потом басовых соло. Я не разобрался до конца как в точности работает пайплайн, но по типам инструменты они отличают когда midi парсят. Т.е. что гитара, а что барабаны понимают и не путают.
1. По идее да. Увеличение лернинг рейт позволит быстрее (за меньшее количество эпох) прийти к точке схождения, но результат может быть менее точным, больше шансов ускакать в локальный минимум, т.к. там что-то типа градиентного спуска.
С batch size тоже да, судя по:
For example, if the default batch size of a config is too large for your GPU, you can reduce the batch size and learning rate by setting the flag as follows:
--hparams=batch_size=32,learning_rate=0.0005
Как уменьшение пакета дает ускорение не совсем понимаю, в моем понимании все равно весь тренинг сет должен быть пройден, но вот…
2. Я вполне уложился в бесплатное время с 1 GPU штук 10 полноценных обучений. А там что-то типа 300 баксов бесплатно. Главное не забывать останавливать и отключать не используемые машины (я забывал). Если политика Google позволяет, может быть можно просто завести еще один аккаунт для таких тестовых проектов.
3. Не видел упоминаний, т.е. скорее нет. Хотя по идее это же все на TensorFlow. TensorFlow TPU поддерживает, но возможно для этого придется разбираться в коде Magenta и что-то править. Для увлеченных натур.
4. Да, это что-то копипастнулось. Параметр возьмется только один, последний.
5. Размером энкодера, поищите там в коде строчку. Как это влияет на результат — неизвестно. В моем случае я особой разницы не заметил.
6. Да, нормально, данных не так много оптимизация скачет.
7. Да автоматом начинает с последнего сохраненного чекпоинта
А на hdd осталось место? У меня часто именно оно заканчивалось и вылетало, когда система пытается сохранить очередной чекпоинт они до 1gb примерно разрастались насколько я помню. ОЗУ на виртуалке было 8гб вроде. 1 GPU проц. Без GPU будет увы долго-долго считать, сотни эпох будет сутки считать, даже на небольшом датасете, а еще периодически будет что-то падать, вам точно захочется поиграть с параметрами и разными наборами данных.
Ну я собственно о том, что дополнительная информация может как раз помочь отличить гитару от баса, возможно это не принципиально, я могу только предположить как работает Мелодин. Востребованность этой информации зависит от алгоритма. Равно как и информация о цвете в зависимости от алгоритма (дальтоники вот не отличают — не совершенный алгоритм) может иметь значение, я к этому
Тут и с цветом все не так просто — черный на зеленом распознает каждый человек, а красный вот уже нет. С mp3 — сведенный трек рок группы может иметь синтезаторы, гитары, бас, голос, и все это звучит на пересекающихся частотах. Думаю, что информация об обертонах совсем не помешает чтобы всю эту кашу разгрести, а mp3 не линейно выбрасывает часть частот при том может и основных, просто если они не слышны большинством слушателей, при чем это все от фрейма к фрейму еще меняется. Не знаю какие там алгоритмы распознавания используются, но думаю что уменьшение исходных данных имеет значение
Melodyne — отличный продукт для записи в студии, он отлично работает с одним голосом, неплохо работает на отдельно звучащей гитаре с аккордами, но он значительно хуже справится с несколькими инструментами звучащими одновременно. Ну, а с mp3 все еще сложнее, т.к. сжатие увы с потерями.
Да, вы правы, velocity MuisicVAE похоже игнорирует. Они затачивали свою сеть под обучение на 200к midi файлов самых разных стилей, предположу, что при таком объеме еще один параметр существенно усложнил бы обсчет. Судя по комментарию ниже, новый формат MPE даст в этом плане еще больше возможностей. Гугловским видеокартам будет чем заняться.
Насчет сотрудничества – инструменты beat blender и latent loop мне из-за этого и приглянулись.
Про MPE не знал, спасибо! Посмотрел вот тут www.midi.org/articles-old/midi-polyphonic-expression-mpe – видео выглядят очень прилично! Осталось дождаться широкого распространения формата в редакторах, контроллерах и синтах и будет на чем учить нейросети с развитым чувством прекрасного. Интересно было бы почитать поподробнее. Да и Music Memos кстати тоже вполне в своих рамках!
С длительностью думаю примерно понятно, с каналом — это видимо о том, что у каждого инструмента свой канал, звучит аккорд, а вот с ускорением — не совсем уловил?
Эта тема хорошо раскрыта в документальном мультфильме Рик и Морти! Предположу, что где-то по пути редактирования материала мысль плавно превратилась в утверждение. Если что Владимиру Владимировичу можно будет задать вопрос на вебинаре, а пока попросили у него уточнения - сразу обновим, как ответит.
Это мнение конкретного человека, который при выборе пойти на год махать лопатой или клацать по кнопкам выбрал клацать по кнопкам и рассказывает как это было. Я не вижу в тексте призывов всем срочно бросать свои дела и переезжать в РБ служить в ИТ роте. Есть такой феномен. Есть наш сотрудник, который поделился своим опытом. Для кого-то это ужасно, а для кого-то это возможность. Все зависит от контекста. Размышляйте, пожалуйста, самостоятельно. А то у вас Будда вышел из дворца, посмотрел на мир и расстроился. Ну, простите, что потревожили.
Одно из определений слова рутина вот такое: Консервативный распорядок и метод работы, рабское следование заведённому шаблону, превратившееся в механическую привычку. Я имел в виду, что насколько мне казалось, подобная работа для рентгенологов это интересный квест, а не "рабское следование заведённому шаблону".
Я бы спросил у рентгенологов. Насколько я слышал - это по крайней мере раньше считалось задачей нетривиальной, требующей насмотренности и профессионализма. А вот написание отчета об по гос. шаблону, протоколы осмотра в котором из 100 слов нужно вставить 3 важных, действительно несущих смысл - вот это рутина.
Не могли бы вы рассказать немного подробнее как вы пришли к таким выводам? Это какие-то эмпирические данные?
С нуля до работающего веб сервиса?
С batch size тоже да, судя по:
For example, if the default batch size of a config is too large for your GPU, you can reduce the batch size and learning rate by setting the flag as follows:
--hparams=batch_size=32,learning_rate=0.0005
Как уменьшение пакета дает ускорение не совсем понимаю, в моем понимании все равно весь тренинг сет должен быть пройден, но вот…
2. Я вполне уложился в бесплатное время с 1 GPU штук 10 полноценных обучений. А там что-то типа 300 баксов бесплатно. Главное не забывать останавливать и отключать не используемые машины (я забывал). Если политика Google позволяет, может быть можно просто завести еще один аккаунт для таких тестовых проектов.
3. Не видел упоминаний, т.е. скорее нет. Хотя по идее это же все на TensorFlow. TensorFlow TPU поддерживает, но возможно для этого придется разбираться в коде Magenta и что-то править. Для увлеченных натур.
4. Да, это что-то копипастнулось. Параметр возьмется только один, последний.
5. Размером энкодера, поищите там в коде строчку. Как это влияет на результат — неизвестно. В моем случае я особой разницы не заметил.
6. Да, нормально, данных не так много оптимизация скачет.
7. Да автоматом начинает с последнего сохраненного чекпоинта
github.com/tensorflow/magenta/tree/master/magenta/models/music_vae
Про MPE не знал, спасибо! Посмотрел вот тут www.midi.org/articles-old/midi-polyphonic-expression-mpe – видео выглядят очень прилично! Осталось дождаться широкого распространения формата в редакторах, контроллерах и синтах и будет на чем учить нейросети с развитым чувством прекрасного. Интересно было бы почитать поподробнее. Да и Music Memos кстати тоже вполне в своих рамках!