Для тех, кто хочет познакомиться с темой поближе, мы подготовили краткую подборку книг, которые рекомендуют эксперты отрасли и участники тематических ИТ-сообществ. В список попала работа автора языка для музыкального программирования и сборник заметок от инженера из Google.
Accompanying Website: Fundamentals of Music Processing
Книгу написал Мейнард Мюллер — один из ведущих сотрудников интернациональной акустической лаборатории AudioLabs — научного комплекса в Германии, где уже тридцать лет проводят исследования мультимедийных технологий.
Автор разбирает алгоритмы и методологии MIR на примере конкретных задач, связанных с поиском музыкальной информации. Например, в сети можно найти демо-главу, посвященную анализу Фурье, с помощью которого определяют, какие именно компоненты частот присутствуют в той или иной музыкальной ноте и как с их помощью ресинтезировать звук. В конце каждого тематического блока Мюллер приводит ссылки на научную литературу для дополнительного чтения.
Вся работа построена по «модульному принципу», где каждая глава представляет собой обособленный материал. Так, читатель может самостоятельно выбрать, с какого момента начать изучение и углубиться в конкретную тему. Однако стоит отметить, что книга подойдет лишь тем, кто уже немного знаком со сферой MIR и имеет определенный математический бэкграунд. По словам читателей, автор не предоставил расшифровку большинства обозначений и терминов, из-за чего в материале может быть сложно ориентироваться новичкам.
Musimathics: The Mathematical Foundations of Music
Автором этой книги выступил музыкант и программист Гарет Лой, который за свою карьеру успел поработать в Apple и Центре компьютерных исследований в музыке и акустике при Стэнфордском университете — CCRMA, где в 1977 году разработал синтезатор Samson Box, способный обрабатывать акустические сигналы на лету. На тот момент он поддерживал работу с 256 осцилляторами и считался одним из первых специализированных устройств такого класса. Помимо этого, Гарет выпустил фреймворк для музыкального программирования Musimat, принцип действия которого и описал в «Musimathics: The Mathematical Foundations of Music».
Помимо темы музыкального программирования, публикация затрагивает и базовую теорию MIR. Автор простым языком объясняет, чем так похожи математика и сочинение музыки, затрагивает вопросы композиции и психофизики звука. Во втором томе своей книги Гарет разбирает основы цифрового аудио и дискретизации.
Несмотря на то факт, что первое издание вышло еще в 2011 году, материал остается актуальным до сих пор. Для тех, кто незнаком с обработкой сигналов и поиском музыкальной информации, книга послужит отличной точкой входа. Специалисты, работающие в этих областях, могут использовать её как настольный справочник.
Notes on Music Information Retrieval
Это — электронный сборник заметок инженера Стива Тоя из Googlе, которые он сделал за время разработки семинара по теме поиска музыкальной информации для CCRMA при Стэнфордском университете. Вся фактура разбита на одиннадцать глав, посвященных таким темам, как анализ сигналов, извлечение признаков, работа с ритмом и темпом, музыкальная синхронизация и др.
Материал наполнен большим количеством видео- и аудиопримеров. Также на сайте можно найти кусочки кода на Python, иллюстрирующие решение той или иной задачи MIR. Например, автор достаточно подробно разбирает вопрос факторизации неотрицательной матрицы (этот тип разложения используют в рекомендательных системах) и метод k-средних для кластеризации (нужен в машинном обучении). На первый взгляд может показаться, что заметки Стива Тоя сможет понять лишь профессионал, однако с материалом вполне могут работать и те, кто только начинает разбираться в сфере, связанной с поиском музыкальной информации.
Больше книжных подборок в нашем «Мире Hi-Fi»:
Наши подборки аудиогаджетов на Хабре:
Как выглядят доступные проигрыватели винила — пять «вертушек»
Пять экспертных обзоров аудиотехники — от «затычек» до «напольников»
Что там в «Мире Hi-Fi» — колонки, «вертушки» и lossless-дорожки в видео
Специалисты, занимающиеся поиском музыкальной информации [music information retrieval, MIR], разрабатывают алгоритмы машинного обучения для выявления паттернов и зависимостей в композициях. Лучшие практики этого направления сегодня используют стриминговые платформы для классификации музыки — например, распознают плагиат. Однако MIR — достаточно новое направление, и оно лишь начинает закрепляться в виде полноценной научной дисциплины.
