Как стать автором
Обновить

Поиск талантов на Youtube методом акустического анализа

Время на прочтение 2 мин
Количество просмотров 1.8K
Облачный музыкальный сервис Google Music был представлен публике во время майской конференции Google I/O 2011. К сожалению, он доступен только с территории США, хотя наши люди успешно ходят на сайт через прокси и даже нашли способ установить клиент под Android.

С момента анонса сервис заметно оброс функционалом, причём некоторые фичи можно назвать уникальными. В июне заработал плейлист-генератор Instant Mix (разработка Google Research), который дополняет ваш список воспроизведения новыми композициями того же стиля, путём анализа акустических свойств песни: ритма, тональности и инструментальной окраски треков, а также акустических характеристик вокала. Instant Mix — ключевой элемент музыкального сервиса Google.

Чтобы оценить качество работы Instant Mix (и проверить честную работу акустического анализа), можно посмотреть на то, какие треки он подбирает для двух песен с совершенно разным настроением, одной и той же группы U2.

Вот выбор алгоритма для весёлой песенки Mysterious Ways.

1. U2 «Mysterious Ways»
2. David Bowie «Fame»
3. Oingo Boingo «Gratitude»
4. Infectious Grooves “Spreck”
5. Red Hot Chili Peppers “Special Secret Song Inside”

(послушать)


А вот выбор для песни MLK c нежным вокалом и совершенно другим набором инструментов.

1. U2 «MLK»
2. Jewel “Don’t”
3. Antony and the Johnsons “What Can I Do?”
4. The Beatles “And I Love Her”
5. Van Morrison “Crazy Love”

(послушать)


Представители Google Research изначально заявляли, что их цель — не популяризация модных групп, а выбор песен из «длинного хвоста», то есть малоизвестных команд. Главное — качество музыки, ведь акустический анализ работает с объективными физическими характеристиками и не обращает внимание на бренды. Плейлист-генератор Instant Mix умеет обучаться и изучать музыкальные предпочтения пользователя.

И вот разработчики сделали следующий логический шаг и применили технологию акустического анализа и машинного обучения ко всей выборке музыкальных клипов на Youtube с целью попробовать выявить потенциальные «хиты» среди новых, никому не известных исполнителей.

Первым делом они с помощью известных технологий распознавания образов выбрали только те видеоролики, которые снимались в домашних условиях, то есть домашнее видео. Это было сделать несложно: температура цвета, средний или крупный план человека на протяжении всего ролика (в кадре голова и плечи), зафиксированная позиция камеры.



А затем начиналось самое интересное — применялся акустический анализ, аналогичный тому, что используется в Instant Mix. К нему добавили движок распознавания минимального количества оценок пользователей (для самообучения) — и через какое-то время технология смогла самостоятельно оценивать качество видео, предугадывая оценку среднего пользователя. Фактически, разработчики получили настоящую технологию раннего распознавания хитов, которые нравятся массовой аудитории. Возможно, с его помощью можно будет отыскивать в огромном количестве любительских видеозаписей выступления потенциальных звёзд — и получится такая «Фабрика звёзд» в исполнении компьютерного алгоритма.

Чтобы извлечь какую-то пользу из созданной технологии, разработчики запустили видеоигру Youtube Slam, куда попадают отобранные алгоритмом «лучшие» из домашних видеозаписей, а все пользователи могут голосовать за них. За несколько недель игры уже обнаружено несколько вполне интересных музыкантов. У некоторых из этих видеороликов было менее 100 просмотров, когда алгоритм их выбрал.













via Research Blog
Теги:
Хабы:
+21
Комментарии 21
Комментарии Комментарии 21

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн
PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн