Как плеер угадывает тональность трека: 12 чисел и одна корреляция

[des_ex]

благодарю за качественное рассуждение -- не думал ранее что всё сводится к анализу числа корреляции и что так вообще можно посчитать

[voldemar_d]

Ответ на мой вопрос оказался куда интереснее, чем я ожидал, спасибо!

Барабаны, перегруженные гитары и шум добавляют энергию на всех частотах. Обертоны тоже путают: у ноты до третья гармоника звучит как соль. Поэтому я режу диапазон до 80–5000 Гц, но это полумера.

Наверное, нейросети выделяют только мелодию без ударных, а уже её анализируют?

[AstolfoOwO]

Да, они сначала разводят по разным каналам. Нейросети (например, архитектуры на базе U-Net или Transformers) видят спектрограмму целиком во времени. Они понимают математическую взаимосвязь между основным тоном и обертонами конкретного инструмента и умеют отделять "родные" гармоники гитары от других нот.