Реставрируем музыку дома или как маленькая нейронка способна конкурировать с платными технологиями

[ArkadiyMak]

Модель справится с совсем сильно убитыми записями? К примеру, есть дубляж Honneamise no Tsubasa от Первого канала. Скорее всего, мультфильм был записан с эфира на видеокассету, потом как-то оцифрован, в результате от звука осталось около 4кГц, выше только шум и артефакты. Apollo и OpenVINO Super Resolution из Audacity вообще не справляются, звук еще хуже становится, даже если предварительно удалить шум.

[CatWithBlueHat]

Можно взять несколько десятков часов современной озвучки на русском, прогнать их через фильтры (сделать максимально похожими на то, что есть в дубляже Honneamise) и на этом обучать ИИ. Так что думаю - возможно, особенно если шумы почистить (они сильно забивают)

Могу попробовать, но в следующем отпуске )

[Blackbird_shadow]

насчет убитых записей это вы еще записи группы "санкт-петербург" 1972-1973их годов не слышали - там записывали на бельевую веревку походу а не на пленку . Вот их бы восстановить - это не какие то верха генерить

[CatWithBlueHat]

Эх, я бы так ранние песни Егора Летова послушал

[iShrimp]

В demo_restored, как мне субъективно показалось, не до конца устранено "целлофановое" звучание верхов из mp3 на первых секундах. Но тем не менее, крутая идея и реализация!

Если ваша нейросеть сможет улучшать всякие редкие, любительские записи на телефоны/диктофоны/мыльницы с диапазоном до 8 кГц и шумами, то она сможет стать весьма востребованным продуктом среди коллекционеров таких записей.

Интересно, какой процент аудитории вообще способен заметить разницу в звучании на 16-18 кГц и выше. Я этот диапазон хотя еле-еле слышу, но артефакты сжатия mp3 ощущаю хорошо.

PS: исправьте, пожалуйста, ссылки на аудиофайлы в статье.

[Mike-M]

Полез адверсариально аудитить собственный пайплайн

Похоже, английский язык в школе надо сделать обязательным вторым языком. Причем с упором на транслитерацию )

Послушать можно прямо сейчас (фрагмент трека Artificial.Music - «Gold», CC-BY): вход mp3-128k → восстановление → lossless-оригинал.

Как всё-таки хорошо быть глухим немолодым 🙃 Вообще не заметил разницы между этими тремя треками (Samsung Buds2 Pro).

У меня другая задача. Есть коллекция из 1000+ mp3 треков. Звучание примерно 100 треков мне нравится. Нужно чтобы перед воспроизведением каждого из оставшихся 900 треков плеер подстраивал настройки эквалайзера под звучание той самой сотни треков.

Если такого плеера еще не изобрели, подойдет предварительная обработка всех треков в пакетном режиме с помощью какого-нибудь AI, по аналогии с тем, как это описано в статье.

Дело в том, что треки были записаны в разное время, на разных студиях, разными звукооператорами, с разным качеством оцифровки и т.д.
В результате где-то (почти) не слышно звука "с", где-то наоборот явно требуется de-esser, где-то режут слух форманты женского вокала, где-то долбит по ушам "бочка" и т.п.

Может ли кто-нибудь подсказать решение?

[Paul_Ross]

В iZotope RX есть плагин EQ match , а также пакетная обработка , если дело только в эквалайзере , то можно снять с самой любимой записи слепок частот и спокойно пакетно обработать этим слепком эквалайзера нужные аудиозаписи.

https://youtu.be/0Um7qkHd-2w

Но боюсь, что дело не только в эквалайзере.

[Mike-M]

Похоже, то что нужно. Спасибо огромное!

[Radisto]

Срез верхних не повлияет - выше 16кГц вы и в детстве-то вряд ли слышали, а сейчас тем более нет. Это порезало что-то ниже (или психосоматика)