DDSP от Google работает так же — сеть правит residual. Полифонический синт с NPU на чипе в реальном времени — не встречал. Кремний свежий, STM32N6 — первый MCU с нормальным NPU внутри. До него полифоническую сеть в реальном времени просто некуда было засунуть на одном кристалле. Может где-то что-то и есть, но я не нашёл.
Вкратце суть такая: скелет — честный аддитив: гармоники + шум, играет с клавиатуры. Сам по себе звучит как приставка из девяностых. Резонаторов и ресинтеза нет. Сеть вообще не генерирует звук — она учит разницу между скелетом и учителем, записью с характером. И добавляет эту разницу к живому звуку. То есть «пукнул в микрофон» это будет учитель и пукнуть нужно много раз, чтобы собрать датасет)) Сеть запоминает не звук, а характер: передув на атаке, пердеж на затухании. Дальше любая нота с клавы: высота и полифония твои, окрас — учительский. Сменил учителя и характер сменился целиком, конструкция прежняя. Neuron — да, духовный предок. Разница одна: там звук берётся из базы, здесь рождается живьём из игры, сеть только докладывает то, что детерминированная часть не смогла.
DDSP от Google работает так же — сеть правит residual. Полифонический синт с NPU на чипе в реальном времени — не встречал. Кремний свежий, STM32N6 — первый MCU с нормальным NPU внутри. До него полифоническую сеть в реальном времени просто некуда было засунуть на одном кристалле. Может где-то что-то и есть, но я не нашёл.
Вкратце суть такая: скелет — честный аддитив: гармоники + шум, играет с клавиатуры. Сам по себе звучит как приставка из девяностых. Резонаторов и ресинтеза нет. Сеть вообще не генерирует звук — она учит разницу между скелетом и учителем, записью с характером. И добавляет эту разницу к живому звуку. То есть «пукнул в микрофон» это будет учитель и пукнуть нужно много раз, чтобы собрать датасет)) Сеть запоминает не звук, а характер: передув на атаке, пердеж на затухании. Дальше любая нота с клавы: высота и полифония твои, окрас — учительский. Сменил учителя и характер сменился целиком, конструкция прежняя. Neuron — да, духовный предок. Разница одна: там звук берётся из базы, здесь рождается живьём из игры, сеть только докладывает то, что детерминированная часть не смогла.
Что-то в районе 6ти недель