Tymbal — нейросинтезатор на одном чипе

[Kitten_seya]

Сколько времени в итоге ушло на весь проект от идеи до первого рабочего звука? 

[Michael_KS]

Что-то в районе 6ти недель

[blacksnowdub]

можно вкратце концентрированную суть без углубления в такты, биты и байты?

допустим, «пукнул в микрофон» -- сеть обучилась и потом играешь любым звуком с окрасом и амплитудой пердежа? или что здесь происходит? ресинтез? резонаторы?

синтез понимаю на прикладном уровне, add, sub, fm, wavetable, без погружения в железную реализацию. пробел есть по PD

при прочтении где-то пролетали мысли об AAS Cromaphone, Object delay и древний малоизвестный NeuronVS

в нейроне под крышкой тупо мать стояла c Intel Celeron, на ней крутился линукс, а на линуксе уже сам нейрон. и это в 2003 году. они потом в вст его перевели, и вроде там ещё нюк был, джойстик для управления вст

статью честно три раза прочёл за два дня, но материал сложный

[sim2q]

последний абзац:
make play
build/host_play
=> build/play.wav

[Michael_KS]

Вкратце суть такая: скелет — честный аддитив: гармоники + шум, играет с клавиатуры. Сам по себе звучит как приставка из девяностых. Резонаторов и ресинтеза нет. Сеть вообще не генерирует звук — она учит разницу между скелетом и учителем, записью с характером. И добавляет эту разницу к живому звуку. То есть «пукнул в микрофон» это будет учитель и пукнуть нужно много раз, чтобы собрать датасет)) Сеть запоминает не звук, а характер: передув на атаке, пердеж на затухании. Дальше любая нота с клавы: высота и полифония твои, окрас — учительский. Сменил учителя и характер сменился целиком, конструкция прежняя. Neuron — да, духовный предок. Разница одна: там звук берётся из базы, здесь рождается живьём из игры, сеть только докладывает то, что детерминированная часть не смогла.

[blacksnowdub]

отлично, то есть я почти был близок к пониманию, а теперь полностью понятно, спасибо.

у нейрона ещё был моделмейкер, но очевидно, что усреднённый дата сет лучше, чем одиночный файл для построения модели

я не особо сча слежу за всякими NAMM и прочее, но кажется, сейчас у твоего устройства нет железных аналогов?

[Michael_KS]

DDSP от Google работает так же — сеть правит residual. Полифонический синт с NPU на чипе в реальном времени — не встречал. Кремний свежий, STM32N6 — первый MCU с нормальным NPU внутри. До него полифоническую сеть в реальном времени просто некуда было засунуть на одном кристалле. Может где-то что-то и есть, но я не нашёл.

[blacksnowdub]

я впечатлён. работа, достойная оффера в какой-то валдорф, сидел бы там на фпга им клепал бы прототипы.