Представлена ИИ-модель, вдохновлённая нейронными колебаниями в мозге человека

[proxy3d]

Вот про SSM не понял. В статье написано, что они плохо обучаются - это так. Но выше это та же SSM, только измененная немного.  LinOSS так и расшифровывается Linear Oscillatory State-Space models.

Вообще хорошо бы прилагать ссылку на саму работы https://openreview.net/pdf?id=GRMfXcAAFh
и на GitHub чтобы не искать: https://github.com/tk-rusch/linoss/tree/main

Если я правильно понимаю, то в оригинальной SSM матрица состояния инициализируется методов типа HiPPO. Где ее значения вещественные и отрицательные.

А вот у Oscillatory SSM матрица состояния A — это комплексные числа с ненулевой мнимой частью. Это позволяет модели генерировать осцилляции (например, синусоиды). Амплитуда осцилляций контролируется вещественной частью, а частота — мнимой частью.

В частности приводится пример, на задаче PPG-DaLiA (предсказание пульса по данным с датчиков) LinOSS-IM показал MSE = 6.4×10⁻² , что в 2 раза лучше Mamba и LRU. Это связано с тем, что пульс человека — периодический сигнал , который LinOSS эффективно моделирует.

Собственно у них там 3-и доработки (модели):

S5 : Как пружина, которая быстро затухает.

LinOSS-IM : Как маятник, который колеблется, но со временем останавливается.

LinOSS-IMEX : Как маятник без трения — колебания продолжаются бесконечно.

Вот на LLM было бы интересно проверить, так как у текста тоже должна быть периодичность (на основе дыхательных циклов).