Часть 4: Mamba — State Space Models vs трансформеры

[ioleynikov]

Очень интересно. Из математического анализа известно, что представление произвольной функции линейными составляющими дает только первое приближение и не может обеспечить заданную точность. Именно по этому все ряды Тейлора, Фурье и нейронные сети неизбежно содержат нелинейные компоненты. Как точно представить сложную функцию линейной комбинацией мне трудно понять. Вполне возможно, что для длинных хвостов истории последовательностей вполне достаточно начальных, линейных приближений но это все надо точно проверят.