TransformerFam от Google и другие попытки улучшить память LLM

[phenik]

TransformerFam от Google и другие попытки улучить память LLM

Это баг или фича?

Вполне ожидаемая тенденция развития архитектуры связанное с внедрением рекуррентности. Это может не только улучшить память, но и вычислительные способности. Такие гибридные архитектуры смогут расширить процедурные навыки, например, математические. Вместо тупого запоминания результатов арифметических операций из обучающей выборки и их аппроксимации, как сейчас, обучаться циклическим процедурам их проведения для любых чисел, как это делает человек.

Спасибо за обзор!