Comments 1
TransformerFam от Google и другие попытки улучить память LLM
Это баг или фича?
Вполне ожидаемая тенденция развития архитектуры связанное с внедрением рекуррентности. Это может не только улучшить память, но и вычислительные способности. Такие гибридные архитектуры смогут расширить процедурные навыки, например, математические. Вместо тупого запоминания результатов арифметических операций из обучающей выборки и их аппроксимации, как сейчас, обучаться циклическим процедурам их проведения для любых чисел, как это делает человек.
Спасибо за обзор!
+1
Sign up to leave a comment.
TransformerFam от Google и другие попытки улучшить память LLM