Комментарии 5
Для интересующихся публикация на arxiv: Infinity-former: Infinite memory transformer
Спасибо за статью! А можно ссылку на оригинальный пейпер или его название?
Да уж... Вышло максимально хардкорно - что есть то есть.
Липкие памяти? Серьезно? Блин, sticky memories - это желтенькие бумажки, напоминалки, который на монитор клеят!
Функцией ядра вы я так понимаю radial basis functions (RBFs) назвали?
Тот случай, когда лучше оригинальный текст через гугл транслейт переводить, чем так.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Infinityformer: новый подход к обработке длинных последовательностей большими языковыми моделями