Переосмысление механизма внимания с Performers

[DaniyarM]

А что за внимание с ReLU? Показано, что оно лучше, но не слова о том, что это.

[Kouki_RUS]

Авторы в данной статье на этом не акцентировали внимание. Более подробно про внимание с ReLU можно прочитать в исходной работе:

arxiv.org/abs/2009.14794