В этом разделе мы будем реализовывать (слегка измененную версию) модели Transformer из статьи Attention is All You Need. Подобно свёрточной модели Sequence-to-Sequence, Transformer не использует никакой рекуррентности. Он также не использует свёрточные слои. Вместо этого модель полностью состоит из линейных слоев, механизмов внимания и нормализации.