Transformer в картинках

[SergKSV]

Отличная статья, анимаций бы побольше. Складывается хорошая серия статей. Поддерживаю продолжение

[Kouki_RUS]

Следующая статья на подходе — про BERT.

[AnatolyBelov]

Спасибо за статью )

[Nashev]

Всё написанное очень похоже на рецепт волшебного зелья, где подробно написано в каком порядке и с какими заклинаниями и пассами класть какие ингредиенты, иногда добавлено, какой эффект даст, но оставлен открытым главный вопрос - почему это вообще работает?!

[Timbalut]

люди и сейчас думают, зачем это все работает)

[supremum76]

После объяснения энкодеров автор устал описывать формулы :)
Матричная математика понятна, а слова только путают ибо математика однозначна, а слова это лирика.

Позиционное кодирование пока загадка.

Как я понял, энкодеры читают текст окном в некоторое количество токенов (размер контекста). Декодеры же принимают векторы от энкедеров по одному и одновременно читают свой предыдущий выход в рамках размера окна (размер контекста). Все, что вышло за окно контекста, трансформер забывает.