Transformer — новая архитектура нейросетей для работы с последовательностями

[roryorangepants]

Ссылка на архив, кажется, неправильная. Оригинальная статья тут.

[sim0nsays]

Ай-ай, действительно. Спасибо!

[RomanL]

А я правильно понимаю что использование сетей с вниманием в применении к тексту можно считать, по сути, некоторым развитием базовых алгоритмов типа tf-idf? Ну то есть могут решаться похожие задачи выделения контекста.

[sim0nsays]

Я не вижу прямой аналогии, если честно. Задачи решаются похожие, контекст конечно участвует, есть векторное представление, но методы очень разные.

[JDTamerlan]

Вы очень хорошо выделяете и объясняете основные аспекты — мало текста, много смысла. Спасибо за информацию!

[dlazerka]

Про Recursive Cortical Networks будет?

[sim0nsays]

Что это такое? :)