Упадок RNN и LSTM сетей

[x67]

>просто посмотрите, что сети на основе Attention используют такие компании как Гугл, Фэйсбук, Сэйлфорс

Так, это что за космополитан? Я не за модой следить сюда захожу

[Axe357]

это перевод обзорной статьи. Автор вероятно имел цель сместить фокус зрения читателя с сетей использующие LSTM или RNN слои к другим вариантам, например свёрточным. Которые в настоящий момент более эффективно выполняют схожие задачи и поэтому применяются IT лидерами.

[UlanMAM]

Модели на внимании, которые должны заметно побивать RNN и LSTM на их задачах, для обучения требуют очень большого количества данных и времени на обучение.Под GPT3 аж специальную инфраструктуру пришлось выстраивать. Так что в полной мере их использовать могут только эти Гугл, Фейсбук и Сэйлфорс.