Смотрели итоги прошедшего ICLR? Меня заинтересовала довольно провокационная статья от Эплов — ParaRNN. Казалось бы, параллельность РНН — это их главный недостаток, благодаря которому их заменили трансформеры (в большинстве задач).