Две модели лучше одной. Опыт Яндекс.Переводчика

Хорошие вопросы! Мы используем вариант Трансформера, но начинаем экспериментировать с другими архитекрурами.

Для перевода редких слов мы пока не пробовали перевод русский-русский, но звучит интересно. Правда, я не знаю, откуда берутся данные русский-русский.

И про Властелина Колец, это вполне возможно, что в наших обучающих данных находятся отрывки этого произведения опуликованные в интернете.