Обучение модели естественного языка с BERT и Tensorflow

Опубликованная модель похожа на одну из моделей, применяемых в Салюте.

Обучение модели естественного языка с BERT и Tensorflow

1. Сравнивали, на наших задачах SBERT оказался сильнее RuBERT. В ближайшее время мы опубликуем результаты модели SBERT на Russian SuperGLUE.
2. В состав обучающих данных вошли вошли Taiga, Lenta, OpenSubtitles, Wiki и несколько больших проприетарных датасетов, всего более 16 млрд токенов.
3. Ванильный
4. Нет
5. Сперва неделя претрейна на 32 V100 [Кристофари], затем 50 часов тюнинга на 16 V100 [DGX-2]
6. Собирали словарь и тренировали модель с нуля

Deep Learning: Сравнение фреймворков для символьного глубокого обучения

Не соглашусь с утверждением об отсутствии поддержки пред-обученных моделей в tensorflow. Есть даже полный аналог ModelZoo, найти его можно в официальном репозитории. Другое дело, что обученные модели на tensorflow в открытом доступе можно встретить нечасто.