Ваш первый BERT: иллюстрированное руководство

Не вижу приведенных фрагментов в оригинальной статье. Пришлите пожалуйста ссылку.

Использование нейронных сетей для поиска ответов в таблицах

Нет, как и любая модель машинного обучения, TAPAS обладает свойством генерализации, т.е. обучается находить паттерны. Хотя все зависит от данных обучения как обычно.

REALM — интеграция извлеченной информации в модели языковых представлений

Да, меня тоже текущие результаты пока смущают. Но подход выглядит вполне разумным, нужно будет понаблюдать за его развитием.

Более эффективное предварительное обучение NLP моделей с ELECTRA

Как и другие языковые модели, заменив у них голову под классификацию. Для этого существует множество библиотек, например, transformers, simple-transformers. Вот примеры решения задачи классификации:
github.com/ThilinaRajapakse/simpletransformers/tree/master/examples/text_classification

Переосмысление механизма внимания с Performers

Авторы в данной статье на этом не акцентировали внимание. Более подробно про внимание с ReLU можно прочитать в исходной работе:

arxiv.org/abs/2009.14794

GPT-3 в картинках: краткий обзор

Вероятно не отображаются картинки, которые располагаются на сайте автора оригинальной статьи. Они весят много, так что загрузить их на Habrastorage не получилось.

GPT-3 в картинках: краткий обзор

Какие конкретно картинки недоступны? У меня все отображается.

Ваш первый BERT: иллюстрированное руководство

Нет. Можно использовать и CPU, просто обучаться будет намного дольше.

GPT-2 в картинках (визуализация языковых моделей Трансформера)

Смотря какой язык. Думаю с основными европейскими (не русский) и китайским проблем не должно быть.

Transformer в картинках

Следующая статья на подходе — про BERT.

Что будет, если ускориться в полтора раза?

Пытаюсь постепенно дойти до скорости x3, пока остановился на x2.7. Но удобство восприятия зачастую зависит от свойств речи на записи — некоторые разговаривают так, что и на x1 их не всегда просто понять.