Как стать автором
Обновить
48
0
Сергей Шкарин @Kouki_RUS

ML Engineer

Не вижу приведенных фрагментов в оригинальной статье. Пришлите пожалуйста ссылку.

Нет, как и любая модель машинного обучения, TAPAS обладает свойством генерализации, т.е. обучается находить паттерны. Хотя все зависит от данных обучения как обычно.

Да, меня тоже текущие результаты пока смущают. Но подход выглядит вполне разумным, нужно будет понаблюдать за его развитием.

Как и другие языковые модели, заменив у них голову под классификацию. Для этого существует множество библиотек, например, transformers, simple-transformers. Вот примеры решения задачи классификации:
github.com/ThilinaRajapakse/simpletransformers/tree/master/examples/text_classification
Авторы в данной статье на этом не акцентировали внимание. Более подробно про внимание с ReLU можно прочитать в исходной работе:

arxiv.org/abs/2009.14794
Вероятно не отображаются картинки, которые располагаются на сайте автора оригинальной статьи. Они весят много, так что загрузить их на Habrastorage не получилось.
Какие конкретно картинки недоступны? У меня все отображается.
Нет. Можно использовать и CPU, просто обучаться будет намного дольше.
Смотря какой язык. Думаю с основными европейскими (не русский) и китайским проблем не должно быть.
Следующая статья на подходе — про BERT.
Пытаюсь постепенно дойти до скорости x3, пока остановился на x2.7. Но удобство восприятия зачастую зависит от свойств речи на записи — некоторые разговаривают так, что и на x1 их не всегда просто понять.

Информация

В рейтинге
Не участвует
Дата рождения
Зарегистрирован
Активность

Специализация

ML Engineer
Senior
От 500 000 ₽
SQL
Python
Git
Linux
Pytorch
Natural language processing
Machine learning
Neural networks