BERT для классификации русскоязычных текстов

[debagger]

Привет, спасибо за статью! У меня вопрос - а как сохранять результат обучения?

[kitaisky]

Это просто команда торча: torch.save(model, model_save_path)

[gika_djan]

Буквально на прошлой недели адаптировал вашу модель для задачи Named Entity Recognition
Для подобной задачи всё же слишком «маленькая» модель. Недостаточно информации, к сожалению.
Однако скорость сильно порадовала, конечно (1.6s на эпоху вместо 10s)

[kitaisky]

Увы - это не моя модель. Но именно этот маленький русский берт отлично заходит на моих задачках классификации. Ну и скорость конечно тоже отменная)

[cointegrated]

Модель моя, и обучал я её конкретно под sequence classification, поэтому под token classification она ожидаемо так себе.

Но маленький BERT для token classification тоже на очереди на создание)

[zodder]

Спасибо за подробное описание решения.

А если требуется сделать классификацию не на две категории, а на 150, например, - что потребуется изменить?