Comments 3
Благодарю за статью, а за чек лист обработки текста особенно (взял для себя кое что, оказывается не все делал). Вопрос собственно, не очень понял роль 3090, судя по тексту вся работа исполнялась на CPU? И еще по карте, как вела себя память на стороне бекплейта? Мне пришлось делать доп охлад иначе если не ограничивать термопакет, карта долго не работала, крашилась от перегрева.
Для машинного обучения использовалась видеокарта 3090 Ti. Одна эпоха занимала около 3 дней при использовании модели xlm-roberta-base и около 5 дней при xlm-roberta-large.
Для обработки и очистки датасета использовался процессор. Также при прогоне текста через Named Entity Recognition (NER) с помощью библиотеки SpaCy вычисления выполнялись на процессоре.
В процессе работы компьютер периодически крашился, и приходилось запускать эпоху обучения заново. На вид казалось, что система уходит в сон и перестает реагировать. Если подобное происходило часто, то чистил компьютер, снимал боковую крышку корпуса и устанавливал напольный вентилятор, направляя поток воздуха на системный блок.
Дописал в статье, что для машинного обучения использовалась видеокарта.
Обучить модель RoBERTa расстановке запятых на балконе для продакшена