Pull to refresh
7
0,2
Rating
1
Subscribers
Send message

Устранение дисбаланса классов в PyTorch с помощью WeightedRandomSampler

Level of difficultyEasy
Reading time15 min
Reach and readers10K

Как известно, если в наборе данных для обучения классификатора разные классы представлены в разном объёме, это может привести к ухудшению качества результата.

Одним из методов борьбы с дисбалансом классов является оверсемплинг, т.е. демонстрация классификатору в процессе обучения редких классов с повышенной частотой. В исследовании 2017 года авторы утверждают, что из всех испробованных ими методов овесемплинг показал лучший результат и не привёл к переобучению классификаторов на основе свёрточных нейронных сетей.

Класс WeightedRandomSampler в PyTorch позволяет гибко настраивать оверсемплинг и избавляет от излишнего копирования данных внутри датасета.

Разбираемся, как он работает

Information

Rating
3,073-rd
Registered
Activity