Устранение дисбаланса классов в PyTorch с помощью WeightedRandomSampler

[fiksii]

А теперь такой вопрос. Что эффективнее: увеличить количество батчей в эпохе (путем увеличения num_samples) или увеличить количество эпох (не меняя num_samples)?

[wl2776]

Я думаю, если нет LR-scheduler-a, который вызывается по окончании эпохи, то эффект будет примерно одинаковый.

Всё зависит от деталей задачи, конечно, от пропорций классов, от архитектуры сети...

[wl2776]

А если Вы про показ всех данных за первую эпоху, то я пробовал разные множители у num_samples: x2, x3, до х10. Всех данных семплер не выбрал даже при х10

[fiksii]

Я думаю, что множество эпох - лучше, т.к. early stopping не даст переобучиться

[wl2776]

Вполне возможно. Опять же, всё зависит от деталей.

Если валидация (и следующее за ней решение об остановке или продолжении обучения) выполняется не в конце эпохи, а через каждые n вызовов optimizer.step(), то понятие эпохи нам вообще не нужно.