Допустим, мы обучаем классификатор при помощи обучения с учителем и уже применили к датасету различные методы для уменьшения переобучения. Как можно улучшить модель или цикл обучения, чтобы добиться еще более заметного эффекта?
Наиболее эффективные методы борьбы с переобучением включают в себя различные техники регуляризации, такие как Dropout и сокращение весов. Как правило, модели с большим количеством параметров требуют больше тренировочных данных для успешного обобщения. Поэтому иногда уменьшение размера модели может помочь снизить степень переобучения. Наконец, одним из самых действенных способов борьбы с переобучением является создание ансамблей моделей. Однако этот метод иногда связан с повышенными вычислительными затратами.
В этой главе мы обсудим ключевые идеи и методы, которые помогают снизить переобучение при помощи модификации моделей, и сравним их между собой. В заключение мы обсудим, как выбрать между различными техниками уменьшения переобучения, включая те, о которых мы говорили в предыдущей главе.
