❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_19

? Как работает Batch Normalization в PyTorch ? (Часть_2)

1. Масштабирование и сдвиг: После центрирования и масштабирования активаций, они масштабируются путем умножения на масштабирующий (scaling) коэффициент и сдвигаются путем добавления смещающего (shifting) коэффициента. Эти коэффициенты являются обучаемыми параметрами и оптимизируются вместе с другими параметрами модели.

2. Вывод активаций: Нормализованные и сдвинутые активации передаются на вход следующего слоя нейронной сети.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);