batch normalization的原理和作用
1.原理：
Batch Normalization（简称BN）技术是2015年由Sergey Ioffe及Christian Szegedy团队提出，通过在每一层神经网络中加入Batch Normalization层，使输入到该层的小批次的数据在训练前进行标准化，以达到以下几个目的：
1）提升模型的收敛速度： Batch normalization可以减少因某些节点输出变化大而导致的梯度消失或爆炸
2）提高模型的精度： Batch normalization减轻了对参数初始值的依赖，使得深度网络更容易训练，从而提高准确率。
3）防止过拟合： Batch normalization可以抑制过拟合，增强泛化能力。
BN 层即将激活函数的前一层做一个归一化，将这里的输入数据按批次归一化成0均值单位方差的数据，即保证每一层的输入的数据的分布满足均值为0、方差为1的正态分布。BN中的γ和β正则化目的
分别为BN层的缩放和平移参数，其目的是能够使每层输出输出和初始输入有更广泛的变化范围。
2.作用：
batch normalization（BN）有助于加速模型的训练，降低模型的训练过程受初始权重影响的程度，使模型更稳定，更有效地收敛，从而提高模型的泛化能力。另外BN还具有一定的正则化作用，能够防止模型过拟合。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。