范数正则化
范数正则化是一种常用的正则化方法，它通过限制参数的范数来防止过拟合。范数是指向量或矩阵的长度或大小，用于度量向量的变化程度。在机器学习中，范数正则化通常包括L1正则化和L2正则化。
L1正则化，也称为Lasso回归，其损失函数为：
L1 = 损失函数 + λ∑|w|
其中，w是网络中需要训练的参数，λ是超参数，需要人为指定。L1正则化的特点是使用绝对值来约束参数，导致参数在0点不可微分，这种情况下参数很有可能最终被约束为0。
正则化的具体做法L2正则化，也称为Ridge回归（岭回归），其损失函数为：
L2 = 损失函数 + λ∑w²
L2正则化中，参数的限制空间与参数优化空间的交点在参数0点的概率很低。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。