weight_decay（权重衰减）
权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使得学习的模型参数值较⼩，是常⽤的过拟合的常⽤⼿段
L2范数正则化是在模型原损失函数基础上添加L2范数惩罚项，其中L2范数惩罚项指的是模型权重参数每个元素的平⽅和与⼀个正的常数的乘积。⽐如，对于线性回归损失函数：
ι(w1,w2,b)=1
2(x(i)
正则化权重1
w1+x(i)2w2+b−y(i))2
其中w1,w2为权重参数，样本数为n, 将权重参数⽤向量w=[w1,w2]表⽰，带有L2范数惩罚项的新的损失函数为
ι(w1,w2,b)+λ
2n‖w‖2
上式中L2范数的‖w‖2展开后得到w21+w22
¯
r a+∑b∈N sim(a,b)∗(r a,b−
¯
r
b
)∑b∈N sim(a,b)
Processing math: 100%

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。