正则化——线性回归线性回归的代价函数正则化后为
J(θ)=
1
2m
m
∑
i=1hθx(i)−y(i)2+λ
n
∑
j=1θ2j
此时梯度下降算法重复{
θ0:=θ0−α1
m
m
∑
i=1hθx(i)−y(i)x(i)0
θj:=θj−α1
m
m
∑
i=1hθx(i)−y(i)x(i)j+
λ
mθ
j(j=1,2,...,n)
}
此时normal equation为
θ=X T X+λ0000
0100 ....
0001
−1
X T y
可以证明，正则化后括号⾥⾯的矩阵是可逆的
[(())]
正则化是解决过拟合问题吗
[(())] [(())]
([])
Processing math: 100%

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。