最⼩⼆乘矩阵推导
转载请注明出处
最⼩⼆乘是机器学习中常⽤的⽅法，⽐如线性回归。本⽂⾸先简单介绍⼀下过程中⽤到的线性代数知识，然后介绍最⼩⼆乘的矩阵推导。
定义矩阵A, 变量x, 变量b
\frac{\partial x^{T}a}{\partial x}=a
\frac{\partial x^{T}Ax}{\partial x}=Ax+A^{T}x
如果A是对称的，则有
Ax+A^{T}x=2Ax
最⼩⼆乘的⽬标是:
\min \limits_{x{\in}R} (||Ax-b||_{2})^{2}　
这个问题的本质是多变量的的⼆次优化问题。很容易想到的是对变量进⾏求导。
展开
(||Ax-b||_{2})^{2} = (Ax-b)^{T}(Ax-b)
正则化的最小二乘法曲线拟合python=x^{T}A^{T}Ax-b^{T}Ax-x^{T}A^{T}b+b^{T}b
因此有
\frac{\partial (||Ax-b||_{2})^{2}}{\partial x}~=~2A^{T}Ax-2A^{T}b，
最后得到
x=(A^{T}A)^{-1}A^{T}b
针对线性回归来讲，直接利⽤最⼩⼆乘，没有考虑参数正则化，可能会产⽣过拟合。可以对参数x正则化处理，⼀范式正则化为lasso，⼆范式正则化为岭回归。
Processing math: 0%

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。