正则化方法求解最小二乘解
最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线对高维空间的点拟合超平面。考虑超定方程其中b为数据向量，A为m*n数据矩阵并且m>n,假定数据向量存在误差和观测值无关，即b=b,+e为了抑制误差对矩阵方程求解的影响，引入一校正向量△b用它去”扰动“有误差数据向量b，使校正项尽可能小，同时通过强合Ax=b +△b补偿存在与数据向量b中的不确定性(噪声或者误差)使得b+△b=bo+e+△b→b,从而实现Ax=b +△b→Ax=bo 的转换使校正向量尽可能小，则可以实现无误差的矩阵Ax=b。 的求解矩阵方程的这一求解思想可以用下面的优化问题进行描述d0min|Obl|l2 = ||Ax-b||2 = (Ax -b)T(Ax -b)这个方法就称之为最小二乘法ordinary least squares OLS)
正则化的具体做法

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。