lse算法公式
LSE(Least Square Estimation),也叫最小二乘估计。其公式如下:
L(w)=12∑i=1n(w⊤xi​−yi​)2=w⊤X⊤−Y⊤L(w) = \frac{1}{2} \sum_{i=1}^{n} (w^\top x_i - y_i)^2 = w^\top X^\top - Y^\topL(w)=21​i=1∑n​(w⊤xi​−yi​)2=w⊤X⊤−Y⊤
这里的12{\frac{1}{2}}21​是为了微分时消去不必要的参数。 例如当特征空间的维度大于样本数时,我们无法通过少量的样本来拟合出目标函数,这就会导致过拟合。
正则化最小二乘问题
此外,均方差损失函数(MSE)也称L2损失,其公式为:
S=∑i=1n(Yi​−f(xi​))2S = \sum_{i=1}^n (Y_i - f(x_i))^2S=i=1∑n​(Yi​−f(xi​))2
MSE是最常用的回归损失函数,是求预测值与真实值之间距离的平方和,其公式为:
MSE=∑i=1n(f(xi​)−Yi​)2nMSE = \frac{\sum_{i=1}^n (f(x_i) - Y_i)^2}{n}MSE=n∑i=1n​(f(xi​)−Yi​)2​
以上内容仅供参考,建议查阅统计学、计量经济学等专业书籍或咨询专业人士,以获取更准确的信息。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。