岭回归矩阵形式
岭回归是回归方法的一种，属于统计方法，也被称为 Tikhonov 正则化。岭回归主要解决的问题是：当预测变量的数量超过观测变量的数量，以及数据集之间具有多重共线性时。
岭回归的矩阵形式如下：
其中，$x$是预测变量，$y$是观测变量，$\beta_j$和$\beta_0$是待求的参数。而$\beta_0$可以理解成偏差（$Bias$）。
一般情况下，使用最小二乘法求解上述回归问题的目标是最小化如下的式子：
$min\sum_{i=1}^{N}(y_i-x_i^T\beta)^2$
岭回归要在上述最小化目标中加上一个惩罚项$\lambda\sum_{j=1}^{p}\beta_j^2$，其中$\lambda$也是待求参数。也就是说，岭回归是带二范数惩罚的最小二乘回归。岭回归的这种估计目标叫做收缩估计器（shrinkage estimator）。
传统的回归分析需要使用t 检验来确定预测变量是否显著，如果不显著则剔除该预测变量，然
正则化的回归分析后继续回归，如此往复得到最终结果。而岭回归不需要这样，只要它的系数$\beta$能向零“收缩”即可减小该变量对最终的影响。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。