为什么正则化能减少模型过拟合程度
如何才能直观解释正则化减少过拟合的原理？
（1）过拟合
以下图为例。High Bias（高偏差）就是欠拟合，High Variance（高方差）就是过拟合。
为了将过拟合的模型变为正好（Just Right），从图中直观上来看，只需要减小高次项的权重。
这就是降低过拟合的直观理解。从数学上，我们用正则化来降低模型的过拟合程度。
（2）正则化
简单来说，所谓正则化，就是在原Cost Fucntion上添加正则化项（如下图）。
正则化项能减少模型的非线性程度，从而降低模型的过拟合。从图中来看，正则化项能将过拟合的模型（蓝）变为Just Right的模型（粉红）。正则化是解决过拟合问题吗
（3）为什么正则化有效？
分情况讨论
∙A. 对于线性模型，其添加了正则化项的Cost Function如下图。
直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，非线性程度自然就降低了。
∙B. 对于神经网络，其激活函数（以tanh为例）如下图
直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，激活函数输出z变小。z变小，就到了激活函数的线性区域，从而降低了模型的非线性化程度。
参考
Andrew NG的视频

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。