过拟合与⽋拟合
1. 过拟合
过拟合是指在模型的训练阶段过分拟合训练数据的特征，模型的训练数据上具有较⼩的误差。数据中的噪声也有可能被模型所学习，使得模型的泛化性能较差。
通常导致过拟合产⽣的原因包括：
(1). ⽬标函数中没有相应的正则化项作为惩罚项, 常⽤的正则化项包括L1和L2，其中L1约束能够学习出稀疏的模型从⽽能够达到特征选择的效果；对于L2约束则使得模型在各特征上的参数都⽐较⼩，控制每个特征对模型预测结果的影响，在⼀定程度上减少异常值（噪声）对模型性能的影响，提⾼模型的泛化性能；
正则化和泛化(2). 模型训练迭代次数过多，导致训练误差越来越⼩，模型对训练数据的拟合程度过⾼⽽泛化性能下降，可以适当减少训练次数；
(3). 训练数据太少，模型容易达到对训练数据的最佳拟合，可以适当增加训练数据的数量(源头采集新数据，⽣成新数据，重采样技术)；
(4). 数据维度过⾼，模型太过复杂，可以利⽤降维技术减少数据维度；
(5). 等等。
2. ⽋拟合
⽋拟合与过拟合相反，它是指模型对训练数据的描述能⼒较差，训练误差⼤。
⽋拟合产⽣的原因包括：
(1). 数据维度过低，可以通过特征组合得到更多的新特征；
(2). 正则化项的惩罚因⼦过⼤，适当降低惩罚因⼦的⼤⼩；
(3). 训练次数太少，⽬标函数尚未收敛；
(4). 等等。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。