数据预处理中归⼀化(Normalization)与损失函数中正则化
(Regularizat。。。
背景:数据挖掘/机器学习中的术语较多,⽽且我的知识有限。之前⼀直疑惑正则这个概念。所以写了篇博⽂梳理下
摘要:
1.正则化(Regularization)
1.1 正则化的⽬的
1.2 结构风险最⼩化(SRM)理论
1.3 L1范数(lasso),L2范数(ridge),ElasticNet
1.4为什么说L1是稀疏的,L2是平滑的?
2.归⼀化(Normalization)
2.1归⼀化的⽬的
2.1归⼀化计算⽅法
2.2.spark ml中的归⼀化
2.3 python中skelearn中的归⼀化
知识总结:
1.正则化(Regularization)
1.1 正则化的⽬的:我的理解就是平衡训练误差与模型复杂度的⼀种⽅式,通过加⼊正则项来避免过拟合(over-fitting)。(可以引⼊拟合时候的龙格现象,然后引⼊正则化及正则化的选取,待添加)
1.2 结构风险最⼩化(SRM)理论:
经验风险最⼩化 + 正则化项 = 结构风险最⼩化
经验风险最⼩化(ERM),是为了让拟合的误差⾜够⼩,即:对训练数据的预测误差很⼩。但是,我们学习得到的模型,当然是希望对未知数据有很好的预测能⼒(泛化能⼒),这样才更有意义。当拟合的误差⾜够⼩的时候,可能是模型参数较多,模型⽐较复杂,此时模型的泛化能⼒⼀般。于是,我们增
加⼀个正则化项,它是⼀个正的常数乘以模型复杂度的函数,aJ(f),a>=0 ⽤于调整ERM与模型复杂度的关系。结构风险最⼩化(SRM),相当于是要求拟合的误差⾜够⼩,同时模型不要太复杂(正则化项的极⼩化),这样得到的模型具有较强的泛化能⼒。
下⾯是来⾃的例⼦
优化如下定义的加了正则项(也叫惩罚项)的损失函数:
后⾯的
如果绘图表⽰就是这样:
上图的 lambda = 0表⽰未做正则化,模型过于复杂(存在过拟合)
上图的 lambda = 1 添加了正则项,模型复杂度降低
1.3 正则化的L1,L2范数
L1正则化(lasso):
,其中C0是代价函数,是L1正则项,lambda是正则化参数
L2正则化(ridge):(待添加:权值衰减引⼊)
,其中是L2正则项,lambda是正则化参数
ElasticNet 正则化:
L1与L2以及ElasticNet 正则化的⽐较:
1.L1会趋向于产⽣少量的特征,⽽其他的特征都是0,⽽L2会选择更多的特征,这些特征都会接近于0。
2.Lasso在特征选择时候⾮常有⽤,⽽Ridge就只是⼀种规则化⽽已。
3.ElasticNet 吸收了两者的优点,当有多个相关的特征时,Lasso 会随机挑选他们其中的⼀个,⽽ElasticNet则会选择两个;并且ElasticNet 继承 Ridge 的稳定性.
深⼊:
总结:结构风险最⼩化是⼀种模型选择的策略,通过加⼊正则项以平衡模型复杂度和经验误差;更直观的解释——正则项就是模型参数向量(w)的范数,⼀般有L1,L2两种常⽤的范数。
1.4为什么说L1是稀疏的,L2是平滑的?
L1 Regularizer
L1 Regularizer是⽤w的⼀范数来算,该形式是凸函数,但不是处处可微分的,所以它的最佳化问题会相对难解⼀些。
L1 Regularizer的最佳解常常出现在顶点上(顶点上的w只有很少的元素是⾮零的,所以也被称为稀疏解sparse solution),这样在计算过程中会⽐较快。
L2 Regularizer
L2 Regularizer是凸函数,平滑可微分,所以其最佳化问题是好求解的。
参考链接:中的Lp球
2.归⼀化(Normalization)
2.1归⼀化的⽬的:
1)归⼀化后加快了梯度下降求最优解的速度;
2)归⼀化有可能提⾼精度。
2.2归⼀化计算⽅法
公式:
对于⼤于1的整数p, Lp norm = sum(|vector|^p)(1/p)
2.3.spark ml中的归⼀化
构造⽅法:
/docs/2.0.0/api/scala/index.html#org.apache.spark.mllib.feature.Normalizer
newNormalizer(p: Double) ,其中p就是计算公式中的向量绝对值的幂指数
可以使⽤transform⽅法对Vector类型或者RDD[Vector]类型的数据进⾏正则化
下⾯举⼀个简单的例⼦:
scala> import org.apache.spark.mllib.linalg.{Vector, Vectors}
scala> val dv: Vector = Vectors.dense(3.0,4.0)
dv: org.apache.spark.mllib.linalg.Vector = [3.0,4.0]
scala> val l2 = new Normalizer(2)
scala> l2.transform(dv)
res8: org.apache.spark.mllib.linalg.Vector = [0.6,0.8]
truncated normal distribution 或者直接使⽤Vertors的norm⽅法:val norms = data.(_, 2.0))
2.4 python中skelearn中的归⼀化
from sklearn.preprocessing import Normalizer
#归⼀化,返回值为归⼀化后的数据
Normalizer().fit_transform(iris.data)
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论