正则化和归⼀化
正则化，归⼀化（标准化和正规化）：对数据进⾏预处理的两种⽅式，⽬的是让数据更便于计算和获得更加泛化的结果，但并不改变问题的本质。
正则化：要求⼀个逻辑回归问题，假设⼀个函数，覆盖所有可能：y=wx，其中w为参数向量，x为已知样本的向量，⽤yi表⽰第i个样本的真实值，⽤f(xi)表⽰样本的预测值，从⽽确定损失函数L(yi,f(xi))=yi−sigmoid(xi)。该损失函数代表⼀种误差。对于该模型y=wx的所有样本的损失平均值，我们称为经验损失（empirical loss）。
  显然，经验损失（或称经验风险）最⼩化（empirical risk minimization）就是求解最优模型的原则。为了达到这个⽬的，模型的设定会越来越复杂，最后可能造成模型只适⽤于当前的样本集，即出现过拟合（over fitting）问题。
  λ=0代表不进⾏正则化；=1通常代表合适的惩罚；举个例⼦=100的时候，会因为过度惩罚⽽造成“⽋拟合”问题正则化的具体做法
归⼀化：主要看模型是否具有伸缩不变性。有些模型在各个维度进⾏不均匀伸缩后，最优解和原来不等价，例如SVM。
    对于这样的模型，除⾮本来各维数据的分布范围就⽐较接近，否则必须进⾏标准化，以免模型参数被分布范围较⼤或较⼩的数据⽀配。
    有些模型在各个维度进⾏不均匀伸缩后，最优解和原来等价，例如logistic regression（逻辑回归）。
    对于这样的模型，是否标准化理论上不会改变最优解。但是，由于实际求解往往使⽤迭代算法，如果⽬标函数的形状太扁，迭代算法可能收敛得很慢甚⾄不收敛。所以对于具有伸缩不变性的模型，最好也进⾏数据标准化。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。