python实现⼏种归⼀化⽅法(NormalizationMethod)
数据归⼀化问题是数据挖掘中特征向量表达时的重要问题,当不同的特征成列在⼀起的时候,由于特征本⾝表达⽅式的原因⽽导致在绝对数值上的⼩数据被⼤数据“吃掉”的情况,这个时候我们需要做的就是对抽取出来的features vector进⾏归⼀化处理,以保证每个特征被分类器平等对待。下⾯我描述⼏种常见的Normalization Method,并提供相应的python实现(其实很简单):
1、(0,1)标准化:
这是最简单也是最容易想到的⽅法,通过遍历feature vector⾥的每⼀个数据,将Max和Min的记录下来,并通过Max-Min作为基数(即Min=0,Max=1)进⾏数据的归⼀化处理:
LaTex:{x}_{normalization}=\frac{x-Min}{Max-Min}
Python实现:
def MaxMinNormalization(x,Max,Min):
x = (x - Min) / (Max - Min);
return x;
⼤⼩的⽅法直接⽤np.max()和np.min()就⾏了,尽量不要⽤python内建的max()和min(),除⾮你喜欢⽤List管理数字。
2、Z-score标准化:
这种⽅法给予原始数据的均值(mean)和标准差(standard deviation)进⾏数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,这⾥的关键在于复合标准正态分布,个⼈认为在⼀定程度上改变了特征的分布,关于使⽤经验上欢迎讨论,我对这种标准化不是⾮常地熟悉,转化函数为:
LaTex:{x}_{normalization}=\frac{x-\mu }{\sigma }
Python实现:正则化 归一化
def Z_ScoreNormalization(x,mu,sigma):
x = (x - mu) / sigma;
return x;
这⾥⼀样,mu(即均值)⽤np.average(),sigma(即标准差)⽤np.std()即可。
3、Sigmoid函数
Sigmoid函数是⼀个具有S形曲线的函数,是良好的阈值函数,在(0, 0.5)处中⼼对称,在(0, 0.5)附近有⽐较⼤的斜率,⽽当数据趋向于正⽆穷和负⽆穷的时候,映射出来的值就会⽆限趋向于1和0,是个⼈⾮常喜欢的“归⼀化⽅法”,之所以打引号是因为我觉得Sigmoid函数在阈值分割上也有很不错的表现,根据公式的改变,就可以改变分割阈值,这⾥作为归⼀化⽅法,我们只考虑(0, 0.5)作为分割阈值的点的情况:
LaTex:{x}_{normalization}=\frac{1}{1+{e}^{-x}}
Python实现:
def sigmoid(X,useStatus):
if useStatus:
return 1.0 / (1 + np.exp(-float(X)));
else:
return float(X);
这⾥useStatus管理是否使⽤sigmoid的状态,⽅便调试使⽤。
以上就是本⽂的全部内容,希望对⼤家的学习有所帮助,也希望⼤家多多⽀持。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论