RBF（径向基）神经⽹络
  只要模型是⼀层⼀层的，并使⽤AD/BP算法，就能称作 BP神经⽹络。RBF 神经⽹络是其中⼀个特例。本⽂主要包括以下内容：
什么是径向基函数
RBF神经⽹络
RBF神经⽹络的学习问题
RBF神经⽹络与BP神经⽹络的区别
RBF神经⽹络与SVM的区别
为什么⾼斯核函数就是映射到⾼维区间
前馈⽹络、递归⽹络和反馈⽹络
完全内插法
⼀、什么是径向基函数
  1985年，Powell提出了多变量插值的径向基函数（RBF）⽅法。径向基函数是⼀个取值仅仅依赖于离原点距离的实值函数，也就是
Φ（x）=Φ(‖x‖)，或者还可以是到任意⼀点c的距离，c点称为中⼼点，也就是Φ（x，c）=Φ(‖x-c‖)。任意⼀个满⾜Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的⼀般使⽤欧⽒距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。最常⽤的径向基函数是⾼斯核函数 ，形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中x_c为核函数中⼼,σ为函数的宽度参数 , 控制了函数的径向作⽤范围。
⼆、RBF神经⽹络
  RBF神将⽹络是⼀种三层神经⽹络，其包括输⼊层、隐层、输出层。从输⼊空间到隐层空间的变换是⾮线性的，⽽从隐层空间到输出层空间变换是线性的。流图如下：
  RBF⽹络的基本思想是：⽤RBF作为隐单元的“基”构成隐含层空间，这样就可以将输⼊⽮量直接映射到隐空间，⽽不需要通过权连接。当RBF的中⼼点确定以后，这种映射关系也就确定了。⽽隐含层空间到输出空间的映射是线性的，即⽹络的输出是隐单元输出的线性加权和，此处的权即为⽹络可调参数。其
中，隐含层的作⽤是把向量从低维度的p映射到⾼维度的h，这样低维度线性不可分的情况到⾼维度就可以变得线性可分了，主要就是核函数的思想。这样，⽹络由输⼊到输出的映射是⾮线性的，⽽⽹络输出对可调参数⽽⾔却⼜是线性的。⽹络的权就可由线性⽅程组直接解出，从⽽⼤⼤加快学习速度并避免局部极⼩问题。
  径向基神经⽹络的激活函数可表⽰为：
  其中x p径向基神经⽹络的结构可得到⽹络的输出为：
  当然，采⽤最⼩⼆乘的损失函数表⽰：
三、RBF神经⽹络的学习问题
  求解的参数有3个：基函数的中⼼、⽅差以及隐含层到输出层的权值。
  （1）⾃组织选取中⼼学习⽅法：
  第⼀步：⽆监督学习过程，求解隐含层基函数的中⼼与⽅差
  第⼆步：有监督学习过程，求解隐含层到输出层之间的权值
  ⾸先，选取h个中⼼做k-means聚类，对于⾼斯核函数的径向基，⽅差由公式求解：
  c max为所选取中⼼点之间的最⼤距离。
  隐含层⾄输出层之间的神经元的连接权值可以⽤最⼩⼆乘法直接计算得到，即对损失函数求解关于w的偏导数，使其等于0，可以化简得到计算公式为：
  （2）直接计算法
  隐含层神经元的中⼼是随机地在输⼊样本中选取，且中⼼固定。⼀旦中⼼固定下来，隐含层神经元的输出便是已知的，这样的神经⽹络的连接权就可以通过求解线性⽅程组来确定。适⽤于样本数据的分布具有明显代表性。
  （3）有监督学习算法
  通过训练样本集来获得满⾜监督要求的⽹络中⼼和其他权重参数，经历⼀个误差修正学习的过程，与BP⽹络的学习原理⼀样，同样采⽤梯度下降法。因此RBF同样可以被当作BP神经⽹络的⼀种。
  参考：
四、RBF神经⽹络与BP神经⽹络之间的区别
  1、局部逼近与全局逼近：　
  BP神经⽹络的隐节点采⽤输⼊模式与权向量的内积作为激活函数的⾃变量，⽽激活函数采⽤Sigmoid函数。各调参数对BP⽹络的输出具有同等地位的影响，因此BP神经⽹络是对⾮线性映射的全局逼近。
  RBF神经⽹络的隐节点采⽤输⼊模式与中⼼向量的距离（如欧式距离）作为函数的⾃变量，并使⽤径向基函数（如Gaussian函数）作为激活函数。神经元的输⼊离径向基函数中⼼越远，神经元的激活程度
就越低（⾼斯函数）。RBF⽹络的输出与部分调参数有关，譬如，⼀个w ij值只影响⼀个y i的输出（参考上⾯第⼆章⽹络输出），RBF神经⽹络因此具有“局部映射”特性。
  所谓局部逼近是指⽬标函数的逼近仅仅根据查询点附近的数据。⽽事实上，对于径向基⽹络，通常使⽤的是⾼斯径向基函数，函数图象是两边衰减且径向对称的，当选取的中⼼与查询点（即输⼊数据）很接近的时候才对输⼊有真正的映射作⽤，若中⼼与查询点很远的时候，欧式距离太⼤的情况下，输出的结果趋于0，所以真正起作⽤的点还是与查询点很近的点，所以是局部逼近；⽽BP⽹络对⽬标函数的逼近跟所有数据都相关，⽽不仅仅来⾃查询点附近的数据。
  2、中间层数的区别
  BP神经⽹络可以有多个隐含层，但是RBF只有⼀个隐含层。
  3、训练速度的区别
  使⽤RBF的训练速度快，⼀⽅⾯是因为隐含层较少，另⼀⽅⾯，局部逼近可以简化计算量。对于⼀个输⼊x，只有部分神经元会有响应，其他的都近似为0，对应的w就不⽤调参了。
  4、Poggio和Girosi已经证明，RBF⽹络是连续函数的最佳逼近，⽽BP⽹络不是。
五、RBF神经⽹络与SVM的区别
  SVM等如果使⽤核函数的技巧的话，不太适应于⼤样本和⼤的特征数的情况，因此提出了RBF。
  另外，SVM中的⾼斯核函数可以看作与每⼀个输⼊点的距离，⽽RBF神经⽹络对输⼊点做了⼀个聚类。RBF神经⽹络⽤⾼斯核函数时，其数据中⼼C可以是训练样本中的抽样，此时与svm的⾼斯核函数是完全等价的，也可以是训练样本集的多个聚类中⼼，所以他们都是需要选择数据中⼼的，只不过SVM使⽤⾼斯核函数时，这⾥的数据中⼼都是训练样本本⾝⽽已。
六、为什么⾼斯核函数就是映射到⾼维空间
  ⾸先给出⾼斯核函数的定义公式：
  实际上，可以化简为：
  当然通过幂级数展开：
正则化目的  可以看到，其中X向量会⽣成类似多项式核展开的形式，譬如原来的参数有x1,x2。映射后，参数包含了x1*x1 ,x1*x2,x2*x2将原来2维映射到3维上了。
七、前馈⽹络、递归⽹络和反馈⽹络
  前馈⽹络⼀般指前馈神经⽹络或前馈型神经⽹络。它是⼀种最简单的神经⽹络，各神经元分层排列。每个神经元只与前⼀层的神经元相连。接收前⼀层的输出，并输出给下⼀层，各层间没有反馈。包括：BP神经⽹络、RBF神经⽹络等。
  递归神经⽹络（RNN）是两种⼈⼯神经⽹络的总称。⼀种是时间递归神经⽹络（recurrent neural network），⼜名循环神经⽹络，包括RNN、LSTM、GRU等；另⼀种是结构递归神经⽹络（recursive neural network）。
  反馈⽹络(Recurrent Network)，⼜称⾃联想记忆⽹络，其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。包括CHNN、DHNN等。
⼋、完全内插法　
  之所以RBF能够拟合任意函数，可以从内插法的⾓度去理解。要拟合⼀个曲线，我们可以通过内插法获得这个曲线的表达函数，譬如：多项式插值、拉格朗⽇插值等。RBF 插值是⼀系列精确插值⽅法的组合；即表⾯必须通过每⼀个测得的采样值。
  对于RBF插值，其特点即为，在输⼊数据集中，与中⼼点距离近的点对映射函数的贡献最⼤。 
  完全内插法即要求所有插值点都经过曲⾯，由于RBF内插对于每个x都有⽤到，所以是⼀种完全内插的形式，存在的问题就是当样本中包含噪声时，神经⽹络将拟合出⼀个错误的曲⾯，从⽽使泛化能⼒下降。另外，若样本x的数据远⼤于⾮线性函数φ，该求解变得不稳定，即为解超定⽅程。因此需要引⼊正则化⽅法，正则化的⽅法即通常加上正则化项。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。