-----------------------------------Docin Choose -----------------------------------豆 丁 推 荐
↓
精 品 文 档
The Best Literature----------------------------------The Best Literature
文章编号：１００７－７２９４（２００７）０１－０１３６－０７
基于Ｌ－Ｍ贝叶斯正则化方法的
ＢＰ神经网络在潜艇声纳部位
自噪声预报中的应用
吴方良，石仲堃，杨向晖，王建
（华中科技大学交通学院，武汉４３００７４）
摘要：基于Ｌ－Ｍ贝叶斯正则化方法使ＢＰ神经网络在推广能力、收敛速度和逼近精度上能够获得很大的
提高。文中将ＢＰ神经网络和Ｌ－Ｍ贝叶斯正则化算法相结合用于潜艇声纳部位自噪声预报。分析了影响声纳部位自噪声的各种参数。利用潜艇声纳实测数据进行网络训练，训练好的神经网络可以对潜艇声纳部位自噪声进行精确预报。
关键词：声纳自噪声；ＢＰ神经网络；贝叶斯正则化
中图分类号：文献标识码：Ａ
Ｓｕｂｍａｒｉｎｅｓｏｎａｒｓｅｌｆ－ｎｏｉｓｅｆｏｒｅｃａｓｔｂａｓｅｏｎＢＰ
ｎｅｕｒａｌｎｅｔｗｏｒｋａｎｄＬ－ＭＢａｙｅｓｉａｎ
Ｒｅｇｕｌａｒｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ
ＷＵＦａｎｇ－ｌｉａｎｇ，ＳＨＩＺｈｏｎｇ－ｋｕｎ，ＹＡＮＧＸｉａｎｇ－ｈｕｉ，ＷＡＮＧＪｉａｎ（ＣｏｌｌｅｇｅｏｆＴｒａｆｆｉｃＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｌ－Ｍ（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｔ）ＢａｙｅｓｉａｎＲｅｇｕｌ
ａｒｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｃｏｍｂｉｎｅｄｗｉｔｈＢａｃｋ－Ｐｒｏｐａｇａ－ｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｃｏｎｄｕｃｅｔｏｂｅｔｔｅｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｎｄｆａｓｔｅｒｓｐｅｅｄｏｆｃｏｎｖｅｒｇｅｎｃｅ，ａｎｄｈｉｇｈｅｒｌｅａｒｎｉｎｇａｃｃｕｒａｃｙｃａｎｂｅａｃｑｕｉｒｅｄｗｈｅｎｍｕｌｔｉｐｌｅｐａｒａｍｅｔｅｒｓａｎｄｌａｒｇｅｐａｔｔｅｒｎｓａｒｅｉｎｐｕｔｔｅｄ．Ｉｎｔｈｉｓｐａｐｅｒ，ＢａｙｅｓｉａｎＲｅｇｕｌａｒｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍａｎｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｗｅｒｅｃｏｍｂｉｎｅｄｔｏｆｏｒｅｃａｓｔｓｕｂｍａｒｉｎｅｓｏｎａｒｓｅｌｆ－ｎｏｉｓｅ．Ａｌｌｋｉｎｄｓｏｆｐａｒａｍｅｔｅｒｓｔｈａｔｈａｖｅｆｕｎｃｔｉｏｎｔｏｓｕｂｍａｒｉｎｅｓｏｎａｒｓｅｌｆ－ｎｏｉｓｅｗｅｒｅａｎａｌｙｚｅｄ．Ａｃｔｕａｌｄａｔａｗｅｒｅｕｔｉ－ｌｉｚｅｄｔｏｔｒａｉｎＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｔｈａｔｃａｎｂｅｕｓｅｄｔｏａｃｃｕｒａｔｅｌｙｆｏｒｅｃａｓｔｓｕｂｍａｒｉｎｅｓｏｎａｒｓｅｌｆ－ｎｏｉｓｅ．
Ｋｅｙｗｏｒｄｓ：ｓｏｎａｒｓｅｌｆ－ｎｏｉｓｅ；ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ；ＢａｙｅｓｉａｎＲｅｇｕｌａｒｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓ
１前言
潜艇声纳部位自噪声是指安装在潜艇声纳平台区的水听器接收到的噪声。声纳的被动探测距离除受目标
及介质因素影响之外，主要受本身自噪音的影响。降低自噪声可以提高声纳的检测能力，增大声纳的作用距离，因此降低声纳部位自噪声具有隐蔽自己和先敌发现的双重意义。声纳部位自噪声的预报除了定量地估算自噪声的量级大小以外，还有深一层的意义，就是通过预报掌握不同噪声源对自噪声贡献的大小，确定控制自噪声的措施及其量化的技术指标。
收稿日期：２００６－０４－０６
作者简介：吴方良（１９７５－），男，华中科技大学交通学院博士研究生。
寻求满足工程精度要求的潜艇自噪声新预报方法，是潜艇声隐身研究中的一个重要问题。本文将应用ＢＰ神经网络技术寻求潜艇声纳部位自噪声预报方法，神经网络理论的最大优点是可以不问函数的具体性质，只要有足够的训练样本，就可以通过数学逼近映射实现以任意精度逼近任意函数。在当前还不能用理论和数值方法准确预报潜艇自噪声情况下，可以运用声纳实测数据进行神经网络训练，建立一种具有足够工程精度的潜艇噪声预报方法。至于训练样本，各类潜艇已积累了许多实测数据资料，加以分类整理，可以获得足够的训练样本。
本文应用Ｌ－Ｍ贝叶斯正则化算法改进ＢＰ算法，分析影响声纳部位自噪声的各种参数，建立自噪声预报的关联方程，通过整理大量的实艇测试数据，对神经网络进行训练。训练好的神经网络能够迅速而精确地对潜艇各种航行状态的自噪声进行预报。
２贝叶斯正则化的ＬＭＢＰ神经网络算法
２．１基本的ＢＰ算法
ＢＰ神经网络通常由输入层、
输出层和若干隐含层构成，根据Ｋｐｌｍｏｇｏｒｏｖ定理［５］，只有一个隐层的三层ＢＰ网络（见图１）就可以实现对任意函数的逼近。每层由若干个结点组成，每一个结点表示一个神经元，上层结点与下层结点之间通过权联接，同一层结点之间没有联系。
ＢＰ神经网络的学习过程由两部分组成：
正向传播和反向传播。当正向传播时，输入信息经输入层、隐含层的神经元逐层处理，向前传播到输出层，给出结果。如果在输出层得不到期望输出，则转入逆向传播过程，将误差信号沿原来的神经元连接通路返回。在返回过程中，通过修改各层神经元间的联接权值，使误差减少，然后再转入正向传播过程，反复迭代，直到误差小于给定的值为止。具体的算法过程参见文献［１，２］。
２．２用Ｌ－Ｍ贝叶斯正则化方法对ＢＰ网络进行改进
ＢＰ神经网络具有逼近任意连续函数和非线性映射的能力，能模拟任意的非线性输入输出关系。
但它也存在推广能力差、学习收敛速度慢、容易陷入局部极小点而无法得到全局最优解等缺点。不少人对梯度下降法的缺点提出了许多改进算法，如二阶快速ＢＰ算法、动量因子法、作用函数调整法等［３］。这些改进方法比梯度下降法在收敛速度、逼近精度上有明显提高。但在多变量、大样本输入情况下仍然存在推广能力差、逼近精度低甚至使训练瘫痪的问题。为此，本文采用Ｌ－Ｍ贝叶斯正则化算法对
ＢＰ网络进行改进。２．２．１Ｌ－Ｍ算法
本文依据Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｔ理论对网络的权值和阈值进行调整，Ｌ－Ｍ算法是一种解非线性最
小二乘问题的有效方法，具有收敛快和逼近精度高的优点。算法如下：
将ＢＰ网络各层的权值和阈值用向量Ｗ表示。误差平方和为
Ｅ＝１
２
!!ｔｐｊ－Ｏｐｊ"#２
＝１
２
ｐ
!!ｐ
"$２＝１２
‖!‖２（１）
其中，ｐ是第ｐ个样本，Ｏｐｊ为第ｐ个样本在输出层第ｊ个神经元的实际输出，ｔｐｊ为相应的期望输出，!是以!ｐ
为元素的向量。假设当前位于ＷＫ
（Ｋ为迭代次数），并向新位置Ｗ
Ｋ＋１
移动。如果移动量Ｗ
Ｋ＋１
－
ＷＫ
很小，则可以将!展成一阶Ｔａｙｌｏｒ级数
图１多层前向ＢＰ网络
Ｆｉｇ．１ＦｏｒｗａｒｄＢＰＮＮｏｆｍｕｌｔｉｌａｙｅｒ
!Ｗ
Ｋ＋１
!"＝!ＷＫ!"
＋ＺＷＫ＋１－ＷＫ
!"（２）
其中Ｚ是!的雅可比（Ｊａｃｏｂｉａｎ）矩阵，Ｚ的元素为：!"Ｚｐｉ＝"!
ｐ
"Ｗｉ因此误差函数（１）可以写为：
Ｅ＝１２
‖!ＷＫ!"＋ＺＷＫ＋１－ＷＫ
!"‖２（３）
对Ｗ
Ｋ＋１
求导以使Ｅ最小，便可得如下高斯—牛顿迭代公式
Ｗ
Ｋ＋１
＝ＷＫ
－ＺＴ!"Ｚ－１
ＺＴ
!ＷＫ
!
"（４）
为了克服高斯—牛顿法中经常出现的Ｊａｃｏｂｉａｎ矩阵奇异现象，把误差表示式（３）改写为：
Ｅ＝１２
‖!ＷＫ＋ＺＷＫ＋１－Ｗ
Ｋ
!"!"‖２＋#‖ＷＫ＋１－ＷＫ‖２（５）
对Ｅ求Ｗ
Ｋ＋１
的极小点，便可得到基于高斯—牛顿法的Ｌ－Ｍ迭代公式
Ｗ
Ｋ＋１
＝ＷＫ
－ＺＴＺ＋#!"Ｉ－１
ＺＴ
!ＷＫ
!"（６）
式中，Ｉ为单位矩阵，#为迭代变量。在迭代过程中变量#起控制搜索方向和步长作用。在计算初始阶段#可取大值#０，这时ＺＴ
Ｚ项与#Ｉ项相比是可以忽略的小量，于是（６）式可写为
Ｗ
（Ｋ＋１）
＝ＷＫ
－１#０
ｇ
（７）
这是梯度下降法的向量表达式，在函数ｆ极值点附近时，令#→０，（６）式变为高斯—牛顿迭代公式。在计算过程中依据误差Ｅ的大小来决定#的取值大小，即：
当ＥＫ＋!"１＜Ｅ!"
Ｋ时，#
Ｋ＋!"
１＝$１#!"
Ｋ$１＜１（８）当Ｅ
Ｋ＋!"１＞Ｅ!"
Ｋ时，#
Ｋ＋!"
１＝$２#
!"
Ｋ$２＞１
（９）
Ｌ－Ｍ算法既可避免高斯—牛顿法中容易出现的Ｊａｃｏｂｉａｎ矩阵病态和假收敛等缺点，又可避开梯度
下降法中极值点附近逼近精度低和收敛慢的缺点。Ｌ－Ｍ算法能够保证权值和阈值的每次调整都使Ｅ减小，避免网络的震荡。
２．２．２贝叶斯正则化方法
推广能力（Ｇｅｎｅｒａｌｉｚａｔｉｏｎ）是衡量神经网络结构性能好坏的重要标志，一个“过度训练”（Ｏｖｅｒｆｉｔ－
ｔｉｎｇ）的神经网络会对训练样本集达到较高的匹配效果，但是对于一个新的输入样本矢量却可能会产
生与目标矢量差别较大的输出，即神经网络不具有或具有较差的推广能力。
在训练样本集大小一定的情况下，网络的推广能力与网络的规模直接相关。如果神经网络的规模远远小于样本集的大小，则发生“过度训练”的机会就很小。但是对于特定的问题，确定合适的网络规模（通常指隐层神经元节点数目）往往是一件十分困难的事情。正则化方法是通过修正神经网络的训练性能函数来提高其推广能力的。即在典型目标函数（５）式中增加一项，此项包含网络权值的平方和均值，因此，目标函数（５）式被调整为
Ｅ＝Ｋ１ＥＤ＋Ｋ２ＥＷ
（１０）
式中，ＥＤ＝１２
‖!ＷＫ＋ＺＷＫ＋１－ＷＫ!"!"‖２＋#‖ＷＫ＋１－ＷＫ‖２ＥＷ＝１ＮＮ
ｊ＝１
%ｗ２
ｊ
&(’()（１１）
其中ｗｊ为网络权值。可见，通过采用新的性能指标函数，可以在保证网络训练误差尽可能小的情况下
使网络具有较小的权值，即使得网络的有效权值尽可能地少，这实际上相当于自动缩小了网络的规模。
常规的正则化方法通常很难确定比例系数Ｋ１、Ｋ２的大小，而贝叶斯正则化方法则可以在网络训练过程中自适应地调整Ｋ１、Ｋ２的大小，并使其达到最优。
根据文献［４］，即Ｂａｙｅｓｉａｎ规则，权值密度函数为：ＰＷＤ；
Ｋ１，
Ｋ２，
Ｍ!"＝
１ＺＤ
Ｋ１
!
"＊１
ＺＷＫ２
!"!"#$ｅｘｐ－Ｋ１ＥＤ＋Ｋ２ＥＷ
!"%&ＰＤＫ１，Ｋ２，!
"Ｍ（１２）
式中，ＰＷＤ；Ｋ１，Ｋ２，Ｍ!"为后期权值密度；Ｍ为采用的神经网络模型；ＰＤＫ１，Ｋ２，!"Ｍ为标准化因子；ＺＤＫ１!"＝!Ｋ
１
!"
Ｎ／２
，ＺＷＫ２!"＝!Ｋ
２
!"Ｎ／２
。
在Ｂａｙｅｓｉａｎ模型中，优化权值即求ＰＷＤ；Ｋ１，Ｋ２，Ｍ!"的最大值，与求目标函数Ｅ＝Ｋ１ＥＤ＋Ｋ２ＥＷ的最小值等价，根据Ｂａｙｅｓｉａｎ规则，优化的目标函数参数分别为：
Ｋ１＝
!２ＥＷ!"ＷＫ２＝Ｎ－!
２ＥＤ!
"Ｗ’)()*（１３）
式中：!为神经网络的有效参数个数，!＝Ｎ－２Ｋ２ｔｒ!"Ｈ－１
!∈０!"Ｎ；Ｎ为神经网络参数总数；Ｈ为目标函数的Ｈｅｓｓｉａｎ矩阵。
本文通过Ｇａｕｓｓ－Ｎｅｗｔｏｎ法近似计算Ｈｅｓｓｉａｎ矩阵，Ｈ＝２Ｋ１ＪＴ
Ｊ＋２Ｋ２ＩＮ，并用于Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｔ算法的改进，使得算法具有良好的推广性。
３基于神经网络算法的潜艇声纳自噪声预报方法
３．１影响潜艇自噪声的声源参数的确定
从原理上说，ＢＰ算法可以视为一种从输入到输出的高度非线性的数学逼近映射：
ｆ：Ｒｎ→Ｒｍ
，
ｆ!"
Ｘ＝Ｙ（１４）
这里，Ｘ＝ｘ１，ｘ２，…ｘＮ!"，ｘｉ∈Ｒｎ
为网络输入向量，对应于影响声纳部位自噪声的各个设备的特征参数值和该航态时的各个设备运行参数；Ｙ＝ｙ１，ｙ２，…ｙＭ!"，ｙｉ∈Ｒｍ
为网络输出向量，即对应于Ｘ＝（ｘ１，ｘ２，…ｘＮ）的声纳部位自噪声的预报结果。
而对样本集合：输入Ｘ∈Ｒｎ
和期望输出值Ｔ∈Ｒｍ
神经网络中正则化是为了干什么一定存在某一映射函数ｇ，使得：
ｇ!"
Ｘ＝Ｔ（１５）
其中Ｘ＝ｘ１，ｘ２，…ｘＮ!"为样本输入向量，这里为自噪声函数的自变量，即影响声纳部位自噪声的各个设备的特征参数值和对应于该航态时的各个设备运行参数值；Ｔ＝ｔ１，ｔ２，…ｔＭ!"，为期望输出值向量，这里为实际测得的对应于Ｘ＝ｘ１，ｘ２，…ｘＮ!"的声纳自噪声值。Ｘ，!"ＴＰ
为第Ｐ个样本对，即为潜艇处于第Ｐ个运动状态时的参数矢量和声纳自噪声矢量组成的一个样本对。Ｎ为自变量参数个数，即影响声纳
部位自噪声的系统参数的数目。Ｍ为输出值个数，即对潜艇上的Ｍ个位置处的声纳自噪声进行预报。
ＢＰ算法的作用在于求出（１４）式表达的映射函数ｆ!"
Ｘ＝Ｙ，也就是求出神经网络的结构参数（即各个神经元节点之间的连接权值和各个神经元节点的阈值）。使得在潜艇自噪声意义下，ｆ!"Ｘ是ｇ!"Ｘ的最佳逼近。（１４）式的映射过程虽然可以不涉及函数的具体性质，但是必须要出与（１５）式相应的变量Ｘ＝

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。