收稿日期:2020-08-11
基金项目:中央高校基本科研业务费专项资金资助项目(N180304018).
作者简介:张永超(1993-)ꎬ男ꎬ辽宁朝阳人ꎬ东北大学博士研究生ꎻ任朝晖(1968-)ꎬ男ꎬ辽宁沈阳人ꎬ东北大学教授ꎬ博士生
导师.
第42卷第3期2021年3月
东北大学学报(自然科学版)JournalofNortheasternUniversity(NaturalScience)
Vol.42ꎬNo.3Mar.2021
㊀
doi:10.12068/j.issn.1005-3026.2021.03.010
基于域适应与分类器差异的滚动轴承跨域故障诊断
张永超ꎬ李㊀琦ꎬ任朝晖ꎬ周世华
(东北大学机械工程与自动化学院ꎬ辽宁沈阳㊀110819)
摘㊀㊀㊀要:基于数据驱动方法诊断滚动轴承故障时ꎬ不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题ꎬ提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取ꎻ然后通过2个全连接分类器进行故障分类ꎻ最后通过分步优化分类损失㊁域最大平均差异损失和分类器差异损失ꎬ实现源域和目标域之间的域分布对齐ꎬ从而实现无标记目标域样本的故障诊断.实验结果表明ꎬ所提方法与主流的域适应方法相比具有更高故障诊断准确率ꎬ验证了该方法的合理性和可行性.
关㊀键㊀词:故障诊断ꎻ域适应ꎻ卷积神经网络ꎻ最大平均差异ꎻ滚动轴承
中图分类号:TH17㊀㊀㊀文献标志码:A㊀㊀㊀文章编号:1005-3026(2021)03-0367-06
Cross ̄DomainFaultDiagnosisofRollingBearingsUsingDomainAdaptationwithClassifierDiscrepancy
ZHANGYong ̄chaoꎬLIQiꎬRENZhao ̄huiꎬZHOUShi ̄hua
(SchoolofMechanicalEngineering&AutomationꎬNortheasternUniversityꎬShenyang110819ꎬChina.Correspondingauthor:RENZhao ̄huiꎬprofessorꎬE ̄mail:zhhren_neu@126.com)
Abstract:Whendiagnosingrollingbearingfaultsbasedondata ̄drivenmethodsꎬthediscrepancyindatadistributionunderdifferentoperatingconditionsmayresultinseveredegradationofmodeldiagnosisperformance.Tohandlethisissueꎬacross ̄domainfaultdiagnosismethodofrollingbearingbasedondomainadaptationwithclassifierdiscrepancywasproposed.Firstlyꎬtheconvolutionalneuralnetworkwasusedtoextractthefeaturesofthelabeledsourcedomainsamplesandtheunlabeledtargetdomainsamples.Thenꎬthefeatureswereclassifiedbytwofullyconnectedclassifiers.Finallyꎬtheclassificationlossꎬthemaxi
mummeandiscrepancylossandtheclassifierdiscrepancylosswereoptimizedstepbysteptoalignthedomaindistributiondiscrepancybetweenthesourcedomainandthetargetdomainsoastoimplementthefaultdiagnosisofunlabeledtargetdomainsamples.Theexperimentalresultsshowedthattheproposedmethodhasahigherfaultdiagnosisaccuracyratethanthemainstreamdomainadaptationmethodsꎬwhichverifiesitsrationalityandfeasibility.
Keywords:faultdiagnosisꎻdomainadaptationꎻconvolutionalneuralnetworkꎻmaximummeandiscrepancyꎻrollingbearing
㊀㊀滚动轴承是旋转机械的重要组成部分ꎬ其故障可能极大地影响机械系统的整体性能或导致意外停机ꎬ造成灾难性的后果.因此ꎬ针对轴承的故障预测与健康管理(prognostics
health
managementꎬPHM)是必不可少的.然而ꎬ由于滚动轴承具有运行工况多变和运行环境恶劣的特
点ꎬ导致测试数据与训练数据的分布往往存在差异ꎬ从而严重影响模型的泛化能力[1-2].因此ꎬ开展变工况下滚动轴承故障诊断是至关重要的[3-4].
近年来ꎬ随着计算机硬件性能的提升和人工智能算法的兴起ꎬ基于数据驱动的深度学习技术
㊀㊀
被广泛应用于故障诊断领域[5-7].然而ꎬ这些研究忽略了机器工况的变化ꎬ认为训练数据和测试数据分布是相同的ꎬ这在现实的工业场景是不多见的.为此ꎬ许多基于域适应的深度学习方法被应用ꎬ旨在解决数据分布差异问题.文献[8]提出了一种基于预训练的卷积神经网络(convolutionalneuralnetworksꎬCNN)迁移学习框架ꎬ在源域训练CNNꎬ通过在目标域适当微调实现目标域诊断.文献[9]提出了一种基于最大平均差异(maximummeandiscrepancyꎬMMD)的深度域适应故障诊断模型.文献[10]同时最小化多层中2个域间的MMDꎬ提高跨域诊断性能.文献[11]将对抗性学习作为一种正则化方法引入卷积神经网络中ꎬ并通过实验证明了提出方法的优越性.文献[12]在网络中嵌入了一种改进的加权转移分量分析域适应算法ꎬ实现跨域故障诊断.文献[13]同时考虑MMD损失和域对抗损失ꎬ并通过实验验证了提出的方法可以准确地实现不同工况下的跨域故障诊断.
以上方法虽都实现了跨域故障诊断ꎬ但都只实现了域的全局对齐ꎬ在类边界附近的样本特征很容易被误分类ꎬ从而造成诊断性能下降.因此ꎬ为了更好地区分类边界样本ꎬ本文提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法ꎬ大大提高跨域故障诊断准确率.
1㊀算法实现
1 1㊀CNN网络
CNN是深度学习中被广泛应用的神经网络.CNN通常由特征提取器和分类器组成ꎬ特征提取器通常包含卷积㊁池化㊁激活函数和归一化ꎬ分类器一般由全连接层组成.
卷积操作是使用卷积核提取输入数据的特征ꎬ从而得到特征图ꎬ卷积运算可以表示为
x
l+1
i
=f(ðjɪMj
xl
j
w
l+1ij
+b
l+1i
).(1)
其中:f( )表示激活函数ꎻwl+1ij表示l层第i个神经元对应第l+1层第j个神经元的权重ꎻb表示偏置.
为了有效地减少计算量ꎬ通过最大池化操作保留重要特征信息ꎬ其过程可用式(2)表示:
pl(iꎬj)=
max
(j-1)w<t<jw
{al(iꎬt)}.(2)
其中:al(iꎬt)
表示l层中第i个特征图的第t个神经
元ꎻw表示核宽度ꎻj表示池化核.
通过卷积㊁池化㊁激活函数和归一化的叠加ꎬ
建立特征提取器ꎬ从而提取输入数据的深度特征.然后ꎬ把特征输入分类器得到预测结果.假设一个类别为k的分类问题ꎬsoftmax的输出为
O=P(y=1|xꎻW1ꎬb1)P(y=2|xꎻW2ꎬb2)⋮P(y=K|xꎻWKꎬbK)éëêêêêêùû
úúúúú
=
1ðKj=1exp(Wjx+bj)exp(W1x+b1)exp(W2x+b2
)⋮exp(WKx+bK)éëêêêêêùû
úúúúú.(3)
其中ꎬWj和bj分别代表j层的权重矩阵和偏置.1 2㊀域适应
由于不同工况下的数据分布不一致ꎬ直接将一种工况下训练得到的分类器直接应用于其他工况ꎬ得到的诊断结果往往是很差的.域适应可以充分利用源域数据和目标域数据ꎬ有效地解决训练数据和测试数据特征分布不一致的问题.图1是一个简单的域适应示例ꎬ如果将源域学习的模型直接应用于目标域分类ꎬ分类精度很低ꎬ但是通过域适应学习可以有效地对目标域的样本进行分类.因此ꎬ学习域不变特征是实现不同工况下故障诊断的关键步骤
.
图1㊀一个简单的域适应示例
Fig 1㊀Asimpleexampleofdomainadaptation
㊀㊀域适应学习主要通过强大的深度神经网络来减小域之间的差异ꎬ从而实现域不变特征.MMD是域适应学习中一种被广泛应用的距离度量准则.MMD主要用来度量两个不同但相关的分布的距离.两个分布的MMD被定义为MMD2
(xs
ꎬxt
)=1n1ðn1
i=1f(xsi)-1n2ðn2
j=1
f(xtj)2H
=
1n21ðn1
i=1ðn1
j=1
k(xsiꎬxsj)-2n1n2ðn1
i=1ðn2
j=1k(xsiꎬxt
j)+1
n22ðn2
i=1ðn2
j=1
k(xtiꎬxtj).(4)
863东北大学学报(自然科学版)㊀㊀㊀第42卷
㊀㊀2㊀提出的网络
2 1㊀问题描述
本文研究了不同工况下轴承故障诊断问题ꎬ可以获得标签数据的工况被称作源域ꎬ需要诊断
的工况被称作目标域.用Ds={xsiꎬysi}ns
i=1表示带
标记的源域样本ꎬ其中xs
i定义样本特征ꎬysi
定义相应的标签ꎬns表示样本数量.用Dt
={D
ttrain
ꎬ
Dttest
}表示不带标记的目标域样本ꎬD
ttrain
定义目标
域训练样本ꎬDttest
定义目标域测试样本.本文旨在学习一个使用Ds和Dttrain训练的分类器模型ꎬ可以准确地实现Dttest的故障诊断.2 2㊀网络结构
图2给出了所提方法的架构ꎬ基本网络由特征提取器G和2个分类器(C1和C2)构成.G包含多层卷积块和全连接块.每个卷积块包括卷积㊁池化㊁激活函数和归一化ꎬ其中激活函数采用线性整流函数(rectifiedlinearunitꎬReLU).每个全连接块包含线性变换㊁ReLU和Dropout.C1和C2由一层全连接分类器构成.源域数据和目标域数据同时被输入到特征提取器和两个相同的分类器得到预测输出
.
图2㊀提出方法的架构
Fig 2㊀Architectureoftheproposedmethod
2 3㊀优化对象
为了尽可能正确地分类不同健康状态数据ꎬ首先要确保模型可以在源域数据得到正确的分类.因此ꎬ本文采用交叉熵损失作为损失函数ꎬ2个分类器的交叉熵损失为㊀
Lc=-E(xꎬy)ɪDs([ðK
k=1I[k=y]lg(C1(F(x)))]+
[ðK
k=1
I[k=y]lg(C2(F(x)))]).
正则化是结构风险最小化策略的实现(5)
其中ꎬk表示健康状态数.
在本研究中ꎬ特征提取器㊁分类器C1和分类
器C2的参数分别用θGꎬθC1和θC2表示.通过使Lc最小化可以获得最准确的预测结果和最优的网络
参数ꎬ其过程可以表示为
(^θ
Gꎬ^θC1ꎬ^θC2)=argminθGꎬθC1ꎬθC2
Lc.(6)
然后ꎬ为了实现域对齐ꎬMMD被用作两个域之间分布差异的度量函数.在输入数据经过特征提取器G之后得到的源域特征和目标域特征间引入MMD损失ꎬ其损失可以表示为
Lmmd
=1
NðN
j=1
MMD(F(xs)+F(xt)).(7)其中:xs和xt分别表示源域特征和目标域特征ꎻN表示特征个数.
通过使Lmmd最小化ꎬ特征提取器可以学习源域和目标域的域不变特征ꎬ其最优的参数可以表
示为
(^θ
G)=argminθG
Lmmd.(8)
单独实现域的全局对齐ꎬ虽然可以在很大程度上提高分类的准确率ꎬ但是由于域混淆的影响ꎬ使在靠近类边界附近的样本特征产生很多的误分类.因此ꎬ本文在域对齐的基础上ꎬ考虑了分类器差异损失.如图2所示ꎬ不同的初始化参数ꎬ在正确分类源域的同时ꎬ可以得到不同的目标域预测标签.直观上ꎬ靠近类边界的目标域样本更容易得到不同的预测结果.因此ꎬ在分类器中通过使目标域的预测结果尽可能的不一致ꎬ可以帮助网络检测目标域数据在类边界附近的特征分布.相反ꎬ特征提取器的目的是使2个分类器的结果预测更一致ꎬ旨在更好地对齐源域类和目标域类.具体来说ꎬ用C1和C2来构造一个差异鉴别器ꎬ将它们对目标域样本的预测之间的差异的L1范数作为差异损失:Ldis=ExɪDttrain
1
NðN
i=1
C1(F(xt))-C2(F(xt)) 1.(9)
特征提取器与2个不同的分类器之间的博弈过程可以通过对抗训练的方式达到一个平衡点.其对抗训练可以表示为
(^θ
C1ꎬ^θC2)=argminθC1ꎬθC2
-Ldisꎬ(10)(^θ
G)=argmaxθG-Ldis.(11)
在这种情况下ꎬ方程(10)和(11)的参数不能被直接优化ꎬ因为-Ldis被特征提取器最大化ꎬ同时被分类器最小化.为了解决这个问题ꎬ引入了梯度反转层(gradientreversallayerꎬGRL).如图2
9
63第3期㊀㊀㊀张永超等:基于域适应与分类器差异的滚动轴承跨域故障诊断
㊀㊀
所示ꎬGRL作用于网络的反向传播过程ꎬ当梯度通过GRL后ꎬ梯度符号被反转[14].该方法巧妙地解决了最大梯度和最小梯度不能同时训练的问题.该方法在特征提取器和分类器之间引入GRLꎬ具体地说ꎬGRL可以表示为一个函数R(x):
R(x)=xꎬ(12)dR(x)
dx
=-λI.(13)
其中:I表示单位矩阵ꎻλ表示惩罚系数ꎬ在本文中
λ=1.这样ꎬ方程(10)和(11)可以表示为
(^θ
Gꎬ^θC1ꎬ^θC2)=argminθGꎬθC1ꎬθC2
-Ldis.(14)
2 4㊀训练过程
所提方法的训练和测试过程如图3所示.训练过程分两步ꎬ首先训练方程(6)和(8)ꎬ然后训练方程(14).通过这两步不断迭代ꎬ使网络获得最优的参数.最后ꎬ利用训练好的网络对测试数据进行分类ꎬ得到诊断结果
.
图3㊀训练和测试过程的流程
Fig 3㊀Flowchartofthetrainingandtestprocess
3㊀实验验证
3 1㊀实验描述
为验证提出方法的有效性ꎬ搭建如图4所示的轴承故障实验台.采用滚动轴承作为实验轴承.在实验中模拟了5种轴承健康状态ꎬ即正常(normalꎬN)㊁内圈故障(inner ̄racefaultꎬIF)㊁外圈故障(outer ̄racefaultꎬOF)㊁滚动体故障(ballfaultꎬBF)㊁外圈和滚动体混合故障(compoundofouter ̄racefaultandballfaultꎬOF_BF)ꎬ其中IFꎬOF和BF如图4所示.加速度传感器安装在轴承座上ꎬ用于收集振动信号ꎬ采样频率为20kHzꎬ采样时间为220s.实验分别采集了转速为600ꎬ1200ꎬ1800r/min的5种健康状态下的数据.因此ꎬ本实验研究了三种工况下的6个域适应任务ꎬ
如表1所示.
3 2㊀网络结构和参数
该方法的网络结构和参数如表2所示.每个卷积操作后接ReLU和归一化操作ꎬ每个全连接层还包括ReLU和Dropoutꎬ其中Dropout的作用是防止网络过拟合ꎬ在本实验中Dropout为0 5.在本实验中ꎬ样本为一维数据ꎬ长度为1024.训练样本个数为每种健康状态400个样本ꎬ测试样本个数为每种健康状态200个样本.在网络训练中ꎬ用随机梯度下降方法(stochasticgradientdescentꎬSGD)对优化目标进行训练ꎬ其中动量为0 9.训练的Epoch设置为
400ꎬ训练样本的批量大小设置为50.初始学习率设为0 1ꎬ每100个Epoch后ꎬ学习率降低到当前值的10%.每个任务执行5次ꎬ其平均值作为最终的诊断准确率
.图4㊀轴承试验台和三种轴承故障
Fig 4㊀Bearingtest ̄rigandthreebearingfaults
表1㊀6个域适应任务
Table1㊀Sixtasksofdomainadaptation任务123
4
5
6
源域/(r min-1)600
600
1200120018001800目标域/(r min-1)
12001800
600
1800
600
1200
3 3㊀对比方法
为更好验证所提出方法的诊断性能ꎬ选择以下3种方法进行对比分析.这3种对比方法的基本网络与提出方法的基本网络相同.
1)没有域适应方法(WDA).只简单使用源
073东北大学学报(自然科学版)㊀㊀㊀第42卷
㊀㊀
域样本训练网络ꎬ然后测试目标域数据.
表2㊀网络结构和参数
Table2㊀Networkstructureandparameters
模块网络层核大小/步长核数目补零
输出尺寸
(度ˑ深)
卷积19ˑ1/1ˑ14是1018ˑ4池化l2ˑ1/2ˑ14否509ˑ4卷积29ˑ1/1ˑ18是503ˑ8池化22ˑ1/2ˑ18否251ˑ8卷积39ˑ1/1ˑ116是245ˑ16池化32ˑ1/2ˑ116否122ˑ16G卷积49ˑ1/1ˑ132是116ˑ32
池化42ˑ1/2ˑ132否58ˑ32卷积56ˑ1/1ˑ164是55ˑ64池化52ˑ1/2ˑ164否27ˑ64平铺 1728ˑ1全连接2561 256ˑ1全连接1281 128ˑ1C1全连接51 5ˑ1C2全连接51 5ˑ1
㊀㊀2)基于域对抗网络的域适应方法(DAN).
在该方法中ꎬ在特征提取器后接域分类器ꎬ其目的是通过域分类器混淆源域和目标域特征ꎬ从而实现域适应.
3)基于MMD的域适应方法(MMD).在该方
法中ꎬ只加入MMD损失ꎬ没有分类器差异损失.3 4㊀实验结果
提出的方法和3种对比方法在不同域适应任务下诊断结果的直方图如图5所示.由图可知ꎬ提出方法在所有的任务中都取得最好的诊断结果ꎬ测试准确率明显高于常用的域适应方法.其中ꎬWDAꎬDANꎬMMD和提出的方法在6个域适应任务下的平均故障诊断准确率分别为45 8%ꎬ
74 5%ꎬ69 7%和93 4%.表3给出了所有方法在5次实验中的平均计算时间ꎬ可以看出ꎬ提出的方法与常用域适应方法的计算时间相差不多.为了更好地判断域适应效果ꎬ采用t-SNE
(t ̄distributedstochasticneighborembedding)
[15]
技
术把网络提取的源域和目标域训练数据的输出特征映射成二维特征并进行可视化.以第1个域适应任务作为例子ꎬ其训练过程可视化结果如图6所示.可以看出ꎬ训练过程中各类别实现很好的聚类ꎬ并且通过域适应学习ꎬ网络可以很好地对齐源域和目标域训练数据的特征.这说明提出的方法可以准确地实现无监督跨域故障诊断.
表3㊀所有方法的平均计算时间
Table3㊀Averageruntimeofallmethods方法WDADANMMD提出的方法
计算时间/s
350
720
699
738
图5㊀四种方法在不同域适应任务下的诊断结果Fig 5㊀Diagnosticresultsoffourmethodsunder
differentdomainadaptationtasks
㊀㊀同样地ꎬ为了更好地体现各种诊断方法的诊断效果ꎬ第1个域适应任务的4种方法测试数据特征的可视化结果见图7.可以看出ꎬ在WDA方法中ꎬNꎬIFꎬBF和OF四类健康状态的特征存在很多重叠ꎬ说明这四种状态存在很多误分类ꎻ在DAN和MMD方法中ꎬOF和IF的特征存在重叠ꎻ然而ꎬ在所提的方法中5种健康状态的数据都很好地聚在一起ꎬ而且不同健康状态的数据都清晰地分离开ꎬ这说明该方法可以有效地提取目标域数据的差异特征
.
图6㊀训练数据的特征可视化
Fig 6㊀Featurevisualizationoftrainingdata
(a) 源域ꎻ(b) 目标域ꎻ(c) 源域和目标域混合.
1
73第3期㊀㊀㊀张永超等:基于域适应与分类器差异的滚动轴承跨域故障诊断
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论