第20卷第12期 2020年12月
过程工程学报
The Chinese Journal of Process Engineering V 〇1.20N 〇.12
Dec. 2020
Process
data
蜂岭
Diagnostic result
T P  —
骞
9•
m
% I
* '■
* <
Abstract: A  fault  diagnosis  method  for
chemical  processes  based  on  deep residual  network  (DRN ) was  proposed , which  could  automa
tically  extract  fault features  from  a  large  number  of chemical  processes  operation  data . The
model
adopted
the
shortcut
connections  to  alleviate  the  training difficulty  in  the  traditional  deep  neural network , and  adopted  the  batch normalization  (BN ) method , which
could  effectively  alleviate  the  problem  o f  vanishing/exploding  gradients . The  Tennessee  Eastman  (TE ) process  was used  as  the  experimental  object  to  evaluate  the  diagnostic  performance  of  the  proposed  method . The  proposed  method and  the  previous  TE  process  fault  diagnosis  method  based  on  traditional  deep  learning  model  were  compared . Furthermore , the  effects  o f  the  number  of  layers , BN  technology  and  residual  structure  on  fault  diagnosis  rate  were studied . Finally , the  output  o f  some  layers  was  visualized  by  the  t-distributed  stochastic  neighbor  embedding  (t -SNE ) method . The  results  showed  that  the  model  achieved 
an  average  fault  diagnosis  rate  of  94% and  an  average  false  positive rate  o f  0.30% for  21 working  conditions , showing  more  excellent  diagnostic  performance . The  two-dimensional  scatter plot  o f  the  output  layer  showed  clear  clustering , which  indicated  that  the  proposed  DRN  model  can  accurately  diagnose the  faults .
Key words: fault  diagnosis ; chemical  processes ; deep  learning ; deep  residual  network ; Tennessee  Eastman  process
过程系统集成与化工安全
DOI: 10.12034/j.issn.l009-606X.219374
-------------
Fault diagnosis for chemical processes based on deep residual network
Lusheng  ZHONG *, Xiangming  X IA
College of Electrical and Automation Engineering, East China Jiaotong University, Nanchang, Jiangxi 330013, China
收稿：2019-12-23，修回• 2020-03-07，网络发表：2020-03-31，Received: 2019—12-23, Revised: 2020-03-07, Published online: 2020—03-31 基金项目：国家自然科学基金资助项目(编号：61863012; 61263010)；江西省科技计划项目(编号：20181BBE50〇2〇;20161BBE50082;20161BAB202067) 作者简介：衷路生(1979-)，男，江西省信丰县人，博士，教授，研究方向为故障诊断与检测，E-mail:******************.引用格式：衷路生，夏相明.基于深度残差网络的化工过程故障诊断.过程工程学报,2020, 20(12): 1483-1490.
Zhong L S, Xia X M. Fault diagnosis for chemical processes based on deep residual network (in Chinese). Chin. J. Process Eng., 2020, 20(12):
1483-1490, DOI: 10.12034/j.issn.l009-606X.219374.
H i
l
s l
i
l
1
1484过程工程学报第20卷基于深度残差网络的化工过程故障诊断
衷路生' 夏相明
华东交通大学电气与自动化工程学院，江西南昌330013
摘要：本工作提出了一种基于深度残差网络(D R N>的化工过程故障诊断方法，可从大量化工过程运行数据中自动提取故障特 征。模型采用快捷连接缓解传统深度神经网络训练困难的问题，且使用批归一化(B N)方法，可有效缓解梯度消失/爆炸的问题。以田纳西-伊斯曼(TE)过程为实验对象对所提方法进行诊断性能评价实验，并与以往的基于传统深度学习模型的T E过程故障诊 断方法进行对比，进一步探宂了模型层数、B N技术和残差结构对故障诊断率的影响，最后，通过t分布随机邻域嵌入(t-SNE)方 法对网络部分层的输出进行可视化。结果表明，模型对21种工况取得了 94%的平均故障诊断率和0.30%的平均假阳率，表现出 更加卓越的诊断性能。输出层的二维散点图显示了清晰的聚类，表明所提出的D R N模型能够对故障进行准确诊断。
关键词：故障诊断；化工过程；深度学习：深度残差网络；田纳西-伊斯曼过程
中图分类号：T Q460.6+4文献标识码：A文章编号:
1前言
近年来，化工过程安全事故时有发生，化工过程通常具有毒性和腐蚀性强、易燃易爆的特点，一旦发生故障，危险性远高于其他行业。因此，化工过程故障诊断越来越受到关注。
故障诊断技术通过对系统运行状况进行监测，判断是否有故障发生，同时确定故障发生位置、种类等[1]。传统基于模型的故障诊断方法需对系统建立精确的数学模型，而现代化工过程通常规模大、复杂度高，建立精确的数学模型难度大。基于定性经验知识的诊断方法适用于规模小、简单系统的故障诊断，用于复杂化工过程时，诊断准确率较低。基于数据驱动方法对系统运行数据进行分析可有效进行故障诊断，逐渐成为主流方法。主元分析、独立主元分析、偏最小二乘等多元统计方法己在化工过程故障诊断领域得到成功应用支持向量机、人工神经网络等浅层学习的方法也逐渐被应用现代化工过程通常为高度非线性过程，而这两类数据驱动方法在面对具有非高斯分布、非线性特性的过程数据时，难以高效提取数据中的重要特征。此外，化工过程在运行过程中会产生海量数据，这两类方法也存在难以处理海量数据的问题。
近年来，深度学习的兴起吸引了大批学者的目光。深度学习是一种用含复杂结构或由多重非线性变换构成的多处理层对数据进行高层抽象的算法。深度学习擅长发现高维数据中的复杂结构，通过足够多的转换组合，也可学习非常复杂的函数％1。国际顶级期刊1009-606X(2020) 12-1483-08
《Nature》自2015年以来已连续多年发表关于深度学习的文章，包括综述文章【1()1和将深度学习应用于游戏、医学、地球系统科学、聚变能科学等领域的研宄成果ln_l4I，进一步掀起了对深度学习的研宄热潮。目前，主流的深度学习模型包括深度置信网络、深度自动编码机、循环神经网络、卷积神经网络及其各自的派生网络。与多元统计方法和浅层学习方法相比，深度学习方法对非线性数据有着更强的特征提取能力，且擅长处理高维海量数据。2013年，Tamilselvan等[|51最早将深度学习方法应用于故障诊断领域。随后，深度学习各主流模型在化工过程故障诊断中也得到初步应用。Zhang等Ml提出了一种基于扩展深度置信网络的故障诊断模型，用于化工过程故障诊断。Jia n g等提出了一种基于动态稀疏堆叠自编码机的化工过程故障诊断方法，可对动态故障数据进行分类。Xavier等1|81提出了--种基于长短时记忆网络的化工过程故障检测与诊断的新方法。W u等[191提出了—种基于深度卷积神经网络(Deep Convolutiona丨Neural Network,DCNN)模型的化工过程故障诊断方法。上述基于深度学习的化工过程故障诊断方法均取得了较好的效果。然而，这些深度学习模型存在训练困难的问题，使故障诊断的准确率难以进一步提高。
深度残差网络(Deep Residual Network,DRN)[20,211是一种先进的深度学习模型，在传统卷积神经网络的基础上生成，不同之处在于D R N在网络结构中引入恒等映射快捷连接。恒等映射快捷连接可跨过多层网络直接连接到后面的隐含层，有助于参数优化，缓解训练困难问题。D R N己被应用于其他对象的故障诊断，Z h an g等【221
第12期
衷路生等：基于深度残差网络的化工过程故障诊断1485
提出了一种基于D R N 的旋转机械故障诊断方法；汪久 根等123]提出了一种基于D R N 的RV(Rotate  Vector )减速 器故障诊断方法。以上研宄都取得了非常好的诊断效 果，表明将D R N 用于故障诊断领域潜力巨大。
本研究提出了一种基于D R N 的化工过程故障诊断 方法，可缓解深度神经网络训练困难问题，自动高效提 取故障特征，实现高精度故障诊断。以田纳西-伊斯曼 (Tennessee  Eastman , TE )化工过程为实验对象进行性能 评价实验，并对实验结果进行了分析与对比。2
基于D R N 的故障诊断模型
Normalization , BN )层、激活函数层、全局平均池化层和全连接层组成，共14层加权层。首先，输入数据经过 一个单独的卷积层，然后经6个残差块及一个全局平均 池化层，最后经一个全连接层输出结果。表丨给出了模 型的内部参数。
o  .£芑1—
a i
a ： e §1
本研究提出的D RN 故障诊断模型结构如图1所示。 该模型由卷积层、残差块、批归一化（Batch
Fig.l
图1
D R N
故障诊断模型结构
Architecture of the D R N  fault diagnostic m o d e l
Table 1
表
1 D R N
故障诊断模型参数
Parameters of the D R N  fault diagnostic m o d e l
L a y e r n a m e
L a y e r  ty p e
F ilte r S trid e O u tp u t s iz e In p u t In p u t --2〇x 5〇x l C o n v O C o n v
3x 3, 16120x 50x 16B N  - R e L U  - C o n v [3x 3,161r i x i i C o n v l _jc
B N -R e L U -
C o n v x 2
3x 3,16
x 2
l x l
x 2
2〇x 5〇x l 6
B N  - R e L U  -
C o n v
「3x 3,321
「1x 2—
C o n v 2_A
B N -R e L U -
C o n v x 2
3x 3,32^x 2
l x l x 2
10x 25x 32
[B N -R e L U -C o n v -[3x 3,64'[1x 2"C o n v 3j c
B N -R e L U -
C o n v
x 23x 3,64
x 2l x l
x 2正则化残差
5x 13x 64B N -R e L U 5x 13x 64A v e ra g e  p o o lin g
1x 1x 64
F C
F C
-1x21
2.1卷积层
卷积层的主要目的是从输入特征图中提取特征，一 般可表达为
Y ，.j ,
=
b 〇+m i T x ^
.
j -
^ ^^
m ,n ,k ,o  ( 1 )
m  n  k
其中，义为输入特征图，W 为卷积核，为偏置，F 为 输出特征图，/，y ，A ：分别为输入特征图的高度、宽度及通
道索引，w ，《，o 分别为卷积核的高度、宽度及输出特征 图的通道索引。在本模型中，所有卷积层均使用3x 3大 小的卷积核。
2.2激活函数层
模型使用了新型的修正线性单元(Rectified  Linear Units , ReLU )激活函数。函数表达式为
,
.
[
x ,x
>0
/W  = max{〇，i} = j
(2)
[0, a : < 0
2.3 BN  层
在训练神经网络时会出现内部协方差漂移问题，导
致网络需要重新学习新的分布，从而减缓训练速度。BN 是用于解决内部协方差漂移问题的一种归一化方法，可 表示为
x,：兄:
2>,
,rt  i=i
i=\
xt~M
+ e
(3)(4)
(5)
(6)
式中，x ,•和乃分别为B N 层的输入和输出，w 为批量大 小，/^为批量均值，为批量标准差，e 为一个接近0的 常数，义为输入归一化后的值，y 和P 为待训练的参数。
在网络中引入B N 层，可在取得相同精度的情况下减少 训练步骤，还可缓解梯度消失/爆炸问题，提高模型泛化 能力。
A U 0U
A U 0U
A
U 0CJ
A U 0U
A s >u o u A u o u
>U 03
>c o u
A u o u
>
c o u  A u o u
m
u o i
t
3
305
u .m u a :
t
r
r p as
i l
m u fl d
t
n
l
u Q i
1>m
s
t
n l l u
o i
t
3U C C J
i L *m o OJ t
1486过程工程学报第20卷
2.4残差块  2.6全连接层
残差块是D R N的核心部分，分为原始版和改进
版P I两个版本，结构如图2所示。图中右侧带箭头的线
条称为快捷连接，执行恒等映射。本模型采用的是改进
版残差块。改进版与原始版的组成成分相同，不同之处
在于对B N层和ReLU层的位置进行了调整，将它们置
于卷积层之前，这样可使输入跨过多层网络直接连接到
输出，更利于参数训练。假设多个残差块堆叠，则从第
/个残差块到第y个残差块的信息向前传递，可表示为
x T=x T+t dF(x-,{W k})(7)
k=i
其中，甿，<"1分别为第*个残差块的输入和输出，吣
为第A■个残差块中的权重，F为残差映射。在误差反向
传播过程中，网络优化的梯度为
dL_d L dx°M_dL
d x°M
+^r Z F(xr>{^*}) (8)
式中，L为损失函数，项保证了低层网络都能接收
到这个梯度，缓解了训练困难问题,i+ ^t F(4n，{%})
k=i
项+小于1，避免了梯度消失。
在图1的D R N故障诊断模型的残差块中，实线快
捷连接表示输入通道数和输出通道数相同时的连接，虚
线表示不同时的连接。对于通道数不同的快捷连接，采
用的方法是先进行平均池化，再使用零填充的方法使通
道数匹配。
X
^----
C o n v
i
B N
i
R e L U
i
C o n v
I
B N
4^—
R e L U
i
jc + F (x) (a) O r ig in a l v e rs io n
x
B N
i
R e L U
i
C o n v
i
B N
i
R e L U
I
C o n v
i-
x + F (x)
(b)I m p r o v e d v e rs io n
图2残差块不意图
Fig.2 Illustrations o f residual building blocks
2.5全局平均池化层
在模型中引入全局平均池化层，可用全局信息并直 接实现降维，对整个网络在结构上起到了正则化作用，提高了泛化能力。
D R N模型的最后一层是全连接层。在全连接层之 后采用Softmax函数作为分类器评估输入数据属于各类 工况的概率。Softm ax函数的输出可视为概率分布，所 以一般只在输出层中作为分类器使用。Softm ax函数的 表达式为
Q Z j
=h，j =\，...，K(9)
2^k=\Q
式中，z y和za分别是Softmax函数的第y',/：个输入，乃可 认为是输入数据属于第J类工况的概率，尤是工况类别数。
3仿真实验
选取T E实验平台产生的T E数据作为数据源验证
D RN故障诊断方法的性能。
3.1 T E过程
T E过程是根据现实中某化工过程建立的模型，被 广泛用于评价过程监测方法的性能【24]。采用T E过程的 修订版M作为仿真平台。修订版包括53个过程变量，28种故障类型，选取前20种故障和正常工况共21类 工况进行研究。在53个过程变量中，3个变量(压缩机 循环阀、汽提塔水流阀、搅拌速率)在运行过程中为恒定 值，可删去。正常工况数据和故障数据可从M A TLA B的Simulink仿真模块中采集得到，采样频率为100个数据 /h。从模拟器中采集了每种工况数据8000个，按6:2:2 的比例划分训练集、验证集和测试集。然后，对所有数 据进行归一化处理，公式为
式中x为原始数据，Z〇c)为归一化后的数据，x为原始 数据的均值，风;c)为标准差。为提取过程数据在时空域 上的故障特征，取12 m in内采集的20个数据作为一个 样本，因此，数据被转换成20x50的矩阵。
3.2模型训练
本研宄在开源机器学习软件库TensorFlow上实现 该D RN模型。在超参数设置上，将批尺寸设为128，权 重衰减因子设为0.0002，迭代次数设为250；学习率采 取动态调整的方式：初始学习率设为0.1，并设定训练 完80次后学习率衰减为0.01，训练完160次后学习率 衰减为0.001。
3.3结果讨论
3.3.丨性能对比
第12期衷路生等：基于深度残差网络的化工过程故障诊断1487
Epoches
图3训练集和验证集上的损失曲线和F D R曲线
Fig.3 Loss and F D R curves o n training set a nd validation set
表3在测试集上的F D R和F P R值
Table 3 T h e values of F D R a nd F P R on the testing set
A c tu a l
8 9 10 II 12 13 1415 16 1718 19 20
图4测试集上的诊断结果
Fig.4 Diagnostic results on testing set T y p e o f w o r k in g c o n d itio n F D R/%F P R/% N o rm a l1000.00
F a u lt 01980.04
F a u lt 02990.03
F a u lt 03820.18
F a u lt 041000.12
F a u lt 0596  1.26
F a u lt 06990.01
F a u lt 071000.00
F a u lt 08950.00
F a u lt 09870.34
F a u lt 10950.04
F a u lt 11950.01
F a u lt 12960.82
F a u lt 13980.25
F a u lt 141000.04
F a u lt 1570  1.18
F a u lt 1670  1.76
F a u lt 17980.07
F a u lt 18900.10
F a u lt 19990.04
F a u lt 20990.01
A v e ra g e940.30
用故障诊断率(Fault Diagnosis Rate，FDR)和假阳率 (False Positive Rate，FPR)这两个指标评价模型的故障诊断性能。表2为定义的第/类工况的混淆矩阵。
Table 2
表2第/类工况的混淆矩阵
Confusion matrix of type /working conditions N u m b e r o f s a m p le s in N u m b e r o f s a m p le s in ty p e/ w o r k in g th e o th e r c o n d itio n s
c o n
d itio n s(a c tu a l)(a c tu a l)
N u m b e r o f s a m p le s in T P F P ty p e/ w o rk in g
c o n
d itio n s (p r
e d ic te d)
N u m b e r o f s a m p le s in F N T N th e o th e r c o n d itio n s
(p re d ic te d)
F D R和F P R可定义为
FDR=T P
FPR=
T P+F N
F P
F P+T N
(ID
(12)
D R N模型在训练集和验证集上的损失曲线图和F D R曲线如图3(a)和3(b)所示。可以看出，训练约100 次后，模型的损失和F D R逐渐达到收敛。模型在测试 集上的诊断结果如图4所示，图中显示了 21种工况的 诊断情况。图中“0”代表正常工况，“1”代表故障01, 等等；每种工况均用不同颜表示，每个数据显示为一 个带数字标签的点，显示的数字标签(纵坐标)为模型预 测结果，所带颜(横坐标)对应实际所属标签。
P 3 P I P 9 J C
L

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。