第48卷第4期西南师范大学学报(自然科学版)2023年4月V o l.48N o.4  J o u r n a l o f S o u t h w e s t C h i n aN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)A p r.2023
D O I:10.13718/j.c n k i.x s x b.2023.04.003
基于A E-L S T M混合神经网络模型
的N O x排放预测①
苏盈盈，张气皓，罗妤，周昊，何亚平，阎垒
重庆科技学院电气工程学院，重庆401331
摘要：通过建立有效的N O x浓度预测模型，可降低垃圾焚烧厂产生的N O x排放.N O x浓度受多个过程变量的影响，针对变量的时序特征和空间特征，提出了一种基于自动编码器(A E)和长短期记忆(L S TM)神经网络的N O x浓度预测方法.自动编码器用于提取原始数据的深层次多维信息特征，并将其转换为低维数据特征.这样可以保留原始数据的大量信息，同时降低网络预测的复杂性.长短期记忆神经网络则用于建立N O x浓度预测模型，该模型可以自动识别数据中的时序特征和空间特征，并用于训练和优化L S TM网络参数.该研究以重庆市某垃圾焚烧厂某锅炉的燃烧数据作为研究对象，并使用数据挖掘技术对原数据进行处理.接着，使用自动编码器(A E)提取数据的深层次多维信息特征，并将其输入到L S TM网络中进行建模.通过标
准化工况数据进行训练和优化L S TM网络参数，最终建立了改进的A E-L S TM的N O x浓度预测模型.实验结果表明，该改进模型相较于L S TM模型，预测准确率提高了5.4%且均方根误差降低了0.128，证明了该研究所采用的方法具有很好的应用价值，可以有效降低垃圾焚烧厂产生的N O x排放.
关键词：预测模型；长短期记忆神经网络；混合神经网络
中图分类号:T K223文献标志码:A文章编号:10005471(2023)04002309
N O x E m i s s i o nF o r e c a s t i n g B a s e d
o nA E-L S T M H y b r i dN e u r a lN e t w o r k
S U Y i n g y i n g,Z HA N G Q i h a o, L U O Y u,
Z HO U H a o, H EY a p i n g, Y A NL e i
C o l l e g eo f E l e c t r i c a l E n g i n e e r i n g,C h o n g q i n g U n i v e r s i t y o f S c i e n c ea n dT e c h n o l o g y,C h o n g q i n g401331,C h i n a
A b s t r a c t:
B y e s t a b l i s h i n g a n e f f e c t i v eN O x c o n c e n t r a t i o n p r e d i c t i o nm o d e l,t h eN O x e m i s s i o n s f r o m w a s t e i n c i n e r a t i o n p l a n t s c a n b e r e d u c e d.T h eN O x c o n c e n t r a t i o n i s a f f e c t e d b y m u l t i p l e p r o c e s s v a r i a b l e s.A N O x c o n c e n t r a t i o n p r e d i c t i o nm e t h o db a s e do na n a u t o e n c o d e r(A E)a n d a l o n g s h o r t-t e r m m e m o r y n e u r a l n e t-w o r k(L S T M)i s p r o p o s e d,t a k i n g i n t o a c c o u n t t h e t e m p o r a l a n d s p a t i a l f e a t u r e s o f t h e v a r i a b l e s.T h e a u-
①收稿日期:20220417
基金项目：重庆市自然科学基金项目(N o.c s t c2019j c y j-m s x m X0220,N o.C S T B2022N S C Q-M S X1425)；重庆市教育委员会科学技术研究项目(K J Q N202101510).
作者简介：苏盈盈，博士，教授，硕士生导师，主要从事人工智能研究.
通信作者：罗妤，博士，讲师.
42西南师范大学学报(自然科学版)h t t p://x b b j b.s w u.e d u.c n第48卷t o e n c o d e r(A E)i s u s e d t o e x t r a c t t h e d e e p-l e v e lm u l t i d i m e n s i o n a l i n f o r m a t i o n f e a t u r e s o f t h e o r i g i n a l d a t a a n d t r a n s f o r mt h e mi n t o l o w-d i m e n s i o n a l d a t a f e a t u r e s,w h i c h
c a n p r e s e r v e a l a r g e a m o u n t o f i n f o r m a t i o n f r o mt h e o r i g i n a l d a t aw h i l e r e d u c i n g t h e c o m p l e x i t y o f t h e p r e d i c t i o nn e t w o r k.T h e l o n g s h o r t-t e r m m e m-o r y n e u r a l n e t w o r k(L S T M)i s u s e d t o e s t a b l i s h t h eN O x c o n c e n t r a t i o n p r e d i c t i o nm o d e l,w h i c h c a n a u t o-m a t i c a l l y i d e n t i f y t h e t e m p o r a l a n d s p a t i a l f e a t u r e s i n t h e d a t a a n d i s u s e d t o t r a i n a n do p t i m i z e t h eL S T M n e t w o r k p a r a m e t e r s.T h i ss t u d y t a k e st h ec o m b u s t i o nd a t ao fab o i l e r i na w a s t ei n c i n e r a t i o n p l a n t i n C h o n g q i n g a s t h e r e s e a r c ho b j e c t a n du s e s d a t am i n i n g t e c h n o l o g y t o p r o c e s s t h eo r i g i n a l d a t a.T h e n,t h e a u t o e n c o d e r(A E)i su s e dt oe x t r a c tt h ed e e p-l e v e l m u l t i d i m e n s i o n a l i n f o r m a t i o nf e a t u r e so ft h ed a t a, w h i c h a r e i n p u t i n t o t h eL S T Mn e t w o r k f o rm o d e l i n g.T h e i m p r o v e dA E-L S T M N O x c o n c e n t r a t i o n p r e d i c-t i o nm o d e l i s e s t a b l i s h e d b y t r a i n i n g a n d o p t i m i z i n g t h eL S T Mn e t w o r k p a r a m e t e r sw i t h s t a n d a r d i z e d o p e r-
a t i n g c o n d i t i o nd a t a.E x p e r i m e n t a l r e s u l t s s h o wt h a t t h e i m p r o v e dm o d e l i n c r e a s e s t h e p r e d i c t i o na c c u r a c y
b y5.4%a n d r e d u
c e s t h e r o o t-m e a n-s q u a r ee r r o rb y0.128c o m p a r e
d t o t h eL S T M m o d
e l,d e m o n s t r a t i n g t h a t t h em e t h o d a d o p t e d i n t h i s s t u d y h a s g o o d a p p l i c a t i o nv a l u e a n d c a n e
f f e c t i v e l y r e d u c eN O x e m i s s i o n s f r o m w a s t e i n c i n e r a t i o n p l a n t s.
K e y w o r d s:p r e d i c t i o nm o d e l;l o n g a n d s h o r t-t e r m m e m o r y n e u r a l n e t w o r k;h y b r i dn e u r a l n e t w o r k
从环境保护的角度考虑，垃圾焚烧厂需要建立一个能够反映锅炉燃烧变量和排放尾气N O x浓度之间关系的模型，以便能够快速响应对N O x尾气的控制.N O x是垃圾焚烧发电厂的主要排放物之一，对环境和人类健康有害[1].人们已经考虑采用不同的技术来减少N O x的排放，例如低N O x燃烧技术[2]㊁选择性催化还原(S e l e c t i v eC a t a l y t i cR e d u c t i o n,S C R)和非催化还原(S e l e c t i v eN o n-C a t a l y t i cR e d u c t i o n,S N C R)技术[3-4].
随着机器学习的不断发展，许多研究者开始利用神经网络(A r t i f i c i a lN e u r a lN e t w o r k,A N N)[5]对N O x浓度进行建模和预测.其中，文献[6]引入了一个具有外部输入神经网络的非线性自回归模型，以建立一个动态模型来预测N O x的排放.文献[7]使用人工神经网络开发了一个预测210MW煤粉锅炉满负荷
条件下N O x排放的模型，并发现所提出的方法可用于生成可行的运行条件.除了人工神经网络，支持向量机(S u p p o r tV e c t o rM a c h i n e,S VM)[8-9]和极限学习机(E x t r e m eL e a r n i n g M a c h i n e,E L M)[10-11]也被引入用以模拟燃煤电厂N O x的排放.这些预测模型和方法都是在原有模型上进行的改进，虽然预测精度有所提高，但是同时也带来了更大的时间开销.正则化标准化
由于浅层网络模型的泛化能力不强，不能很好地适用于多种对象，因此，通过加深网络深度可优化浅层网络模型.文献[12-13]建立了最小二乘支持向量机L S-S VM预测模型，实现排放量等多种参数的软测量，随后将建立的模型与B P(B a c kP r o p a g a t i o n,B P)神经网络模型进行对比，结果表明基于最小二乘支持向量机的网络模型的预测结果和运行速度均优于B P神经网络模型.文献[14]采用风驱动算法和基于混沌分组教与学算法优化极端学习机的N O x模型，通过参数调整及模型优化方法对N O x的预测提供了指导.文献[15]采用混沌分组教与学优化算法对N O x的预测建模，该模型具有较好的辨识与泛化能力，可以为解决工程实际问题提供思路.文献[16]在超临界机组的基础上，提出了一种改进的差分量子粒子(D i f f e r-e n t i a l E v o l u t i o nQ u a n t u m P a r t i c l eS w a r m O p t i m i z a t i o n,D E Q P S O)算法，将其与极限学习机E L M相结合从而达到对N O x的排放预测.文献[17]提出了一种改进的最优觅食算法，并用该算法对锅炉N O x的排放特性进行建模.然而，上述运用传统的方式搭建的神经网络注重于数据的内部时序特征，却忽略了数据内部的空间特征联系，导致其模型对N O x的浓度预测精度低.
为了提高模型预测精度，本研究提出了一种基于自动编码器(A E)和长短期记忆神经网络(L S T M)的预测
模型.首先，对原始数据进行标准化处理，剔除掉数据的异常值和缺失值；然后，使用A E自动编码器来提取数据深层次的多维信息特征；最后，将标准化后得到的数据输入L S T M网络中进行建模，并优化网
络参数，建立基于A E -L S T M 的N O x 浓度预测模型.最终，以重庆市某垃圾焚烧厂某锅炉的燃烧数据作为研究对象来验证该预测模型的准确性.1 L S T M 网络模型
长短期记忆(L o n g S h o r tT e r m M e m o r y
,L S T M )网络是一种具有记忆机制的神经网络，可以处理不同时间步的序列长度，以及能够学习到时间序列的关系等特点，因此可以非常有效地进行时间序列的建模.L S T M 与循环神经网络(R e c u r r e n tN e u r a lN e t w o r k ,R N N )最主要的不同就是L S T M 有多个门控机
制，如图1所示的L S T M 细胞图结构，其中，红圆圈代表S i g m o i d 函数，蓝圆圈代表T a n h 函数，输入门可以控制数据信息通过该门进入到L S T M 细胞中；遗忘门可以决定L S T M 细胞对数据的遗忘程度，即保留或者丢弃数据信息；输出门则控制L S T M 细胞的输出.图1 L S T M 细胞结构
数据在经过输入x t ，隐藏层h t 的输出以及上一单元的输出h t -1后，由此得到输入状态为C t  ，输出状态为C t 和先前的状态为C t -1.此外，门状态取i t ,f t 和o
t .C t 和h t 通过网络传播.为了获得这2个值，第一，需要计算3个门的状态和单元输入的状态:
1)输入门I n p u t g a t e i t =σ(W i 1㊃x t +W i h ㊃h t -1+b i )(1)C t  =t a n h (W c 1㊃x t +W c h ㊃h t -1+b c )(2) 其中,C t  为输入状态,h t -
1为上一单元的输出,x t 为当前时刻的输入,b i 为输入门的偏置,b c 为细胞入口的偏置.
2)遗忘门F o r g e t g a t e 遗忘门决定应丢弃或保留 哪些信息 .f t =σ(W f 1㊃x t +W f h ㊃h t -1+b f )
(3) 其中,f t 为0~1之间的数,h t -1为上一单元的输出,x t 为当前时刻的输入.3)输出门O u t p
u t g a t e o t =σ(W o 1㊃x t +W o h ㊃h t -1+b o )(4
) W 01为连接x t 到输出门的权重数组,W 0h 为将h t -1连接到输出门的权重矩阵.第二，计算单元的输出状态:
C t =i t ㊃C t  +f t ㊃C t -1(5
) 其中,C t ,i t ,C t  ,f t ,C t -
1具有相同的矩阵大小.第三，计算隐藏层的输出:h t =o t ㊃
t a n h (C t )(6
)5
2第4期      苏盈盈，等：基于A E -L S T M 混合神经网络模型的N O x 排放预测
62西南师范大学学报(自然科学版)h t t p://x b b j b.s w u.e d u.c n第48卷单元的输出定义为
x~t+1=W2㊃h t+b(7)其中,W2是2个元素之间的权重,b为输入层和输出层的偏置.
L S T M网络模型如图2所示，包含输入层㊁2个隐含L S T M层㊁2个D r o p o u t层和一个D e n s e全连接层，共6个部分组成.该模型是用于N O x数据处理的，数据首先经过输入层后进入第一层隐含L S T M层, L S T M单元计算处理后得到输出状态和隐藏状态.为了避免过拟合，经过一个D r o p o u t层进行正则化处理后，数据再次输入到第二层隐含L S T M层，得到新的输出状态和隐藏状态.在这之后，数据再经过一个D r o p o u t层进行正则化处理，以进一步减少过拟合.最后，正则化后的数据输入到D e n s e全连接层，计算预测值，并输出N O x浓度的预测结果.
图2 L S T M网络模型结构
2A E-L S T M混合神经网络模型
2.1A E-L S T M网络结构
自动编码器(A u t o e n c o d e r,A E)是一种网络模型，对于神经网络的发展起到了促进作用，尤其在对高维复杂数据的特征提取方面具有重要作用.自动编码器的网络结构图如图3所示.它是一种单隐含层的无监督学习模型，自动编码器通过对内在特征的不断持续学习，对输入层和输出层进行误差计算，使得两者之间的误差尽可能小，从而得到高维数据的特征输出.这个过程起到了数据降维的作用，其作用类似于主成分分析法㊁因子分析法等.与传统的数据降维方法相比，自动编码器能够更有效地提取新特征.
图3自动编码器结构图
如上图所示，自动编码器的输入为x1,x2,x3, ,x n，通过编码过程得到隐含层的输出为h1,h2,h3, ,
h n ，再将隐含层的输出经过解码过程到输出层得到x '1,x '2,x '3, ,x 'n ，计算输入层数据与输出层数据的误
差(x n -x 'n )2，人工创建编码器的输出特征，在特定范围内可以代表原始数据集.编码过程如下所示:h =S (W ㊃x +b )(8) 其中,h 为自动编码器的编码函数输出，也称之为隐含层的特征变量,S 为自动编码器编码过程的激活函数，一般使用S i g m o i d 函数,W 为输入层到隐含层的网络连接权重,b 为网络偏置.通过解码过程得到输出层数据，再通过解码与编码的过程重构原始数据，保留原始数据中的重要特征.解码过程为
x '=S (W T ㊃h +b ')(9) 其中,x '为解码器的重构信息,S 为自动编码器解码过程的激活函数，该激活函数使用S i g
m o i d 函数,W T 为隐含层到输出层的网络连接权重,b '为网络偏置.经过自动编码器的编码和解码过程后，输入数据x 映射为隐含层的特征h ，再将特征h 重构后输出为x '.
为了确保最后的输出特征能够有效地代表原始数据，保留有原始数据的大部分信息，所以需要计算输入数据和输出数据的误差，对于自动编码器的误差损失函数通常为均方误差，公式如下:
J (W ,b ,b ')=12ðn i =1
(x i -x 'i )(10) 自动编码器能够自动将高维数据特征提取至低维数据特征，同时还能保留原始数据的大量信息，保证数据的有效性不受破坏.这些低维数据特征可以被输入到L S TM 神经网络中,L S T M 网络通过不断学习权重参数来获得收敛，降低网络的预测复杂性，从而提高了预测的性能.A E -L S T M 神经网络的结构如图4所示，该网络结构由两部分组成，第一部分是自动编码器，利用自动编码器将输入数据的高阶特征转换为低阶特征，并保留原始数据的信息.第二部分是L S T M 神经网络，该部分将自动编码器输出的低阶有效数据输入到网络中，并对N O x 进行预测，从而得到预测值.
图4 A E -L S T M 模型结构图
2.2 A E -L S T M 模型预测设计框架A E -L S T M 模型的预测过程如图5所示.首先，预处理好的数据集被划分为训练集和测试集.训练集用于训练模型的内部参数，得到收敛的预测模型，而测试集用于监测模型的预测性能.具体而言，原始数据首先输入自动编码器中，通过自动编码器的编码和解码过程得到低维度数据特征，然后将此数据输入L S T M 网络中，经过L S T M 网络的学习和调整，得到收敛的A E -L S T M 网络.最后，将训练好的模型用于测试集上，得到预测值和真实值，并使用准确率和误差等指标来评估模型的性能.1)将处理好的数据矩阵划分成训练集与测试集;2)将数据输入A E 中得到低维数据特征;
7
2第4期      苏盈盈，等：基于A E -L S T M 混合神经网络模型的N O x 排放预测

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。