第３８卷第２期２０２４年３月
兰州文理学院学报(自然科学版)
J o u r n a l o fL a n z h o uU n i v e r s i t y o
fA r t s a n dS c i e n c e (N a t u r a l S c i e n c e s )V o l ．３８N o ．２
M a r ．２０２４
收稿日期:２０２３Ｇ０６Ｇ１６
作者简介：马攀(１９９９Ｇ)，男，安徽阜阳人，在读硕士，研究方向为深度学习．E Ｇm a i l :１１７６５５３１０７＠q q
．c o m．㊀㊀文章编号:２０９５Ｇ６９９１(２０２４)０２Ｇ００４５Ｇ０６
基于R e s N e t ＧL S TM 组合模型的
网络流量预测研究
马㊀攀
(安徽理工大学电气与信息工程学院，安徽淮南２３２００１
)摘要：对网络流量的准确预测，不仅是网络安全稳定运行的保障，还是运营商合理调度网络资源的重要参考．为了提高网络流量预测精度，提出一种基于残差网络与长短时记忆网络相结合的流量预测方法．首先，使用残差卷积层提取原始数据特征，并将提取的特征向量输入L S TM 各节点，然后,L S TM 细胞单元通过循环连接进行长序列预测，最后，通过输出层输出预测结果．利用淮南汽车站采集到的网络流量数据进行实验仿真，并与卷积网络㊁残差网络和长短时记忆网络预测方法对比，实验结果表明,R e s N e t ＧL S TM 模型预测精度更高．关键词：深度学习；残差网络；长短时记忆网络；网络流量预测中图分类号:T P ３９３㊀㊀㊀文献标志码:A
R e s e a r c ho nN e t w o r kT r a f f i cP r e d i c t i o nB a s e d o nR e s N e t ＧL S T M C o m b i n e dM o d e l
MA P a n
(S c h o o l o fE l e c t r i c a l a n d I n f o r m a t i o nE n g i n e e r i n g
,A n h u iU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y
,H u a i n a n２３２００１,A n h u i ,C h i n a )A b s t r a c t :A c c u r a t e p r e d i c t i o no fn e t w o r
kt r a f f i c i sn o to n l y a g u a r a n t e e f o rn e t w o r ks e c u r i t y a n ds t a b l e o p e r a t i o n ,b u t a l s o a n i m p o r t a n t r e f e r e n c e f o r o p e r a t o r s t o r e a s o n a b l y s c h e d u l e n e t Ｇw o r k r e s o u r c e s ．I no r d e r t o i m p r o v e t h e a c c u r a c y o
f n e t w o r k t r a f f i c p r e d i c t i o n ,a t r a f f i c p r e Ｇd i c t i o nm e t h o db a s e do nt h ec o m b i n a t i o no f r e s i d u a ln e t w o r ka n dl o n
g s
h o r t Ｇt e r m m e m o r y n e t w o r k
i s p r o p o s e d ．T h e r e s i d u a l c o n v o l u t i o n a l l a y e r i s u s e d t o e x t r a c t t h e o r i g
i n a l d a t a f e a Ｇt u r e s ,a n d t h e e x t r a c t e d f e a t u r e v e c t o r s a r e i n p u t t o e a c hL S T M n o d e ,a n d t h eL S T Mc e l l u Ｇn i t s a r e p r e d i c t e db y c y c l i c c o n n e c t i o n s ,a n d f i n a l l y t h e p r e d i c t i o nr e s u l t s a r eo u t p u t t h r o u g h t h e o u t p u t l a y e r ．T h e n e t w o r k t r a f f i c d a t a c o l l e c t e d b y H u a i n a nB u s S t a t i o n i s u s e d f o r e x p
e r i Ｇm e n t a l s i m u l a t i o n ,a n d c o m p a r e dw i t ht h e p r e d i c t i o n m e t h o d so
f c o n v o l u t i o n a l n e t w o r k ,r e Ｇs i d u a ln e t w o r ka n dl o n
g Ｇt e r m s
h o r t Ｇt e r m m e m o r y n e t w o r k ,t h ee x p e r
i m e n t a l r e s u l t ss h o w t h a t t h eR e s N e t ＧL S T M m o d e l h a s h i g h e r p r e d i c t i o na c c u r a c y
．K e y w o r d s :d e e p l e a r n i n g ;r e s i d u a l n e t w o r k ;l o n g s h o r t Ｇt e r m m e m o r y n e t w o r k ;n e t w o r k t r a f Ｇf i c f o r e c a s t i n g
0㊀引言
随着我国互联网的大范围普及，网络流量也
呈指数增长，网络环境愈发复杂．网络流量是网络运行状态的重要反应及网络资源调度的主要参
考，尤其在车站㊁商城等人流多变的场景中，网络
资源的合理调度能够提高网络服务质量[１
]，改善
用户体验．因此，对此类场景网络流量的精准预测具有重要意义．
网络流量受多方因素影响，具有非线性㊁多尺
度等特点[２]．为了精准预测网络流量，国内外研究人员提出多种预测方法．传统的网络流量预测多采用线性预测方法．邹柏贤等[３]建立了网络流量的A R MA模型，用线性最小均方误差预测方法，实现了网络流量的短期预测和过载预警．薛可等[４]在网络流量实际观测数据的基础上建立了改进的A R I MA模型，并与真实流量数据进行实验对比，证明了该模型在预测步数较小的情况下流量预测误差减小至５％．随着互联网的发展，研究人员发现网络流量不仅具有线性变化特性，同时具有随机性㊁混沌性和突变性等非线性变化特性[５]，而线性预测方法难以保证预测精度．近年来，出现了B P神经网络[６]㊁C N N(卷积神经网络)[７]以及R N N(循环神经网络)等非线性模型，提高了预测精度．刘杰等[８]建立了一个时间相关的基于B P神经网络的流量模型预测和分析网络流量状况．相对于传统线性模型，该模型具有较高的预测精度和自适应性，但此模型收敛速度较慢且存在局部极小点．殷齐等[９]提出了C N N与多尺度特征融合的交通流预测模型，采用残差自校验网络与融合多尺度特征的双向门控循环单元相结合结构对城市交通流数据进行预测，有效解决了全局信息的干扰和低层网络的特征信息表征弱的问题，提高了预测精度．文献[１０]提出了一种基于长短期记忆网络结构的地铁站短时客流量预测模型，与传统线
性模型和机器学习模型相比，更能有效提取数据特征，预测准确性更高．文献[１１]提出了基于改进长短时记忆神经网络的５G通信网络流量预测，采用基于压缩感知的改进L S T M算法，将实际流量序列与待预测的流量序列作为模型输入，实现对５G流量数据的精确预测．
研究表明残差网络能够有效抽取高维数据的隐藏特征并解决网络退化问题，长短时记忆网络网络更适合处理时间序列，结合残差网络和长短时记忆网络网络可以发挥两者的优势．基于以上分析，本文构建一种基于残差网络与长短时记忆网络相结合的流量预测模型．
1㊀ResNet与LSTM原理
1.1㊀残差神经网络
传统的卷积神经网络(C N N)随着网络层数的增加，易出现梯度消失和梯度爆炸现象[１２]，针对这种现象一般使用正则初始化(N o r m a l i a z e d I n i t i a l i z a t i o n)或中间正则化层(I n t e r m e d i a t e N o r m a l i z a t i o nL a y e r s)的解决方法，但这种方法可能会导致网络性能饱和甚至退化．为了解决这种问题，何凯明等[１３]提出了残差神经网络(R eＧs i d u a lN e t w o r k s,R e s N e t)．残差网络是在V G G１９网络的基础上，通过跳跃结构加入残差单元，这种跳跃结构使优化目标从等价映射变为向零逼近，解决了增加网络深度时网络性能退化的问题．残差网络是由一个个残差块构成的，残差块结构如图１所示,x为残差网络的输入,f(x)为输入经过两层卷积运算后的结果，即残差项．目标函数为N(x)＝x＋f
(x)．与传统C N N的输出N(x)＝f(x)相比，残差网络是将输入x直接引入一个短路连接到非线性层的输出上，相当于对输入x计算了一个微小变化，这样得到的输出N (x)就是x与变化的叠加
．
图１㊀残差块结构
1.2㊀LSTM网络
循环神经网络(R N N)是一类具有短期记忆功能的神经网络，常用于处理复杂序列数据，网络的输入为序列数据，循环单元按链式连接来扩展时间特征．长短期记忆神经网络(L o n g S h o r t T e r m M e m o r y,L S T M)是一种在循环神经网络的基础上发展起来的特殊递归神经网络，适合处理时间序列数据．L S T M网络中的记忆单元通过控制信息的获取㊁记忆和传输，克服了循环神经网络由于网络深度加深而引起的梯度消失或梯度爆炸问题，极大提高了网络的性能和稳定性．L S T M 的单个细胞块结构如图２所示．
L S T M网络通过在循环神经网络的基础上增加了３种门来实现数据的记忆功能，分别为遗忘门(F o r g e tG a t e)㊁输入门(I n p u tG a t e)和输出门(O u t p u tG a t e)．遗忘门的作用是将上一个细胞块的信息选择性遗忘，输入门用于控制是否将新的数据记录到细胞状态里，输出门则用来控制是
６４㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀兰州文理学院学报(自然科学版)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第３８卷
否输出．具体的计算公式为
:
图２㊀L S T M 基本结构
f t ＝σ(W f  [h t －１,x t ]＋b f )
,(１)式中:f t 为遗忘门的门控系数;h t －１为t －１时刻的隐含层状态;h t －１和x t 作为t 时刻的输入通过遗忘门㊁输入门和输出门．
i t ＝σ(W i  [h t －
１,x t ]＋b i ),(２
)O t ＝σ(W o  [h t －
１,x t ]＋b o )．(３
)式中:i t 和O t 分别为输入门和输出门的门控系
数．
C ~
t ＝t a n h (W C  [h t －
１,x t ]＋b C ),(４
)式中:C ~
t 为候选记忆单元；即t 时刻t a n h 层创建的候选值常量．
C t ＝f t ∗C t －１＋i t ∗C ~
t ,(５)其中,C t －１是上一时刻的记忆单元,C t 是t 时刻
L S T M 单元状态，由通过遗忘门舍弃无用信息和输入门保留的部分有用信息组成．
h t ＝O t ∗
t a n h (C t ),(６
)其中,h t 为通过输出门最终决定保留的部分．
式(１)~(６)中,W f ㊁W i ㊁W o 为门控节点的权重值,
b f ㊁
b i ㊁b o 为门控节点的偏差值,W
c 和b c 分别为记忆单元的权重值和偏差值,σ代表s i g m o i
d 函数．1.3㊀ResNet Ｇ
LSTM 预测模型本文构建了R e s N e t ＧL S T M 网络组合预测模型．残差卷积层提取原始数据特征，并将提取的特征向量输入L S T M 各节点,L S T M 细胞单元通过循环连接进行长序列预测，最后通过输出层输出预测结果．R e s N e t ＧL S T M 网络结构如图３所示
．
图３㊀R e s N e t ＧL S T M 网络结构
㊀㊀残差卷积层由３个残差块组成,
第３个残差块的输入由第１个残差块的输入和第２个残差块的输出两部分组成．每个残差块由一个完整的卷积块(C O N V＋B N＋R e l u )通过C O N V 和B N 并与输入求和，再经过激活函数R e l u 激活构成，残差卷积结构如图４所示
．
图４㊀残差卷积层结构
2㊀实验结果与分析
2.1㊀数据获取
为了验证模型预测效果的有效性，采用淮南汽车站采集到的２０１９年４月２４日开始到２０１９年５月２３日结束，每隔１５m i n 采集一次,
共２８８０组淮南汽车站的移动网络流量数据．
其中８０％为训练集,１０％为测试集,１０％为验证集．网络流量原始数据如图５所示．
2.2㊀数据预处理
由于采集的样本数据波动很大，为提高模型的训练效果，需要对采集到的网络流量数据进行
７
４第２期马攀：基于R e s N e t ＧL S TM 组合模型的网络流量预测研究
图５㊀网络流量原始数据
归一化处理，使输出数据范围在[－１,１]之间，计算公式为:
Dᶄ＝D－D m i n
D m a x－D m i n,(７)式中:D表示原始流量数据;Dᶄ表示归一化后的数据;D m a x和D m i n分别为数据中的最大值和最小值．2.3㊀实验参数设置
本次设计的网络共有２９层，包括输入层㊁残差卷积层㊁L S T M层和输出层．残差卷积层包含３个残差块，每个残差卷积块中第１个卷积层尺寸为５ˑ５ˑ１ˑ３２(卷积核大小为５ˑ５，通道数为１，卷积核数量为３２)，第２个卷积层尺寸为３ˑ３ˑ３２ˑ１．L S T M层隐藏层单元数量设置为１０，激活函数为t a n h㊁s i g m o i d函数及一个r e g r e s s i o n层．
残差卷积层网络参数如表１所列．其中K e rＧn e l n u m b e r代表卷积核的数量,K e r n a l s i z e代表卷积核的大小,S t r i d e代表步长．
2.4㊀预测模型性能分析
为了能直观反映出模型预测效果，我们选取
表１㊀残差卷积层网络参数设置
卷积层K e r n e l n u m b e r K e r n a l s i z e S t r i d e (残差块１)C O N V１３２５ˑ５１(残差块１)C O N V２１３ˑ３１(残差块２)C O N V１３２５ˑ５１(残差块２)C O N V２１３ˑ３１(残差块３)C O N V１３２５ˑ５１(残差块３)C O N V２１３ˑ３１R M S E(均方根误差)和R２(平方相关系数)作为评价标准．R M S E反映平均预测精度,R２衡量预测的稳定性．R M S E越小模型预测精度越高．此外，具有较小R２的预测模型更稳定．R M S E和R２分别定义为:
R M S E(％)＝
ðN i＝１x i－xɡi
()２
Nˑ１００．
(８)
R２＝
NðN i＝１xɡi x i－ðN i＝１xɡiðN i＝１x i
()２
NðN i＝１xɡi２－ðN i＝１xɡi()２
()NðN i＝１x i２－ðN i＝１x i()２
()
．
(９)式中:x i表示实际流量值;xɡi表示预测流量值;N 表示样本数量．
经过反复实验，模型最终采用A d a m O p t i m iＧz e r优化器，学习率为５e－３，当训练次数为５０时，模型的预测效果最好，测试结果如表２所列．
表２㊀４种模型均方根误差和平方相关系数数据
R e s N e tＧL S T M R M S E R２
C N N
R M S E R２
L S TM
R M S E R２
R e s N e t
R M S E R２
训练集１．０６e５４．４７e６３．１１e５６．８１e６１．４４e５５．３８e６２．０e５５．６１e６测试集１．２７e５３．４０e５４．０５e５４．０６e５１．９e５３．５０e５２．８２e５３．７３e５
㊀㊀选取L S T M(长短时记忆网络)㊁C N N(卷积神经网络)和R e s N e t(残差网络)３个经典机器学习算法与本文方法进行预测结果比较．分别从２３０４组训练集数据和５７６组测试集数据两个方面比较４种方法的预测精度．４种算法的训练集预测结果如图６所示,４种算法的测试集预测结果如图７所示．R e s N e tＧL S T M的预测曲线与真实数据曲线更贴近，具体结果如图８所示．
从表２可以看出４种模型中本文提出模型的R M S E和R２都最小，说明该模型的预测数据与原数据最接近且模型更稳定，其次预测效果较好的是L S T M网络，而C N N和R e s N e t网络的预测效果则相对较差．
正则化线性模型
3㊀结语
本文提出了基于R e s N e tＧL S T M组合模型的移动流量预测研究，以淮南汽车站为实验对象，将采集到的流量数据划分为训练集和预测集并分别对两个数据集进行预测，与C N N㊁L S T M和R e sＧN e t３种算法进行预测精度比较，实验结果表明,
８４㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀兰州文理学院学报(自然科学版)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第３８卷
(a)C N N
训练集预测结果(b)L S TM
训练集预测结果
(c)R e s N e t
训练集预测结果(d)R e s N e tＧL S TM训练集预测结果
图６㊀４
种方法训练集预测结果
(a)C N N
测试集预测结果果(b)L S TM 测试集预测结果
(c)R e s N e t 测试集预测结果(d)R e s N e tＧL S TM测试集预测结果
图７㊀４种方法测试集预测结果
９４第２期马攀：基于R e s N e tＧL S TM组合模型的网络流量预测研究

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。