基于可变时序移位Transformer−LSTM 的
集成学习矿压预测方法
李泽西
（西安科技大学  通信与信息工程学院，陕西  西安　710054）
摘要：现有的矿压预测模型多为依赖固定长度时序序列特征的单一预测模型，难以准确捕捉矿压时序数据的复合特征，影响矿压预测的准确度。针对该问题，提出一种基于可变时序移位Transformer−长短时记忆（LSTM ）的集成学习矿压预测方法。基于拉依达准则和拉格朗日插值法，剔除矿压监测数据中的异常值，插入缺失值，并进行归一化预处理；提出可变时序移位策略，划分不同尺度的矿压时序数据，避免固定长度时序序列可能存在的数据偏移问题；在此基础上，构建基于Transformer−LSTM 的集成学习矿压预测模型，通过结合注意力机制和准确的时序特征表示能力，多层次捕捉矿压变化规律的动态特征，采用集成学习的投票算法，联合预测矿压数据，克服单一预测模型的局限性。实验结果表明：采用集成学习的投票算法可降低矿压预测平均绝对误差（MAE ）和均方根误差（RMSE ）的波动性，有效减小不同尺度特征序列对矿压预测结果的敏感性影响；Transformer−LSTM 模型在2个综采工作面顶板矿压数据集上预测结果的MAE 较Transformer 模型分别提高了8.9%和9.5%，RMSE 分别提高了12.7%和16.5%，且高于反向传播（BP ）神经网络模型和LSTM 模型，有效提升了矿压预测准确度。
关键词：矿压预测；可变时序移位；Transformer−LSTM 模型；集成学习；投票算法中图分类号：TD323    文献标志码：A
Ensemble learning mine pressure prediction method based on
variable time series shift Transformer-LSTM
LI Zexi
(College of Communication and Information Technology, Xi'an University of
Science and Technology, Xi'an 710054, China)
Abstract : The  existing  mine  pressure  prediction  models  are  mostly  single  prediction  models  that  rely  on fixed length time series features. It is difficult to accurately capture the composite features of mine pressure time series data, which affects the accuracy of mine pressure prediction. To solve this problem, an ensemble learning mine pressure prediction method based on variable time series shift Transformer-long short-time memory (LSTM)is proposed. Based on the Laida criterion and Lagrange polynomial method, the outlier values in the mine pressure monitoring data are eliminated, and the missing values are inserted. Then normalized preprocessing is performed.The paper proposes a varia
ble time series shift strategy to divide mine pressure time series data at different scales.It avoids potential data shift issues that may exist in fixed length time series. On this basis, the ensemble learning mine  pressure  prediction  model  based  on  Transformer-LSTM  is  constructed. By  combining  the  attention mechanism  and  the  accurate  time  series  feature  representation  capability, the  dynamic  features  of  the  mine pressure change law are captured at multiple levels. The voting algorithm of ensemble learning is used to jointly predict the mine pressure data to overcome the limitations of a single prediction model. The experimental results show that the voting algorithm of ensemble learning can reduce the volatility of mean absolute error (MAE) and
收稿日期：2023-05-10；修回日期：2023-07-10；责任编辑：李明。
作者简介：李泽西（2001—），男，湖北孝感人，研究方向为人工智能、电子信息技术在煤矿领域的应用，E -mail ：1632982226@qq 。引用格式：李泽西. 基于可变时序移位Transformer−LSTM 的集成学习矿压预测方法[J ]. 工矿自动化，2023，49（7）：92-98.
LI Zexi . Ensemble learning mine pressure prediction method based on variable time series shift Transformer -LSTM [J ]. Journal of Mine Automation ，2023，49（7）：92-98
.
第 49 卷 第 7 期工　矿　自　动　化
Vol .49 No .72023 年 7 月
Journal of Mine Automation
Jul . 2023
文章编号：1671−251X （2023）07−0092−07
DOI ：10.13272/j.issn.1671-251x.18142
root mean square error (RMSE) of mine pressure prediction. It effectively reduces the sensitivity impact of different scale feature series to the mine pressure prediction results. Compared with the Transformer model, the MAE of the Transformer-LSTM model's prediction results on two roof mine pressure datasets of fully mechanized working faces improves by 8.9% and 9.5% respectively, and the RMSE has increased by 12.7% and 16.5% respectively. The above indexes are also higher than those of back propagation (BP) neural network model and LSTM model. The method proposed in the paper effectively improves the accuracy of mine pressure prediction.
Key words: mine pressure prediction; variable time series shift; Transformer-LSTM model; ensemble learning; voting algorithm
0　引言
随着煤炭开采深度的增加，矿压显现规律的研究仍是煤炭开采的重要课题。矿压是煤矿生产中不可避免的问题，其变化规律的研究能够揭示煤炭开采的物理本质和变形机制[1]，为煤矿安全生产提供科学依据。因此，针对矿压预测问题的研究持续受到关注[2]。目前，矿压预测方法已由早期的物理力学、统计学等方法[3]逐步转变为以浅层神经网络预测模型[4-5]、深度神经网络预测模型和其他类别机器学习模型[6-8]为主的预测方法。
国内外学者针对综采工作面矿压预测问题进行了大量研究工作，主要分为3类：① 基于物理理论的矿压预测方法。惠艳荔[9]利用电磁辐射技术预测采煤工作面的矿压，通过对采煤机推进过程中产生的采动应力分布情况进行分析，成功预测了矿压发生的情况。李静等[10]提出了一种基于CT技术的矿压灾害预测方法，利用CT技术反演待开采工作面的应力场，预测可能发生矿压事故的区域范围，并实时监测和分析矿震特征，提前预报矿压事故的发生。
② 基于模糊数学的矿压预测方法。Li Ye等[11]利用模糊认知图技术构建了一种矿压预测模型，在引入遗漏正则化和权重正则化基础上，提出了实数编码遗传算法，用于矿压预测。霍丙杰等[12]建立了矿压显
现分级预测指标体系，并利用模糊数学理论构建了矿压显现强度分级预测模型，能够准确刻画坚硬顶板厚煤层的矿压显现特征。③ 基于机器学习的矿压预测方法。赵铭生等[13]利用遗传算法优化反馈神经网络，建立了矿压毁坏高度的预测模型，在矿压破坏深度预测方面具有更高的预测精度。赵毅鑫等[14]基于实测矿压数据，利用长短时记忆 （Long Short-Term Memory，LSTM）模型对工作面支架工作阻力、初次来压与周期来压等矿压显现规律进行分析，实验结果表明该方法较基于反馈神经网络的预测方法具有更高的准确性。曾庆田等[15]提出了融合相邻多架影响的Prophet+LSTM矿压数据预测模型，通过数字信号处理技术减少噪声和随机误差，结合Prophet 和LSTM模型特性，通过添加额外回归变量融合相邻支架矿压数据，构建组合模型，实现工作面矿压预测，通过实验验证了该模型优于反馈神经网络和自回归积分滑动平均模型（Autoregressive Integrated Moving Average Model，ARIMA），具有更强的稳定性和准确性。李泽萌[16]研究了LSTM模型时间窗设置对综采工作面矿压预测精度的影响，通过优化历史数据和预测数据长度，显著提高了预测结果的准确性。
目前，基于机器学习的矿压预测方法已广泛应用于采矿领域。矿压数据具有时序性和非线性特性，其变化受多种因素（采煤工艺、地质条件等）的影响。而基于机器学习的矿压预测方法大多采用单一预测模型，较依赖固定长度时序序列特征，难以有效捕捉其复合特征，影响矿压预测的准确度。为解决该问题，本文以综采工作面实测的顶板矿压数据为研究对象，提出了一种基于可变时序移位Transformer−LSTM的集成学习矿压预测方法：基于拉依达准则和拉格朗日插值法，剔除矿压监测数据
中的异常值，插入缺失值，并进行归一化数据预处理；提出可变时序移位策略，通过划分不同尺度的矿压时序数据，避免固定长度时序序列可能存在的数据偏移问题；构建基于Transformer−LSTM的集成学习矿压预测模型，通过多层次捕捉矿压变化规律的动态特征，联合预测矿压数据，克服了单一预测模型的局限性。
1　矿压预测方法
基于可变时序移位Transformer−LSTM的集成学习矿压预测方法主要包括矿压数据预处理、基于可变时序移位的矿压数据划分、基于Transformer−LSTM模型的集成学习矿压预测3个部分，如图1所示。
1.1　矿压数据预处理
现代化煤矿企业在井下施工时通常会配备监测系统，可实时记录开采环境及设备状态参数。但当监测设备发生系统故障或受到其他因素干扰时，监测数据可能会受到显著的扰动，产生与真实值存在
2023 年第 7 期李泽西： 基于可变时序移位Transformer−LSTM的集成学习矿压预测方法•  93  •
较大差异的异常数据，影响监测数据后续应用。因此，需对监测数据进行针对性的预处理和数据清洗。采用拉依达准则[17]检测矿压数据中的异常值，其对于大量的矿压监测数据具有显著效果。该方法通过计算数据的标准偏差，并根据一定的概率设置范围实现异常数据检测。超过该范围的误差称为严重误差，
达到这种严重误差的数据即为异常数据。异常值检测公式为
σn x i i x 式中：为标准偏差；为矿压数据总数；为第个矿压数据；为矿压数据的算术平均值。
煤矿井下监测设备易受到干扰，引起系统操作故障，甚至使传感器脱离系统，导致矿压监测数据缺失。采用拉格朗日插值方法[18]插值缺失的矿压数据，从而减小误差，提高数据的完整性和准确性。
在此基础上，考虑矿压为多变量数据，存在不同量纲和数值的差异，直接应用会对模型训练和测试造成影响。因此，采用数据归一化方法（式（3））将矿
压样本数据映射到[0，1]区间，保证不同变量之间的数值范围相同，减小对于数据的偏好和权重分配，保证模型预测的精度和稳定性。
x ∗i i x min x max 式中：为第个矿压数据的归一化值；为矿压数据最小值；为矿压数据最大值。
1.2　基于可变时序移位的矿压数据划分
考虑矿压数据通常包含复杂的时间序列模式和周期性变化，提出一种可变时序移位策略，避免固定长度时序序列可能存在的数据偏移问题。
P ={X 1，X 2，···，
X n }X m 假设综采工作面某液压支架监测数据含n 个按时间顺序排列的数据，时间序列为，为该支架在m 时刻的矿压监测值，m =1，2，…，
P P (m )={X m −t +1，X m −t +2，···，X m −1，
X m }n 。若以m 时刻为当前时刻，则矿压数据前t 时刻的时间序列可表示为。为了划分可变时序移位的矿压数据，以m 时刻
监测数据为基础，通过移动非固定长度的窗口，获取不同尺度的时序序列：
y k 式中为尺度k 的时序序列。
进行矿压预测时，将不同尺度的时序序列依次注入基于Transformer−LSTM 的集成学习矿压预测模型。
1.3　基于Transformer−LSTM 的集成学习矿压预测
模型
Transformer 模型是一种基于自注意力机制的序
列建模模型，由编码块和解码块组成，每个块都由多个独立的编码层（Encoder ）或解码层（Decoder ）堆叠构成[19]。每个编码层包含多头注意力层（Multi-Head Attention ）、全连接层（FFN ）和正则化层（Add  &Norm ），而每个解码层则包含2个多头注意力层。Transformer 模型采用位置编码（Positional Encoding ）策略获取输入序列中的相对位置信息，通过多头注意力机制实现在不同子空间上关注不同的细节信息。
LSTM 模型是一种循环神经网络（Recurrent Neural Network ，RNN ）的变体，专门设计用于处理和建模具有时序特征的序列数据[20]。相较于其他类型的RNN 模型，LSTM 模型能够更好地捕捉时序数据中的长期依赖关系，保证模型的准确性，目前已广泛应用于矿压预测。
为了更好地捕捉时序数据中潜在的矿压变化规律，基于传统Transformer 模型结构，将解码器修改为全连接层，并在解码器中引入1个LSTM 模块，构建了Transformer−LSTM 模型，如图2所示。
在此基础上，将不同尺度的矿压数据分别注入Transformer 模型的多头注意力机制中，然后计算不
矿压数据
可变时序移位的序列划分
基于 Transformer−LSTM 的集成学习矿压预测模型Transformer−LSTM 模型集成学习
预测值
Y 1预测值 Y 2
预测值 Y k
投票算法
矿压预测
403530矿压/a
真实值预测值
25
20
220222224测试数据序号
226228230
Encoder Add&Norm Add&Norm
Add&Norm
Add&Norm
Multi-Head Attention Positional Encoding
Feed Forward
t
Feed
Forward
LSTM
Decoder Linear
时序移位
序列 1[X 1, X 2···, X m ][X 2, X 3···, X m ][X k , X k +1···, X m ]序列 2序列 k 不同尺度的时序序列
数据预处理异常值处理缺失值
处理
图 1    基于可变时序移位Transformer−LSTM 的集成学习矿压预测方法
Fig. 1    Ensemble learning mine pressure prediction method based on variable time series shift Transformer-LSTM
•  94  •
工矿自动化
第 49 卷
同时序序列的特征权重。这些权重用于局部注意力机制，以便模型在每个时间点仅关注该尺度内时序数据的局部矿压变化特征，最终捕捉到不同尺度下的多层次矿压变化特征。在上述过程中，通过采用相对位置编码，使Transformer 模型能够对时序数据进行编码。由此，可将不同尺度的时序数据特征通过Transformer 模型输出，并利用拼接方式实现矿压变化特征的向量表示，以便后续矿压预测。具体过程如下。
X ′
m X ′
m 1） 对于输入的时序数据X m ，将其分解成不同尺度的时序序列片段，每个片段在时间维度上关注某
个局部时序序列特征，由此得到时序序列矩阵。将注入Transformer 模型中的多头注意力机制，得到局部特征表示A m 。
S m M (m )2） 分别计算不同时序序列的特征权重，用于计算局部自注意力分数。
W q ,W k ,W v 式中为权重矩阵。
3） 将Transformer 模型输出的各特征向量进行拼接，构成不同尺度下矿压数据的特征向量表示H 。
正则化和归一化的关系
4） 将特征向量表示H 注入LSTM 模型，进一步抽取时序特征。
Y t
m LSTM(·)W m θm 式中：为t 时刻的隐藏状态；为LSTM 模型
的时序特征提取函数；为LSTM 模型训练过程中学习的参数矩阵；为LSTM 模型的超参数。
p ′1，p ′2，···，p ′
m
通过上述过程，针对不同尺度的矿压序列可得
预测值。引入集成学习方式，通过投票
算法计算出最终矿压预测结果：
采用集成学习的投票算法可克服单一预测模型自身的局限性，提高矿压预测的准确性和稳定性。
2　实验及结果分析2.1　数据集
采用某煤矿2个不同位置的综采工作面上液压
支架压力采集器监测数据进行实验。2个综采工作面均布置121台液压支架。从1号液压支架开始，每间隔5台液压支架装设1台压力采集器，监测液压支架左右柱压力，并以此作为1个矿压测站。1个工作面上共设置25个测站，局部如图3所示。
胶带运输巷
综采工作面
13 号测站12 号测站11 号测站10 号测站9 号测站8 号测站7 号测站6 号测站5 号测站4 号测站3 号测站
2 号测站
1 号测站
61 号架56 号架51 号架46 号架41 号架36 号架31 号架26 号架21 号架16 号架11 号架6 号架1 号架
辅助运输巷图 3    综采工作面矿压测站局部布置
Fig. 3    Local layout of mine pressure measuring stations in
fully mechanized working face
通过分析综采工作面各液压支架压力实测数据发现，工作面两侧液压支架压力监测数据明显小于中间数据。这与文献[21]中“顶板岩层‘O−X’型破断规律对液压支架工作阻力的影响”相符，即工作面中部液压支架的工作阻力明显比工作面上部和下部液压支架的工作阻力大。因此，分别将2个综采工作面中部13号测站的监测数据作为时序矿压数据预测的研究对象，构建数据集1和数据集2。对矿压数据进行预处理之后，数据集1共有15 640条矿压数据，数据集2共有20 360条矿压数据。基于上述2个数据集，验证本文方法的预测效果。
部分矿压监测数据见表1。实测矿压数据由6个字段组成：时间、支架编号、采集器编号、左柱压力、右柱压力、整架压力。其中，时间表示压力采集器采集数据的时间点；支架编号表示液压支架序号；采集器编号表示该液压支架上压力采集器的编号；左柱压力表示在同一时间下压力采集器所采集的液
Add & Norm
Encoder
FFN
Add & Norm Multi-Head
Attention
Positional Encoding
Input
Linear & Softmax
Output 图 2    Transformer−LSTM 模型结构Fig. 2    Transformer-LSTM model structure
2023 年第 7 期
李泽西： 基于可变时序移位Transformer−LSTM 的集成学习矿压预测方法
•  95  •
压支架左柱油缸压力；右柱压力表示采集的液压支架右柱油缸压力；整架压力表示在当前时间点该液压支架所受的工作阻力，可根据左右柱压力来计算，即
式中p all ，p l ，p r 分别为整架压力、左柱压力、右柱压力。
表 1    13号测站部分矿压监测数据
Table 1    Part of measured mine pressure data of No.13 station
时间
支架编号采集器编号左柱压力/MPa 右柱压力/MPa 整架压力/MPa 2020−05−06T12:25:00611322.4019.3020.852020−05−06T12:30:00611322.1018.6020.352020−05−06T12:35:00611322.1018.1020.102020−05−06T12:40:00611321.9017.2019.552020−05−06T12:45:00
61
13
21.90
16.70
19.30
在每条矿压数据中，p all ，p l ，p r 与检测时间相对应，因此均为时序矿压数据。整架压力表示液压支架在不同时刻承受的负荷，将其作为预测指标。
2.2　评价指标
选择平均绝对误差（Mean Absolute Error ，MAE ）
和均方根误差（Root Mean Square Error ，RMSE ）对模型预测精度进行评价。
p t ˜p t 式中：E MAE ，E RMSE 分别为预测结果的MAE 和RMSE ；
为t 时刻矿压真实值；为t 时刻矿压预测值。
通常来说，MAE
和RMSE 越小，表示模型预测精度越高，模型预测效果越好。
2.3　对比实验
对不同矿压序列下的预测指标进行可视化分
析，结果如图4所示。可看出针对可变尺度的矿压数据，矿压预测结果的MAE 和RMSE 波动明显，说明不同尺度的时序特征序列对于矿压预测的准确度有较大的敏感性。因此，采用集成学习的投票算法对多个预测结果进行融合平均，以降低不同尺度的特征序列因噪声等因素对矿压预测结果产生的干扰。基于该算法得到的矿压预测结果总体趋势与未采用该算法时近似，但波动明显减小，有效降低了不同尺度对矿压预测结果的敏感性影响，保证矿压预测准确度。
1.251.301.20M A E /M P a
1.151.10
2046
810可变序列尺度
未使用投票算法使用投票算法
1214161820
2.2252.1752.125R M A E /M P a
2.0752.025
2046
810可变序列尺度
未使用投票算法使用投票算法
1214161820
图 4    不同矿压序列的预测结果
Fig. 4    Prediction results of different mine pressure series
选择反向传播（Back  Propagation ，BP ）神经网络[13]、LSTM [14]、Transformer [22]作为对比模型，与Transformer−LSTM 模型的矿压预测结果进行对比。为了避免模型在训练过程中发生过拟合或欠拟合等情况，根据数据集规模、数据特征等因素设置各模型参数，使用网格搜索方法和交叉验证法进行参数调优[23]。BP 神经网络模型和LSTM 模型的初始化参数：epochs 为100，batch_size 为64，选择R
eLU 激活函数，以Adam 优化算法为模型优化器。Transformer 模型和Transformer−LSTM 模型的初始化参数：epochs 为100，batch_size 为64，n_heads 为10，选择Gelu 激活函数。在2个数据集上进行模型训练和测试时，每个数据集均选取90%数据作为训练集，剩余10%作为测试集。
采用训练集训练各模型，之后采用测试集数据对模型的预测性能进行评价。以区间在200～400的200个测试数据为例，其预测结果如图5所示，评价指标见表2。
从图5可看出：BP 神经网络模型的预测值与真实值之间误差较大；Transformer 模型因具有自注意力机制，可同时关注序列中的所有位置，更好地捕捉全局信息，使模型更加全面地理解序列，对于时序矿压数据具有较好的预测精度；LSTM 模型具有较好的时间序列预测能力，对于矿压预测的准确率较高；Transformer−LSTM 模型利用Transformer 模型的自注意力机制来获取时序数据的潜在变化规律，并利用LSTM 模型实现长期时序数据依赖关系的特征，使得预测值最接近真实值，预测效果最优。
•  96  •工矿自动化
第 49 卷

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。