STP数据中心建设研究
黄天天1,马金鑫1,尹德胜2,赵小军1
(1.北京华铁信息技术有限公司,北京 100081;2.中国铁道科学研究院集团有限公司,北京 100081)
摘要:
无线调车机车信号和监控系统(S T P)存在安装分散、运行数据不集中、维护管理难度大等问题,为此在铁路局进行S T P 数据中心建设,通过终端登陆数据中心,能随时随地进行S T P 安装车站查询、远程数据分析、设备巡视等业务,实现S T P 设备远程运用维护分析、远程数据存储备份和大数据分析,减少管理人员因设备分散管理难度大,数据分析不及时,终端数据丢失等问题无法进行故障分析的情况,保证STP 设备的正常生产运行。关键词:
铁路信号;STP ;大数据;集数据库;数据中心中图分类号:
U284.59 文献标志码:A 文章编号:1673-4440(2022)08-0051-06Research on STP Data Center Construction
Huang Tiantian 1, Ma Jinxin 2, Yin Desheng 1, Zhao Xiaojun 1
(1. Beijing Huatie Information Technology Co., Ltd., Beijing 100081, China)(2. China Academy of Railway Sciences Co., Ltd., Beijing 100081, China)
Abstract: In order to solve the problems of the shunting train protection system (STP) such as
scattered equipment installation, decentralized operation data management and difficult maintenance management, etc., the STP data center is built in the railway bureau. The management personnel can log into the data center through the terminal and perform query of stations equipped with STP , remote data analysis, equipment inspection and so on anytime and anywhere, so as to reduce the difficulty of fault analysis due to decentralized equipment management, untimely data analysis and terminal data loss and other problems, and ensure the normal operation of STP equipment.Keywords: railway signal; STP; big data; cluster database; data center
DOI: 10.3969/j.issn.1673-4440.2022.08.011
收稿日期:2021-06-07;修回日期:2022-06-17第一作者:
黄天天(1983—),男,工程师,本科,主要研究方向:铁路信号控制,邮箱:*******************。铁路调车作业安全防护是当前铁路亟待解决的一个问题。特别是列车提速后,站内调车作业的安全防护问题越来越凸显。多年来运输、机务及电务等各部门一直在进行调车作业安全问题的研究,以
达到缓解和降低调车作业中调车员的工作压力,并提高其自身安全措施的目的,有效地防止各类车站因调车作业而导致的重大安全事故[1]
,避免因这样
的事故带来巨大经济损失及铁路交通影响
[2]
。STP
的研究就是为了有效解决上述问题,保障铁路调车
作业安全。
同时,
STP 具有完善的调车作业数据记录及再
现回放功能,显著改善了国内铁路车站调车作业管理手段和运营条件,提高了调车作业自动化程度及现代化管理水平,当前,STP运行总体安全可靠。但是,一方面STP设备是以站为单位安装,STP设备安
装车站分布不均,很多车站在偏远山区或郊区,各站之间交通不便,给设备的维护和管理带来了诸多不便,当终端故障时,也可能导致运行数据丢失的情况;另一方面,当今铁路出现越来越多关于大数据的应用,STP的数据未来也能通过大数据手段更好地服务于铁路运行管理,所以建立STP数据中心是非常有必要的[3]。
1 STP数据存储现状及问题
目前,各站STP数据分别存储于各站STP电务终端的数据库里,电务终端一般通过网络协议或串口协议与STP地面控制主机相连通信。地面控制主机将STP数据,诸如联锁数据、控制数据、机车运行数据等发送给电务终端,电务终端再将信息内容解析后存入电务终端的数据库中[4]。
当前STP的数据存储方式还存在以下不足。
1)当前STP数据库与STP上位机程序在同一台终端上,偶发数据库与程序因故障而相互影响的现象[5]。
2)STP数据存储以站为单位,只能分析单个车站的数据,无法从路局或者车务段的角度进行数据分析,进而无法为路局或车务段的运维管理提供数据支撑[6]。
3)STP中有诸多极有价值的数据,如调车运行信息,联锁占用锁闭信息等。如何使用大数据手段从这
些信息中发现一些铁路运输的规律[7],从而为全路的运输管理提供科学的决策依据是未来研究的方向。但目前的存储方式不支持大数据平台的建设。
4)受限于现场STP电务终端的硬件条件,能存储的数据量有限,有些大站只能存储近一个月的数据,超过一个月程序就自动清除,无法存储海量的STP数据[8]。
为解决上述问题,对建立路局级别的STP数据中心进行研究探讨。
2 STP数据中心的建设
2.1 数据中心整体架构
STP数据中心建设有几个关键点。首先,中心服务器主机应24 h连续运行,作为路局集团公司调车安全防护的主要系统,记录和存储各车站站段的调车作业实时运行数据,一定要保障中心服务器主机运行及业务稳定可靠。其次,站段调车运行实时数据不能丢失,意外丢失或遗漏数据后,应能迅速得到恢复。存储部分是整个网络和数据管理中心的灵魂。一旦网络中心发生意外(包括操作系统的崩溃,人为操作失误,病毒入侵等)造成数据丢失,将会给现场造成数据空白,所以必须采取完善的数据防范措施。最后,数据中心必须具备一定能力来抵御部分具有灾难性的事件和对信息资源的破坏,尽最大可能防止当极端情况发生时,数据丢失造成的损害。
数据中心架构如图1所示。
Fig.1 STP data center architecture
在图1中,STP数据中心采用存储区域网络架构。存储区域网络(Storage Area Network,SAN)架构是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。它具有如下优点:1)高适应性,分散的数据资源能快速连接组成一个大的资源库,给多台服务器提供使用资源。2)高可扩展性,服务器与存储设备不再是独立、单一的应用和存储关系,额外的存储器或者服务器都可以随时
随地加入到设备组中。3)高性能,使用光纤通道技术,数据传输速率有大幅度地提升。同时,通过使用SAN架构,不再需要通过介质进行系统数据恢复、系统数据备份及文件迁移等,用户访问速度及体验
感都有极大的提升。
所有的服务器均采用集化设计,具备一定的容错能力,当部分服务器故障时,不会影响系统的正常运作。虚拟磁带库是指将磁盘仿真成物理磁带库,使备份服务器把磁盘阵列作为物理磁带库对待,从而实现在备份作业中用磁盘代替机械磁带存储数据的目的。这样能大幅降低维护成本,同时大幅提升数据恢复速度。
此外,搭建一个异地数据灾备中心,利用铁路专网光纤通道与主中心通信,实时进行数据备份存储,防止自然灾害对数据造成无法挽回的损失。
2.2 数据中心机房建设
STP数据中心机房的建设主要包括供电系统、消防系统、防雷系统及机房环境等。
1)供电系统建设
机房的主要供电系统为机房的中枢和大动脉,供电系统必须安全、稳定地运行才能保障其他系统的功效和核心业务的正常运行。好的数据中心供电系统设计要求科学合理的为各个机房设备进行稳定可靠的配电,保障机房设备稳定可靠运转,也能节能环保。所以在机房供电系统的建设中要结合实际要求进行考量规划。数据中心机房用电负荷主要由两大部分组成:一是UPS供电系统负荷,二是城市用电系统负荷。
2)消防系统建设
机房的消防系统有被动方式和主动方式两种灭火设计。主动消防是消防器件主动监测环境,发现问题主动采取措施,比如,安装在机房室内的烟雾监测报警器等,可以在起明火之前就准确地检测到烟雾的来源和方位,从而发出火灾预警。还有气体灭火系统,将具有灭火功能的气态混合化合物,贮存在高压或者低温的低压容器中,当有火灾发生时,自动释放灭火气体,消灭火源。
被动方式是指在数据机房周围筑建防火墙,这样能够尽可能的在火灾中保护好机房内的设备。火灾事故发生时明火燃烧所直接产生的有害烟雾气体主要有两种,其主要成分苯和二氧化碳,这两种有害化学气体已经成为火灾人员重大伤亡的罪魁祸首。另外,机房内部是一个基本完全封闭的防火环境,当火灾释放出的有毒气体没有迅速排出,就很容易被人体吸收造成人员伤害。因此,在机房建设排烟系统必不可少。当火灾事故发生后,要立即启动机房排烟系统,迅速地把机房内的烟雾和燃烧后残留的灭火剂气体排入空气中。
3)防雷系统建设
数据中心机房防雷接地系统是机房建设的基础,做好防雷接地系统可以有效保护设备和人员安全。直击雷与感应雷分别是雷电主要作用影响装置的两种方法。直击雷主要作用于建筑物本身,而感应雷大多作
用于数据中心的核心设备系统,对设备正常运行影响比较大。对此要结合机房整体来做好防雷接地工作。例如在配电箱附近位置应适当配置二级防雷电源或者三级防雷防护设施;一些电气设备以属于c和d级的静电防雷防护设施配置为主,核心的一些电子设施应在第二级的抗雷防护设施基础上,加装2V5-c/3+npe的三级防雷器,进行第三级的抗雷防护。防雷配电设备需配置在高层建筑物大楼的一个配电室内,在办公楼的一个配电室内,可按需要进行安装第一级别的防雷器,主要目的是将三层防雷器设备配置到办公楼的一个配电室内;第二级的三层防雷配电设施需配置在数据中心的所有机房及其所处不同楼层的一个配电间;第三级别的防雷配电设施需配置位于数据中心所有机房的3个核心配电装置,包括电源进线端和出线端、电源控制系统。
2.3 数据中心技术实现
2.3.1 搭建分布式hadoop集环境
数据中心采用分布式hadoop集方式搭建,操作系统采用ubuntu,jdk版本1.8。技术架构如图2所示。
Hadoop Distributed File System(HDFS)包含两
类数据节点:NameNode 和DataNode 。NameNode 为数据库管理人员,DataNode 为数据库工作人
员,NameNode 主要负责对hdfs 文件系统进行管
理,DataNode 负责存储。使用ZooKeeper 来管理分
布式hadoop 集。在NameNode 上运行ZooKeeper 的客户端ZooKeeperFailoverController (ZKFC ),
ZKFC 判断哪个NameNode 是主节点,哪个是备
用节点,同时在主备切换时也会做判断,ZKFC 和NameNode 状态保持一致,比如某个ZKFC 是active
的状态,那么这台NameNode 也是active 的状态。ZooKeeper 通过以下机制保证只有一个NameNode 是活动的:如果当前的NameNode 失效了,那么另一个NameNode 将会获得ZooKeeper 的独占锁,表明自己是活动的节点。ZKFC 主要有以下功能:
1)监测一个基于NameNode 的实时用户状态,ZKFC
定期向一个NameNode 发送一个health-check 的实时命令,如果NameNode 正确且命令返回,则正常。否则会被认为是失效节点。2)独占锁机制,ZKFC 将在ZooKeeper 中只能持有一个session ,如果本地的NameNode 正好属于活动状态,那么ZKFC 将在其中保留一个“ephemeral”的节点作为独占锁,一旦
本地NameNode 都失效,那么这个节点会被自动删除。3)主备切换,如果本地NameNode 是正常的,
并且ZKFC 没有发现其他NameNode 具有一个独占锁,就执行Failover 过程,让本地的NameNode 成
为活动状态。
存储多个数据时,NameNode 可用于数据对每
个数据块的自动映射,处理客户端的自动读写数据请求,配置数据战略,本身不存储实际数据,是管理者,DataNode 存储数据块,执行数据块的读写操hadoop分布式集搭建
作,被NameNode 管理。2.3.2 部署Hbase 数据库
在搭建好分布式hadoop 集环境后,需要一个
应用层面的数据库来管理,以方便客户端对数据的操作,选择Hbase 数据库。Hbase 数据库和MySQL
数据库的对比如表1所示。
表1 数据库对比
MySQL
问题的海
量的存储(组件少)、
延时低(访
富:事务能的在线数
性能优于Hbase ,随着数据量的增大,Hbase 对比
MySQL 的性能优势会不断体现,二者性能差距明
显。STP 数据中心需要存储整个路局的STP 数据,
Fig.2 STP data center technical principle
监测NameNode,操作系统状态
其中包括联锁数据、车务数据及机车数据等,数据量巨大,MySQL已经无法满足业务需要,所以选用
Hbase数据库作为数据中心的应用层数据库。
按照下列步骤在已经搭建好的hadoop集环境下部署Hbase数据库。
1)下载Hbase安装包,并上传到集服务器。
2)给安装包赋予执行的权限,命令为:chmod u+x hbase-0.98.。
3)解压Hbase安装包:tar -zxf hbase-0.98. -C /opt/modules/。
4)进入hadoop根目录,启动NameNode和DataNode。
5)修改配置文件l,在配置文件里指定hbase的数据文件存储在HDFS上的路径、
Hbase的运行模式、Zookeeper的目录位置。
6)修改配置文件hbase-env.sh,将export HBASE_MANAGES_ZK=true改为false,因为已经搭建好集环境,这里不使用Hbase自带的Zookeeper包。
7)修改配置文件/opt/modules/hbase-0.98.6-hadoop2/conf/regionservers,指定从节点所在机器。
8)启动Hbase进程:运行start-hbase.s件。之后再运行jps命令,出现HRegionServer,Jps,
HMaster,HQuorumPeer,DataNode,NameNode,部署完成。
综上所述,STP数据中心的数据库搭建就已经全部完成。
3 结束语
STP运行数据量巨大,特别是有大型综合编组站车站,现有的MySQL分站存储数据的方式已渐渐不能满足业务需要。而STP数据涉及联锁,行车数据,具有重大的数据挖掘价值,目前没有有效的集中存储手段,所以建立以路局为单位的STP数据中心可以有效解决这些问题。本文从工程技术上探讨建立STP数据中心的要点,并提供一些解决思路。STP数据在铁路应用上的挖掘价值是将来可以深入研究的方向。
参考文献
[1]曹子昱,任宛星,付连著,等.基于卷积神经网
络的调车机车前方车列图像识别算法[J].中国铁
道科学,2020,41(6):156-163.
Cao Ziyu, Ren Wanxing, Fu Lianzhu, et al. Image Recognition Algorithm for Train Set in Front of Shunting Locomotive Based on Convolutional Neural Network[J]. China Railway Science, 2020, 41(6): 156-163.
[2]刘远达,曹桂均,杨华昌,等.STP无线调车机
车信号和监控系统安全风险评估研究[J].铁道运
输与经济,2018,40(3):91-97.
Liu Yuanda, Cao Guijun, Yang Huachang, et al. A Study on Safety Risk Assessment of the Signaling and Monitoring System on STP Wireless Shunting Engine[J]. Railway Transport and Economy, 2018, 40(3): 91-97.
[3]杨华昌,王鲲,栾德杰,等.基于STP的车站
调车分析系统设计研究[J].铁道运输与经济,2020,42(2):68-72,92.
Yang Huachang, Wang Kun, Luan Dejie, et al. A Study on the Design of Station Shunting Analysis System Based on STP[J]. Railway Transport and Economy, 2020, 42(2): 68-72.
[4]曹桂均,林通源.调车机车监控记录系统的研究
与试验[J].铁道学报,2004,26(3):55-61.
Cao Guijun, Lin Tongyuan. Research Development and Test of the Shunting Locomotive Monitoring System[J]. Journal of the China Railway Society, 2004, 26(3): 55-61.
[5]王晓桥.STP运用、维护的探讨和建议[J].铁道
通信信号,2012,48(4):28-30.
Wa n g X i a o q i a o. S t u d y o f S T P O p e r a t i o n and Maintenance[J]. Railway Signalling & Communication, 2012, 48(4): 28-30.
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论