205
1 引言
近年来,随着“两宽一高”(宽频带的激发震源,宽方位的观测排列,高密度的空间采样)[1]地震勘探一体化技术在人工地震采集领域的发展和应用,使地震数据采集量呈几何级数增长。目前,单一海洋或陆地工区的地震采集数据量已经高达数十TB 级,甚至数百TB 级。同时,随着历年地震数据采集和生产开发过程中的配套成果数据的积累,数据量级跃升至PB 级。海量勘探数据对于企业级数据库的存储管理提出了严苛的考验。
Oracle 数据库作为全球数据库产品最大供应商,占据着国内外许多核心行业的数据库市场。在国内地震勘探行业中Oracle9、Oracle10等系列数据库产品提供了优质且昂贵的数据服务。但随着外部环境的变化(技术封锁、国外政策限制等)、市场监管的要求、以及开源、自研数据库的兴起等多种因素,地震勘探领域需要一款具有开源许可协议的、技术趋势开放先进的、性能指标接近Oracle 的企业级数据库来应对PB 级海量勘探数据的管理。2 PostgreSQL(PG)数据库
4 应用实践
通过PLM (产品生命周期管理)、ERP (企业资源计划)、MES (生产执行系统)系统支持该生产计
划模式的运行,在某地下工程装备龙头企业进行应用实践。结合该公司的实际生产计划,建立了基于项目的网络计划和基于MRP 的物资计划双轮驱动的生产计划体系,如图7所示。
以ZTE6250土压平衡盾构机产品为例,其产品结构如图8所示:主轴承为战略物资,根据销售预测,结合目前和在途物料库存情况,维护战略预设表(表1),通过MRP 生成战略预投计划。
根据项目交期和模板,维护项目,通过接口同步至MES 系统,基于有限产能进行排产,得到项目计划(表2)。
根据挂载在项目上的大部件需求,运行MRP 后,产生自制件计划,转换为生产订单并同步至MES 。在MES 中基于有限产能排程后,产生装配计划(表3)和制造计划(表4)。
项目立项时,长周期物资需提前安排采购。通过项目节点挂载长周期物资,如图9所示,运行MRP 得到长周期物资采购计划(表5)。
常规项目物资计划(表6)。储备物资计划(表7)。
目前,通过PLM 、ERP 、MES 三个系统协同应用,本文提出的计划体系取得了良好效果,很好弥补了传统MRP 的缺陷,尤其对“三边工程”的生产模式具有较好的适应性。系统上线后,经过数据清理,MRP 准确率在90%以上,且很好匹配了各类物资的计划模式。经统计,盾构机整体生产周期缩减23%,
库存周转率提升15%,以前手工下计划模式基本切换为系统自动运行,大大提升了生产计划人员的工作效率。5 结论与展望
PostgreSQL 在GeoEast 多学科数据管理系统中的应用
师伟 林茂春 王向辉 李军茹 程实
(东方地球物理公司物探技术研究中心 河北省涿州市 072750)
PG 数据库是加州大学伯克利分校开发的对象-关系型数据库管理系统[2],是目前世界上最先进、应用最广泛的开源关系数据库,在全球互联网、能源、商业等多种应用领域都有成功示例,且展现出良好的应用效果。在国内多个核心行业和多家大企业的数据库产品中,PG 数据库或其衍生产品已经非常常见。其最具有商业应用价值的特点有以下三点:2.1 开源许可
PG 数据库的许可协议是自由开源的许可(a liberal Open Source license)[3],能够在任何目的下免费使用、复制、修改和分发软件,且无须任何书面协议。在该许可协议下的直接应用或者二次开发产品不受技术封锁、版权或政策限制,对于商业集成有着天然的优势,为深度参与国际竞争的跨国性企业提供了良好的基础技术支持。2.2 稳定可靠
PG 数据库是唯一能做到数据零丢失的开源数据库,也是最接近工业标准 SQL92的查询语言,并且在
逐步兼容最新的SQL 标准:
复杂定制化装备制造企业与传统大批量制造企业相比,生产计划管理更加复杂和困难,传统MRP/MRPII 的计划方法无法适应。本文将基于项目的网络计划和基于MRP 的物资计划融合,建立了复杂定制化装备生产计划管理模型,并通过系统实现,获得了很好的应用效率,可以为同行业企业的生产计划管理和信息化建设提供有价值参考。
参考文献
[1]中华人民共和国国务院.国务院关于印发《中国制造2025》的
通知[Z].北京:中华人民共和国国务院,2015.
[2]刘飞香.定制化装备制造企业数字化体系探索与实践[J].科
技管理研究,2019(7).
[3]杨子豪,赵雪,田燕.ATO 与MTO 混合模式生产调度信息系统
的设计[J].机械工程师,2016(09).
[4]王丽亚.生产计划与控制[M].清华大学出版社,2007.
[5]程控,革扬.MRP Ⅱ/ERP 原理与应用[M].清华大学出版社,
2002.
[6]Tabitha L. James,Deborah F. Cook,Sumali Conlon,Kellie
B. Keeling,Stephane Collignon,Trevor White. A framework to explore innovation at SAP through bibliometric analysis of patent applications[J]. Expert Systems With Applications, 2015(24).
[7]战伟国.生产与运作管理之独立需求的库存控制[J].航空制
造技术,2003(02).作者简介
许昌加(1980-),男,江苏省泗阳县人。某大型地下工程装备集团公司信息化部门负责人。研究方向为企业管理、企业数字化。
摘 要:本文介绍了一款开源企业级数据库PostgreSQL(PG),探讨了PG 与ORACLE 数据库的在地震勘探行业的优劣势,并提出一种具有商业价值的,采用企业级SQL 标准封装多学科数据业务对象的方案,并对应用接口性能基于盆地级勘探数据规模下进行测试和分析。
关键词:PostgreSQL;PB 级海量数据;企业级数据管理;性能
206
SQL2003[4]。不仅许多互联网企业广泛地使用了PG 数据库,国内外银行、金融、交易等数据慎重型行业也在开始向PG 数据库转移,例如在商业交易系统中,苏宁基于“PostgreSQL+Citus ”的大规模分布式应用。2.3 社区活跃
PG 作为一款功能强大的开源许可协议数据库系统,由600多位贡献者组成的团队,提交代码50000+次,截止目前为止PG 最新版本是13.1。在近5年时间内,平均每年升级一个大版本,更新迭代的频次接近于Oracle 数据库。同时,基于PG 的许多第三方开源软件,插件,扩展,中间件等项目层出不穷,极大的丰富了PG 的功能,如PostGIS 地理信息扩展功能模块能够提供丰富且高效的GIS 服务,Greenplum 、Citus 、PostgreSQL-XL 等项目支持了PG 的大规模分布式业务。活跃的开源社区和丰富的开源产品让PG 的发展空间更具有可持续性。
对于 PG 和Oracle 两款数据库目前石油地质勘探行业中应用特点对比如表1所示。
表1:行业应用特点比较
Oracle PostgreSQL
行业应用主流能源、金融、互联网等服务商业服务开放社区平台跨平台跨平台安全性高级别认证无认证功能满足要求满足要求
数据库性能满足要求满足要求
架构分布式大规模三方扩展支持分布式
管理结构合理高效类似Oracle 费用昂贵免费使用风险向下兼容,无风险兼容性稍差限售有限售条款无限售条款排名第一免费第一
表2:集环境硬件配置表
名称
规格
计算节点华为II 48个节点数据节点DN10 2个节点处理器Intel®Xeno® Gold 6132
逻辑CPU 数28物理CPU 数2CPU 核数14CPU 主频2601Mhz 节点内存128G 硬盘内存720TB + 1PB 网络带宽
1000MB 局域网
表3:集环境软件配置表
名称规格
操作系统Red Hat Enterprise Linux Server release 6.6
(Santiago)
内核Linux version 2.6.32-504.el6.x86_64
编译器版本gcc version 4.4.7
PostgreSQL 版本
9.6.6Oracle
版本
10.1
图1:系统整体设计结构图
图2:数据中心整体结构
图3:数据中心物理模型图
图4:数据组织流程图
●本项研究受国家重点研发计划课题“石油勘探业务流程设计与业务软件集成”(2016YFB0201502)、国家科技重大专项“大型油气田及煤层气开发”子课题“新一代地球物理油气勘探软件系统”(2017ZX05018-001)资助。
根据当前数据库技术的发展和国内外行业应用情况,PG数据库是目前公认的Oracle数据库的最佳替代方案。
3 GeoEast多学科数据管理系统
GeoEast多学科数据管理系统作为GeoEast地震处理解释一体化超大型勘探软件[5]的数据管理平台,是基于PG构建的数据管理系统,给PB级海量数据提供了企业级的高效管理服务,同时为地震、地质、测井、油藏等领域的应用软件提供盆地级多学科数据共享服务。
GeoEast多学科数据管理系统整体设计如图1所示。
GeoEast多学科数据管理系统实现了从业务数据对象到物理数据库的完整层次结构,根据多学科数据管理系统应有的内容和应具备的功能,将整体分为三层,由存储层、映射层、接口层构成。存储层是整个数据平台系统运行的物理基础,是具体存放GeoEast系统存储和管理勘探数据的地方,由IO节点、存储阵列、数据库、文件系统等组成,其中核心数据库采用的是PG。存储层针对地球物理计算的特点,通过配置适合勘探行业海量数据存储和访问的具有大容量存储空间、高网络带宽的IO节点,为本行业海量数据提供足够的存储空间、高IO带宽和高网络带宽,以满足勘探应用对海量数据的存储能力和吞吐能力。存储层在整体结构上为海量地震数据的高效处理解释提供了基础的物质条件,其中PG为存储层提供了强有力的数据管理服务。映射层是整个平台系统的物理存储和数据对象的交换管理中枢。向上为应用软件提供统一的物理数据访问底层,通过屏蔽物理存储介质差异,从而简化应用实现,提高扩展性和部署灵活性,向下将应用软件提出的数据持久化请求进行响应,并将应用对象数据写入物理存储介质。通过开发统一的物理存储、数据交换和数据管理接口,管理整个系统的应用数据,确保其数据访问的灵活性。业务对象层是一个通用的数据对象和接口层,所有应用软件都通过对象层来访问或交换数据。它提供整个GeoEast系统应用软件运行应用对象和应用接口,为了方便C程序和Fortran程序的访问,同时提供以C语言开发接口。
4 PostgreSQL在系统中的应用
4.1 GeoEast多学科数据管理系统数据中心
数据中心采用的是(C/S)架构,服务端由数据库和文件系统构成,数据中心服务端架设在单独的数据节点上,通过对地震勘探数据的分类、组织、编码、存储、检索和有效维护,能够管理项目数据库也能够管理大规模成果数据库。GeoEast系统勘探应用通过PG 通信协议封装请求来访问数据节点获取数据。
数据中心的整体结构如图2。
数据中心的数据库存储空间是用来存储实体物理模型的,是信息世界的逻辑模型通过建模技术,转换为计算机世界的物理模型,该物理模型一共分为四个部分如图3,分别是用于管理的项目数据模型、用于存储用户数据的用户数据模型、用于规范GeoEast系统数据取值的标准数据模型和用于确定当前模型版本信息的元数据模型。其中项目数据中管理着地震、地质、测井、油藏等多种领域的数据实体。
4.2 业务对象封装
在数据中心的物理模型的基础上,结合PG数据库系统的语法和SQL92工业级SQL标准的要求,而建立的一套可以在PG数据库中建立各种GeoEast数据类型的PG数据库对象,如Schema、表、视图、列、主键、唯一键、外键、索引等。通过PG数据库对象实现对地震、地质、测井、油藏等领域的数据对象
进行业务封装,对PG数据库对象的属性和特性开放出接口,并融合成有机的结构体系,统一的提供给应用开发人员。
4.3 应用接口针对性测试
GeoEast多学科数据管理系统通常应用于大规模机环境下,PG数据库管理着海量地震勘探数据和配套成果数据的存储。在收集了用户使用过程中反馈的性能瓶颈和存在质疑的用户接口,针对上一代最新版本的基于Oracle的数据接口和基于PG的数据接口进行应用接口对比测试。基于不同数据库的数据管理系统的应用接口性能测试方案整体上是在华为II集进行对比测试,环境硬件配置如表2,软件配置如表3。
4.3.1 数据组织
为了更好的检验PG在GeoEast多学科数据管理系统中的负载和性能,结合地球物理勘探数据存储和计算的特征,采用特殊的数据组织方法如图4,结合多学科数据类型、海量数据规模、复杂数据结构、多样化现场数据格式等实际产生模式下的数据特点,模拟出更贴近实际产生模式下的数据规模。
对中国西北部某些石油勘探区域的项目数据进行评估,对探区
表4:PostgreSQL 和ORACLE 应用接口对比测试结果表
测试项井读取井查询层位读取层位查询断层读取断层查询散点读取散点查询数据库PG ORA PG ORA PG ORA PG ORA PG ORA PG ORA PG ORA PG ORA
数据规模递增0.4270.7870.4 1.40.5390.3860.0120.0120.7211.610.0120.010.650.280.0040.265
5.617.35 1.601 1.12 2.709 1.9220.120.3221.4611.910.1230.63212.68 1.45 3.82835.524
6.5910.91 4.732 1.312 5.362 4.3010. 270.63231.3512.980.5 1.187
greenplum数据库21.75912.15 3.75735.128图5:PostgreSQL和ORACLE应用接口对比测试结果图
207
整体设计采用控制变量的白盒测试,在相同的软硬件条件下,对不同GeoEast多学科数据管理平台(PG新平台和ORACLE老平台)功能相同的应用中实际使用的数据接口编写测试用例。测试过程中,不同平台数据规模,代码路径,计时范围基本一致。
测试过程中使用具有代表性的、多组阶梯数据量级的实际测试数据,分别在两个不同的平台上运行并记录相应时间。对高密度高精度数据类型采用批量轮询访问的方法,对部分成果数据采用均值来表示实际相应时间,最终分析基于不同数据库应用的多学科数据管理平台性能和效率。测试要求要符合以下5条内容:
(1)测试结果要真实可靠;
(2)测试中用例选取应能够覆盖接口的全部功能;
(3)测试中用例能够体现性能效率方面的要求;
(4)测试逻辑能达到实际应用需求的标准;
(5)测试中以测试用例正常结束并符合期望输出作为评价标准来确定测试是否完成。
4.3.3 测试结果
测试结果如表4、图5,其中ORACLE缩写为ORA。
测试结果表明,GeoEast多学科数据管理平台基于ORACLE和PG的应用接口性能各有优势。在层位、断层、井等类型数据的应用接口有较好的表现,大体上能够和ORACLE数据应用接口持平。但是针对多学科数据类型,海量数据规模,复杂数据结构的地震勘探数据,PG对数据的组织管理仍然有优化空间。面对数据规模的快速递增,ORACLE数据较为稳定,对数据规模递增变化较小。面对大规模密集读取请求时,PG的性能需要根据对应的业务需求调整,以达到最优性能。ORACLE能够按照业务量推荐出合理的参数。
PG在GeoEast多学科数据管理系统的成功应用,实现了应用接口性能提升、接口稳定、功能正确的情况下,使用PG数据库成功取代了ORACLE数据库,从而完全抛开了ORACLE数据库的商业和技术限制。随着GeoEast多学科数据管理系统持续的升级和优化,性能和效率将会不断提升,给上层应用提
供更高效的数据服务。
5 结语
介绍一种开源企业级数据库PostgreSQL,采用一种通过企业级SQL标准封装了多学科数据业务对象的方案,实现了对地震、地质、全避开了ORACLE数据库的限制,给勘探应用软件提供了良好的商业价值。同时,针对石油勘探领域企业级数据库服务,PG数据库给二次开发提供了完全自主知识产权和很高的商业潜在价值。5.2 验证了PG数据库在PB级石油勘探数据的管理应用
面对日益发展的石油勘探技术所带来的勘探数据量级的跃升和油田大数据的应用[6],PG以高可靠性,事务安全,兼容众多SQL 标准等优势[7],管理了PB级石油勘探数据。同时,PG以活跃的社区和国内外丰富的分布式大规模应用解决方案,能够给规模在 PB 级以上的地震勘探数据提供良好的解决方案。
参考文献
[1]李军茹,侯红军,林茂春等.两宽一高海量地震数据的存储与
处理方案[J].石油工业计算机应用,2018,26(Z1):6-10.
[2]苗健.国产数据库发展之路[J].软件和集成电路,2018(05):
40-44.
[3]The PostgreSQL Global Development Group.Documentation
(2020)./docs/
[4]唐成.PostgreSQL修炼之道[M].机械工业出版社,2015.
[5]詹毅,徐少波,雷娜,赵春山,,李斌.国产大型地震
数据处理解释一体化软件GeoEast推广应用实践[J].石油科技论坛,2020,39(01):67-71.
[6]王宏琳.通向智能勘探与生产之路[J].石油工业计算机应
用,2016,24(04):7-20+3.
[7]王佳新,黄晓光,张蜜蜜.关系型数据库开源产品技术的应用
[J].电子技术与软件工程,2019(18):172-174.
作者简介
师伟,男,学士学位,工程师,就职于河北省涿州市东方地球物理公司,主要从事地球物理勘探软件开发领域的科研工作。研究方向为数据库技术。
林茂春,男,硕士学位,高级工程师。研究方向为数据库技术。
王向辉,男,硕士学位,高级工程师。研究方向为数据库技术。
李军茹,男,硕士学位,高级工程师。研究方向为数据库技术。
程实,男,学士学位,工程师。研究方向为数据库技术。
更 正
作者孔康、李德盈、牛禹涵、孙中圣发表于《电子技术与软件工程》2021年4月下第118-122页《基于多通道组合窗口能量法的表面肌电信号分类算法》一文,图5图注更正为:(a)屈食指动作;(b)屈拇指动作;(c)屈腕动作;(d)屈四指动作;(e)握拳动作。图6(b)图注更正为:(b) 滤波后。
特此声明!
《电子技术与软件工程》编辑部
2021年6月
208
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论