2023年2月第26卷第4期
中国管理信息化
China Management Informationization
Feb.,2023
Vol.26,No.4西部某油田企业中台技术的应用研究
穆金星,王韵琦
(中国石油天然气股份有限公司吐哈油田分公司信息技术公司,新疆哈密839000)
[摘 要]随着信息技术的高速发展,原有“以需求为中心”的发展模式逐渐无法满足企业发展需求。西部某油田作为一家发展多年的石油企业,信息化发展同样进入了瓶颈期,数据复用困难,无法综合利用,且开发效率较低。为了解决此类问题,油田专家团队对“中台”技术进行了研究,并确认该技术可以帮助企业打破瓶颈,走上数字化转型的快车道。
[关键词]数据中台;业务中台;API;数字化转型;资源共享
doi:10.3969/j.issn.1673 - 0194.2023.04.034
[中图分类号]F426.2 [文献标识码]A [文章编号]1673-0194(2023)04-0104-03
0 前 言
西部某油田是中石油旗下一家分公司,系统开发一直采用以用户需求为中心自建加外协的方式进行,开发厂商众多,人员能力参差不齐,无统一开发标准,以前后端融合的开发模式为主,各系统信息自成体系,“烟囱林立”,数据“孤岛”问题严重。为了打破瓶颈,团队对油田信息化发展困局进行了分析,并开始了“中台”技术的探索实践之路。
1 油田信息化发展困局
1.1 开发低效率
每套新开发的系统均需要实现人员信息管理、权限管理、日志记录、待办通知、审批流体系、附件服务、身份认证以及系统特殊功能需求,“从零开始”是系统开发的常态。在人员有限的情况下,时间成本居高不下。随着信息化的高速发展,低效率开发已无法跟上时代发展的步伐。
1.2 功能低复用率
各系统开发标准不同,且采用前后端融合的开发模式,后端逻辑层不具备跨项目调用条件,功能复用只能通过代码拷贝进行。同时,以需求为中心的开发模式使系统功能与用户需求高度契合,兼容性极低,功能复用难上加难。
1.3 维护高成本
各系统信息自成体系,系统中均有成套公共信息,不但给用户使用带来不便,还提升了维护成本,同时降低了各系统公共信息的一致性。1.4 资源低利用率
各系统在油田应用环境下,信息及附件重复率较高。相同数据的存储耗费大量资源,使得有限的资源得不到充分利用。
1.5 数据资产难形成
由于没有统一数据标准,没有实现数据的统一管理和信息共享,油田各类数据均无法得到综合利用,系统“烟囱林立”,信息“孤岛”问题严重。碍于组织结构、历史数据及开发力量等多种原因,油田无法大刀阔斧地整合数据、打通壁垒,数据资产难以形成[1]。
2 中台技术探索
为了打破枷锁,降本增效,实现功能应用,加快数字化转型,团队进行多项摸索与实践。
2.1 统一授权平台建设
油田企业系统最大的应用特点是用户绝大部分为内部员工,为实现组织架构、人员信息等公用信息的共享,以中石油目录服务(Active Directory,AD)信息为基础,油田开发团队开发了统一授权平台,建立了整套组织机构、人员及权限信息模型,通过数据同步得到了最准确的实时数据,并根据需要对所有数据进行补充。同时开发了信息管理后台,以两级维护的形式保证数据及时有效。本套数据以数据库直连的形式共享给业务流程系统等少量系统使用,虽然推广效果有限,但切实对公用数据进行了规整,实现了信息的局部共享。
2.2 改变前后端融合开发模式,革新现有技术框架
由于前后端融合开发模式逐渐不适用及移动办公系统的开发需要,团队大胆革新,全面推行“前端+应用程序接口(Application Programming Interface,API)”前后端分离开发模式。为以低成本
[收稿日期]2022-08-24
104/ CHINA MANAGEMENT INFORMATIONIZATION
企业管理信息化
实现高效开发,团队专家通过多种语言及框架对比,最终在电脑端采用react语言下的umi框架,移动端采用以vue为基础的uniapp,后端以C#语言下的 core 框架为主进行系统开发。之后,对开发团队进行了重组,不再以项目为基础单位,分为前端和后端两个角组,根据工作需要分配工作内容。此次改革极大提高了开发效率,革新了技术,提升了新建系统的使用体验,并通过接口初步实现了信息和功能复用[2]。2.3 基类项目开发,共享公用方法
为实现标准化开发,进一步提高后端开发效率,团队进行了基类项目开发,内容包含基类和常用工具类,以本地引用的形式实现了公共方法的共享。这不但加快了前后端开发速度,同时整体提升了代码质量,让不同能力的开发人员均能写出标准代码,为油田信息化加速发展提供了原动力。
2.4 中台概念研究
为更进一步提升数据及功能的复用率,实现系统快速上线,“中台”概念进入了团队视野。中台是对业务能力共享的过程,是企业级能力复用平台。它为前台而生,亦于前台使用,将后台资源流向用户,响应用户,支持服务前台规模化创新[2]。通过对油田特点和业务的研究,团队决定采用以API接口技术为核心、“数据+业务双中台”为主体、统一授权平台数据为基础,以“从点到面”逐步完善的方式进行中台建设。
3 中台技术实践之路
3.1 完善公共数据
由于设计目的和参照不同,统一授权平台原有数据不能完全满足数据中台的建设需求,所以团队对公共数据进行了完善:为人员信息添加了证件照、支部编号、职位职级等多个字段;为系统信息添加了安全码、是否在用等字段;新增了亲属信息、党支部信息、附件、通知、日志、接口、认证及其他相关信息等。
3.2 创建公共资源
为实现API管理、访问管控、附件资源共享等中台能力,团队创建了日志及归档服务器、mongodb数据库、附件服务器及共享磁盘等公共资源,用于各类数据的存储。
3.3 连接公共服务
信息化发展过程中,此油田已拥有短信平台、即时通信软件、综合办公等多套公共服务,为满足业务需求、实现联动办公,团队进行了针对各公共服务的技术研究,并实现了业务连接。
3.4 开发通用API
3.4.1 创建标准
团队以RESTFUL API规范为基础建立了接口开发标准,内容包括接口基本标准、请求路径标准、版本控制标准、API命名标准、请求参数标准、列表请求特殊标准、返回数据规范、响应状态规范、接口文档书写规范以及其他相关规范。其从各方面为接口开发过程制定了准则,为API的复用提供了条件[3]。
3.4.2 设计验证
为更好管控接口调用,团队设计了特有的访问验证机制。验证机制将系统、接口和时间戳作为主体,生成加密字符串作为访问令牌,进行接口访问权限、字段时效、系统安全码等信息的验证,并生成访问记录,确保请求的访问安全。这样的设计不但可以避免跨站点请求伪造(Cross-site request forgery,CSRF)攻击、溯源异常访问,同时实现了接口的系统级访问控制[4]。
3.4.3 开发API
(1)机构相关信息。增加了组织机构和党支部信息的增删改查等多个业务接口,可根据参数实现对党支部信息、组织机构的树形结构及各层级信息进行获取。
(2)人员相关信息。实现了对人员相关信息的查及人员亲属信息的多类型查,以满足不同业务需求。建立了系统角体系,实现系统控制权限,同时开发了角信息查询接口,实现通过系统编号和人员查询角及通过角查询人员等多种查询功能。
(3)身份认证功能。实现了员工编号、AD账号、身份证认证及短信认证等多种身份认证接口。为保证安全,前台数据以加密形式传输,后台进行加密比对,返回包含登录信息的加密安全标识符(Security Identifiers,SID),开发了针对SID的失效验证接口。
(4)其他数据获取功能。以生产日报数据为基础,实现了对生产数据、销售数据、油水井动态、钻井动态、井下作业、工程进度等多类数据的获取及以单位和时间段等数据为条件的灵活查询。以吐哈门户数据为基础,实现了对热点新闻、通知公告、温馨提示、重点新闻、一线传真、吐哈故事、领导讲话、油区天气信息等数据的获取及多条件查询。此外,增加对平台注册系统及相关信息的查询接口,以及安全码及简称等特殊接口。
(5)公用功能。附件:以新建附件服务器为存储基础,通过共享磁盘挂载技术,开发了附件相关接口,实现了附件上传、附件下载、图片显示、Office在线预览等多项功能。设计了附件的重用机制,通过加密唯一码对附件进行判定,避免内容相同的文件重复上传,极大提高了资源的利用效率。通知:通过公共资源连接及参数控制,实现短信、“小鸽子”等多种通知渠道信息的发送。同时,以信息模板发送方式,实现了对发送内容的系统级管控及溯源。日志:通过日志写入查询等功能接口的开发及应用,在实现对系统日志集中存储、管理、溯源、异常追溯的同时,也为日
/ 105 CHINA MANAGEMENT INFORMATIONIZATION
企业管理信息化
志数据分析应用提供了条件,为日志类数据资产形成奠定了基础。审批:油田系统以数据管理、表单层级审批类需求居多,为此开发了业务流相关接口,实现了审批待办、审批操作、审批相关等成套功能,以满足各类系统审批需要。
(6)其他。实现了外部接口转换管理功能,可将不符合标准的外部接口进行管理和转换,以油田访问标准实现访问,目前已接入中交公司全球定位系统(Global Positioning System,GPS)相关接口及其他接口。开发了Token获取、数据库时间获取、数据库时间戳获取、系统安全码获取等多个公用API。
3.4.4 优 化
(1)自动归档提高系统效率。随着平台持续应用,数据将不断累积,性能势必会持续下降。为此,设计了自动归档机制,存储时限默认90天,通过对最后一次访问时间的比对,将附件、日志、过期信息归档至归档服务器以文件形式保存,删除源数据,以达到数据平衡,保证服务运行稳定、业务高性能访问。
(2)软负载提高访问系统载荷。随着平台接入更多系统,访问压力不断提升,硬件资源将逐渐无法满足业务需求。考虑到油田数据中心现状及平台应用情况,暂选定软负载技术提高系统载荷,以3台服务
器作为服务组,1台作为负载服务器,部署Nginx服务实现轮询转发,同时部署网络共享磁盘服务(Internet Small Computer System Interface,ISCSI)提供共享磁盘,另外两台服务器挂接共享磁盘,同时启动服务。这样设计不但可以减轻单台服务器业务压力,同时可在访问压力持续增高的情况下灵活拓展组规模,提高服务整体载荷力。
3.5 加强后台管理
3.5.1 数据管理
由于数据增多,原统一授权平台无法完全胜任管理工作,团队在完善其功能的同时,开发了通用接口管理平台。授权平台用于维护各类公共基础数据,接口平台用于接口相关数据管理,两系统相得益彰,各司其职,组成了管理后台,为中台提供了数据保障。3.5.2 接口管理
restful接口设计通用接口管理平台以接口管理功能为主,团队根据接口开发标准,建立了标准的接口模型,实现对接口信息、链接地址、请求参数、返回值、错误信息以及调用实例的信息管理[4],同时提供了API服务监控、调用信息统计分析等功能,让管理员对平台应用情况有直观清晰的认识。
3.5.3 访问管控
团队设计了各类业务的管控机制及操作记录的管理功能,实现了接口管控;通知模板申请实现了通知
内容管控;通过接口调用记录、发送记录、附件管理等功能,实现了请求溯源和异常定位,不但可查询系统访问记录,还为运维人员解决故障提供了途径和依据。
3.5.4 开发者平台
团队设计开发了开发者平台,开发人员可对接口详细信息进行查看,申请使用权限,在线完成接口测试,通知发送及附件上传查下载。平台降低了接口使用门槛,提高了开发效率,加速了前台的开发部署。4 实践效果
4.1 应用现状
业务中台上线后已接入近20套系统,接入系统运行良好,业务接口性能稳定,运行流畅,未出现数据丢失或系统卡顿等现象。
4.2 应用效果
对完全可以复用的标准化功能集中开发,实现了以低研发成本加速上线新业务的能力,通过集中研发运维获取业务高稳定性,底层服务可同时服务多个业务场景,聚合流量加速积累完善;打通了业务数据壁垒,实现了跨业务复用,可根据多类型数据快速提升业务能力;统一了数据标准,可最大化实现数据复用,把一个场景积累的数据优势应用到其他业务场景中,逐渐建设企业的数据壁垒;部分资源中央化变
成企业资源,通过对这些信息的高效复用、快速积累、综合利用,极大提高了数据资源的使用价值及利用效率[5]。5 实践评价
此次实践,从公共数据业务这一点出发,初步建成了“数据+业务”中台架构,实现了公共数据资源的有效管理和高度复用,极大提高了前端开发上线效率,提升了系统质量和用户体验,取得了不错效果;但距离中台技术的全面推广应用还有很长的路要走。油田企业核心业务数据为勘探生产研发数据,只有全面建成以此类数据为核心的中台体系,充分挖掘数据潜能,才能让中台架构全面发挥出应有的作用。
主要参考文献
[1]魏忠.建制化教育下的业务中台、数据中台与技术中台[J].
中国信息技术教育,2021(22):12.
[2]马雪山,张辉军,陈辉,等.前后端分离的Web平台技术研究与实现[J].电子技术于软件工程,2022(8):70-73.[3]曾青松,魏斌.基于RESTFUL API的访问权限系统的设计与实现[J].电脑编程技巧与维护,2020(11):3-6.
[4]许瑞辉,周凡雅,杨楠.新一代企业统一接口平台的研究[J].
信息技术与信息化,2013(6):22-25.
[5]陈新宇,罗家鹰,邓通,等.中台战略:中台建设与数字商业[M].北京,机械工业出版社,2019:128-163.
106/ CHINA MANAGEMENT INFORMATIONIZATION
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论