^mmmm2021年第05期
(总第221期）云端省级公共气象服务数据共享平台设计与实现
刘建宏\陈增境2，高国弘\赵蔚\张超华1
(1.宁夏气象服务中心;2.宁夏气象信息中心，宁夏银川750002)
摘要：为提高社会公众气象服务建设能力，不断完善公众气象服务体系，解决气象数据跨网共享难点和产品海量生产痛 点等问题，通过采用互联网“数据聚合(Mashup)”技术建立宁夏公共气象服务数据共享平台，将来自多个渠道、不同格式 的公共气象服务数据融合到统一的服务云中，实现数据“云端化”、制作“在线化”、共享“规范化”，为气象部门各类互联网 服务终端，乃至全社会和气象信息服务企业提供了一个均等使用气象数据的途径，降低了各类市场主体获取气象数据的 难度与成本，为气象信息服务市场大众创业、万众创新提供基础。
关键词：数据共享；数据聚合；数据处理；分布式计算
中图分类号:TP309 文献标识码:B文章编号=2096-9759(2021 )05-0054-05
Design and Implementation o f Cloud Provincial Public M eteorological Service Data Sharing
Platform
Liu Jianhong1,Chen Zengjing2,Gao Guohong1,Zhao Wei1,Zhang Chaohua1 (l.Ningxia Meteorological Service Center,Yinchuan750002;2.Ningxia Meteorological Information Center,Yinchuan750002)
A bstract:In order to improve the public meteorological service construction capacity,continuously improve the public meteor­
ological service system,and solve the problems of cross-network sharing of meteorological data and the pain points of mass pro­duction of p roducts,the Ningxia public meteorological service data sharing platform was established through the use of InternetM Mashup"technology,To integrate public weather service data from multiple channels and different formats into a unified service cloud to realize data"cloudification",production"online1',and sharing"standardization",providing various Internet service termi­nals for meteorological departments,and even The whole society and meteorological information service enterprises provide a way to use meteorological data equally,which reduces the difficulty and cost of various market entities to obtain meteorological data, and provides a foimdation for public entrepreneurship and innovation in the meteorological information service market
Key w ords:data sharing;data aggregation;data processing;distributed computing.
〇引言
随着(移动)互联网、大数据、云计算、人工智能等科技的 不断发展，人类社会已经全面步入“互联网+”时代，如今社会 公众和各行业部门对于气象信息的关注度逐渐增强，移动互 联网媒体成为人们获取天气信息的主要渠道。气象数据的共 享服务是气象业务和气象科研的重要工作'近年来，国家和 省级气象部门在气象数据的组织、共享和管理及相关系统建 设方面也取得了很多研宄成果M。针对气象业务网信息共享需 求，国家气象信息中心开发了 C IM ISS系统，从数据收集、加工 处理、存储管理、共享服务和业务监控等方面进行设计，为国 一省两级气象业务提供了统一规范的气象数据使用环境[2]，而 在气象信息对外共享上，还停留在拉专线、小系统的模式，出现了气象数据获取渠道多样、数据格式不统一，甚至有数据不 一致的现象发生，这给数据共享带来了极大困难。因此急需 构建一个基于互联网云，标准统一、格式统一、数据种类丰富、共享方便快捷的公共气象服务数据共享平台。
本文立足于宁夏公共气象服务数据共享和应用需求，阐述如何将来自多个渠道、不同格式的气象服务数据融合到统 一的互联网云环境中并对外共享。分别从标准化数据获取、产品生成与存储、数据共享与服务三个方面，设计并实现了一种公共气象服务数据共享系统，为省级公共气象数据共享平 台设计提供了一种整体解决方案。
1平台总体设计
宁夏公共气象服务数据共享平台以全国综合气象信息共 享平台(CIMISS)、宁夏气象综合数据库、宁夏智能网格预报引 擎等异构数据库为数据源，通过WEB A P I接口和共享Mashup 为气象部门各类互联网服务终端，乃至社会气象信息服务企 业提供天气预报、天气实况、天气预警、旅游景区预报、交通预 报等公众气象服务数据共享服务。平台采用B/S架构，基于 WEB A P I接口技术和M ashup数据聚合技术研发，实现了 27 种气象服务产品的云端数据共享。平台主要由数据采集子系 统、产品生成子系统、数据库子系统、数据共享子系统、云端网 站等5个功能模块组成，结构上分为三层，第一层为数据层, 用于整合不同来源的数据，对应数据采集子系统和数据处理 子系统，在Mashup数据聚合架构中为API/内容提供者[4]；第二 层为服务层，用于用户管理、鉴权保护、数据库管理，对应数据 库子系统和数据共享子系统；第三层为表示层，用于用户操作、A P I接口和共享Mashup展示等一系列前端功能，对应云端网 站，在Mashup数据聚合架构中为Mashup站点(Mashup Site)w，用于内容呈现。具体架构和流程如图1所示。
收稿日期=2021-03-18
基金项目：中国气象局旱区特农业气象灾害监测预警与风险管理重点实验室2019年度指令性科研项目（CAMP-201908);
作者简介：刘建宏(1988-)，男，本科，工程师，主要从事气象信息技术工作。
通讯作者：陈增境(1984-)，男，研宄生，高级工程师，主要从事气象信息技术工作。
54
图1公共气象服务数据共享平台结构图
图2气象服务产品实时计算生成流程
元共車
A P 丨接口
接口
興
| M a s h u p 共擘应用
|
闲户注册
播口使用说明
v
云服
嚣
MySQL TimescaleOB
文件系狡
it W 痛出
产品合生成
数B S 祖英-防火墙
云繃网站
败泥共車子系执
败提應子系统
产品生成子系执昉火墒
采雉子第铳
ik^vsnmm
数据缌存通取谗
密料处
m m
内网
S
主
机
I D
公
典 s w w
气«业裊SB
55
1.1数据层
数据层采用Mashup 数据聚合技术，整合不同异构数据库 中的气象数据，将数据统一汇聚至互联网云端数据库，通过基 础气象数据的各种组合并带入产品算法，生成天气预报、天气
预警、城市生活指数旅游景区预报、交通预报等气象服务产品， 通过标准化JSON 文件推送和数据库写入两种方式，将产品存 储至数据库子系统。
1.2服务层
服务层通过数据云共享管理子系统实现数据共享接口的 封装、用户管理和数据访问权限分配三大功能：
⑴数据共享接口的封装：将数据库子系统存储的服务产 品数据转换为统一的JSON 数据格式，封装成公共气象服务数
据共享接口。
(2) 用户管理：实现对用户的査询、増加、删除和编辑等功
能。
(3) 数据访问权限分配：按照用户的需求进行API 接口的
权限分配，通过权限分配，賦予用户对某个接口 一定的访问权 限。
1.3表示层
主要为用户提供WEB 端数据调用操作和共享内容呈现， 实现用户注册、数据接口的申请、数据接口测试等功能，包括 用户管理模块、接口申请模块、接口测试模块、JSON 数据回显 模块等。目前能提供天气预报、天气实况、天气预警、宁夏旅 游区天气、公路交通气象服务等27个公共气象数据共享接口 和6种气象产品共享Mashup 。
2关键技术
2.1云端分布式产品加工生成技术
气象服务产品的制作需要不同气象数据、行业数据、基础 数据的组合计算，且平台采集的气象数据具有异构、海量、时 效性髙等特点'这就需要一套可以实现气象数据、行业数据、 基础数据加工处理和融合分析的的数据处理系统。宁夏公共 气象服务数据共享平台采用云端分布式计算框架，实现了一 套气象服务产品分布式实时计算生成系统（简称产品生成子 系统)，可以对平台采集的气象数据在云端进行分类、组合，并 结合行业数据和基础数据代入算法进行实时计算生成相关气 象服务产品，从而达到制作“在线化”的目的。且系统具备性 能的可扩展性，当数据处理需求増大，系统能力无法满足业务 需求时，支持通过云端虚拟负载均衡、增加计算节点硬件配置 和増加计算节点等方式提升系统数据处理能力。图2是产品 生成子系统在云计算框架下的实现流程。宁夏公共气象服务 数据共享平台在互联网云上设计采用七台云主机作为分布式 计算集，其中一台作为分布式计算资源协调节点，其他六台 作为计算节点。
2.2时序数据库与关系数据相结合的分布式数据存储技术
大部分气象服务产品数据都为时序数据，其特点为数据 都具有时间属性，随着时间推移不断产生新的数据。在气象 服务产品共享应用服务中，系统对于海量数据存储、高速数据 交换以及多并发访问等需求需要进一步解决w ，而时序数据库
就是解决上述问题的技术手段之一，时序数据库对比传统数 据库性能大幅提升，单核每秒能处理至少2万次请求，插入数 百万个数据点，读出一千万以上数据点，比传统数据库快了十 倍以上，但时序数据库对数据模型的描述能力较弱' 无法满 足一些非结构化、时间特征不明显的气象服务数据存储读取,
为保障这些数据的存储读取，宁夏公共气象服务数据共享平 台采用TimescaleDB 时序数据库和MySQL 关系数据库相结 合，充分发挥两种类型数据库各自的优势。宁夏公共气象服 务数据共享平台在互联网云上设计采用4台云主机作为分布 式存储集，其中一台作为MySQL 数据库存储节点，其他三 台作为TimescaleDB 时序数据库分布式存储节点。Timescal -
eDB 时序数据库与数据共享子系统采用服务接口的形式进行
集成17)。
3标准化数据获取
气象服务产品存在数据神类多样、数据采集流程不统一 等问题，因此制定统一的气象服务数据交换标准是实现产品 数据共享的基础。在数据采集子系统功能设计上，为保障各
类气象数据从不同异构数据库中提取，通过数据处理后进而
实时共享。数据采集方式需采用分布式部署和轻量级终端设
计1^。终端可通过多种方式进行数据采集，采集方式可根据数
据源进行预设。具体数据采集流程如图3所示。
图3数据采集流程图
4产品生成与存储
4.1产品生成
产品生成子系统选择JSON 数据交换语言，将气象基础数 据进行分类处理，存储至相应的库表结构中。按照产品生成 策略，生成天气预报、天气预瞥、旅游景区预报、交通预报、各
类气象生活指数等27种气象服务产品。依据产品种类，统一 汇聚至互联网云端数据库。4.2数据存储
选用TimescaleDB 和MySQL 数据库作为运行数据库。 负责存储业务数据和元数据，业务数据分为结构化数据和非 结构化数据'结构化数据包括地面气象观测分钟数据、地面 气象观测历史小时数据、气象灾害预聱信息等数据，非结构化 数据包括智能网格天气预报、智能网格天气实况等数据：元数 据分为动态元数据和静态元数据B ]，动态元数据包括注册用户 信息、接口配置信息、访问策略信息等数据，静态元数据包括 行政区划代码表、返回代码信息表等。具体详见数据分类表 和数据要素表。
56
表1数据表的数据分类
数据分类存储方式有效期地面气象观猁分钟数据
地面气象观测历史小时数据
气象灾咨预瞥信息
结构化数据乡镇精细化天气预报
业务
城冇气象生活指数数据库表
城市气象空气质f t指数规定时间内
数据
旅游祭区预报a端(V•储
交通预报
电力线路预报
非结构
化数据
智能网格天气预报
智能网格天气实况文件库
智能网格气象生活指数
注册用户信息
接丨丨配S焓息
动态元»问策辂信息
数据库表
数据接口访问次数
元数据
接口访问密钥永久云端
接口访问1P存储
行政区划代码
静态元旅游策区信息Json文件
数据路段信息
返回代码信息
5数据共享与服务
公共气象服务数据共享平台在数据共享方式的设计上采 取A P I接口和共享M ashup两种形式来提供气象服务数据共 享服务。
5_1 A P I接口
A P I接口提供应用级别的气象数据调用，可以通过数据共 享子系统的接口管理模块实现所有共享A P I接口的统一管理, 包括修改接口参数、增加新接口、接口权限管理等功能。用户 通过访问A P I接口地址可直接获取气象数据进行二次开发应 用，省去了数据处理和存储的过程，降低了气象数据开发应用 难度和成本。下面以天气实况查询接口为例进行说明，应用 示例如下：
接口名称：基于站号查询天气实况
接口 地址:cloud.n x l21 /Json/ReaTimeSN.ashx
返回格式:Json
请求示例：cloud.n x l21/Json/ReaTimeSN.ashx? top=返回数据条数&sn=站号&key=您的KEY
参数说明：
名类型是否必填说明
sn strin g Y站号（如：53614)
to p sirin g N返回数据条数.缺冇则返回最新一条数据
Json返回示例：
{nerror_code”： 200000,"reason":"查询成功"，"result": {"站 号":"53614",” 行政代码":"640106","经度":”106.2078”,"纬 度":"38_4714"，"Tqsk":[{"时次":"2021-03-29 12: 00"，"气温”:"13.9"，"最高气温”:"14.2”,"最低气温":"11.4"，"湿度
最小湿度降水六小时雨量二十四小时57雨量风速风向”北"，"风向D":"10"，"风速2分 钟风向2分钟最大风速最大风向
极大风速”:"4.1V'极大风向”:"323极大风速24小时
极大风向24小时气压":"881.9”,"能见度":"10221"，"最 小能见度1小时":"1〇〇83",”最小能见度24小时":”1561"}]}} 5.2 共享Mashup
共享Mashup为服务器端Mashup和客户端Mashup，服务 器端Mashup采用ASP.N E T动态内容生成技术生成类似传统 的W eb应用程序[5]；客户端M ashup在用户浏览器中提取API 接口共享内容，并载入JavScript脚本语言直接生成。共享Ma-shup可提供多数据融合的气象生活应用，用户可通过参数调 整，快速生成符合自身需求的产品，并可快速植入用户应用系 统中，省去用户从数据到产品的开发过程，为用户节约研发成 本和研发时间。下面以智能网格天气实况共享M ashup为例 进行说明，该Mashup融合宁夏智能网格天气实况数据和宁夏 地理信息数据，实现宁夏全区智能网格天气实况场的数据可 视化，应用示例如下：
程序名称：智能网格天气实况
：napi.n x l21/qxfw/nxgdsk.aspx 请求示例：napi.n x l21/qxfw/nxgdsk.aspx? Ele-ments=观测要素
参数说明：
参数名类型是否必填说明
s n string Y站号（如：53614)
top string N返回数据条数，缺省则返回最新一条数据
云数据库服务插件演示：
参数Elements设置为SKTT，显示空间分辨率5X5公里宁 夏全区智能网格实况气温，完整链接为:napi.n x l21/ qxfw/nxgdsk.aspx?&Elements=SKTT
效果：程序带入参数S K T T后，返回的结果为宁夏全区智 能网格天气实况，具体效果见图4。
O f i J宁麗•能网格实s麵•
■t-W
_M 23MHW^021-03-29|012"二图4宁夏全区智能网格实况气温
场
5.3权限管理
A P I接口采用密钥和IP地址白名单两神模式进行数据安 全保护，下面具体阐述两种权限管理模式的具体流程：密钥模式：此模式主要应用于多场景、数据调用量中等 的情况使用，在用户完成申请A P I接口，选择密钥模式后，系统会生成一组由数字、大小写字母、字符组成15位随机 字符串作为密钥，用户可通过该密钥对申请的A P I接口进 行数据访问，直到密钥使用次数归零为止。此模式的优点是 灵活方便，用户完成密钥申请后，可将密钥应用于不同开发 场景，尤其可用于客户端直接调取数据的开发模式，流程图 见图5。
m m
逋|咖
云綱接口
鏟細《0
■■■■
图5密钥权限认证
IP地址白名单模式：此模式主要应用于服务端应用级别 的数据调用，用户在完成申请A P I接口，选择IP地址白名单 模式后，系统会要求用户录入服务器外网EP地址和网卡M AC 地址进行绑定，生效后，由此IP地址向接口请求数据，系统将 不再拦截。此模式的优点是具有较高的安全性，应对大流量、多并发的数据请求反应速度也优于密钥模式，但灵活性较差, 只适合于服务端级别的数据调用，流程图见图6。
細I隱
接口
闕訪1
飯职t t S
图6 IP地址权限认证
5.4气象数据共享网
采用H TM L5网页前端框架完成气象数据共享网的研发，实现以B/S架构的气象服务产品标准化数据共享，用户注册 登录网站后，可进行接口申请、接口测试等数据共享操作，网站实现了 27种气象服务产品的共享。接口测试工具展示如 图7所示。
‘如挪：肝
，S口祕：l i i t p：//t l o u d.n j c丨的r r n i e S N.的f i x
茂了織肩綱IfKff獅.峨)
谓求職
辭#a
^m s
H t t p;//c J o u d.r a c121n e t/J s o f i/R e a T i m e S N^s h j c
s n^f4f i^b Z C S t5y Z d h a N&l—
h t t p^/d o u d.t u i^l J i e£/J5〇n/S e a F i m e S N.a s h x?s n s S3614&k e y=b Z Q Z t S y Z d h a f
t t r l
6结语
图7接口测试工具
面向社会公众和各类应用开发者对公共气象服务和专业
气象服务数据的应用需求，涉及气象数据跨网段共享难、数据
共享标准不统一、数据共享信息孤岛多等问题，以数据“云端 化”、共享“规范化”、制作“在线化”为目的，本文提出了一种公
共气象服务数据共享解决方案，即制定统一数据采集标准，使
用分布式、轻量化采集终端获取各类气象数据，应用云端分布
式计算和存储技术完成气象服务产品生成，最后通过Web A P I
接口、共享M ashup完成产品在云端的共享应用。该方案规范
了气象数据采集共享标准、统一了调用渠道、降低了用户使用
气象数据的门檻和成本。
目前，该平台已经在宁夏回族自治区电子政务云部署并
业务化运行，对内应用于宁夏气象部门各级业务系统中，对
外被交通、文旅、化工、民航、电力等多个部门广泛应用，开创
了宁夏气象服务的新模式，成为“行业+气象”融入式发展的
典范。
参考文献：
[1]尹常红，胡雅超，袁文波，等.一种气象数据共享接口系统的
设计与实现.电脑知识与技术,2021，17(5):93-109.
[2]王力，杨福兴，曹锦飞.一种地市级气象数据共享系统的设
计与实现.计算机技术与发展,2020,30(4):200-205.
[3]李林，郭彩莲.基于W E B的气象数据共享平台研宄与应
用.单片机与嵌入式系统应用,2019(3):23-27.
[4]杨光.基于Mashup聚合技术的网络学习研宄.产业与科技
论坛》2012,11(8):77-79.
[5]王萍，张际平.M ashup聚合技术与网络学习.电化教育研
宄》2008 (3):63-71.
[6]胡争光，薛峰，金荣花，等.智能网格预报应用分析平台设计
与实现.气象,2020,46(10):1340-1350.
[7]张家勇，刘黔云，邓卫卫，等.时序数据库技术在贵州地质灾
害监测设备运行维护调度平台中的应用.中国地质灾害与
防治学报>2020,31(5):117-122.
58

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。