基于分布式和微服务架构的华信气象服务云平台
崔宏;吴恩平;熊安元;王尊鹏;赵笔锋;龚伟伟;邓鑫
【期刊名称】《气象科技进展》
【年(卷),期】2018(008)006
【总页数】8页(P125-132)
【作 者】崔宏;吴恩平;熊安元;王尊鹏;赵笔锋;龚伟伟;邓鑫
【作者单位】华云信息技术工程有限公司;华云信息技术工程有限公司;国家气象信息中心;华云信息技术工程有限公司;华云信息技术工程有限公司;华云信息技术工程有限公司;国家气象信息中心
【正文语种】中 文
华信气象服务云平台应用数据库、通信、并行计算等传统技术结合新兴的云计算、大数据技
术进行建设。基于Hadoop分布式处理框架与应用Spring Cloud框架搭建、Docker容器封装、RESTful API作为服务接口的微服务架构，平台实现了各服务模块的高内聚、低耦合、灵活可扩展，为气象服务产品开发和实时服务提供数据环境和基础资源支撑，以实现面向航空、电力、保险等不同行业提供定制化的气象信息服务。
近年来，随着我国经济的迅速发展，各行各业对气象服务的需求也日益凸显。《气象信息服务管理办法》于2015年6月1日起开始施行，促进了我国气象信息服务发展、气象信息服务市场的培育与气象信息服务活动的规范化，气象服务进入快速发展阶段。华信气象服务云平台即为开展B2B定位的气象服务业务而建设，基于云平台提供的数据环境以及基础资源支撑，通过将气象行业数据与不同领域的需求结合进行信息再加工，提供实时更新的有针对性的气象服务，为相关行业生产经营规划与决策提供信息支撑，为防灾减灾服务。
作为气象服务云平台的核心内容，气象数据具有时空尺度跨度大、数据体量大（但可控）等特点，符合大数据体量大、数据种类繁多、数据需求处理速度快、数据价值高的基本特征，海量气象数据“密集型科学发现”以及“与其他相关行业或领域数据的深度融合以获得跨领域、跨学科的新知识”成为未来气象科学发展和进步的新途径和模式。因此，可以应用大
数据相关技术解决海量气象数据的规范化存储管理、高时效应用等技术问题。由于气象服务具有业务不断丰富扩展与气象服务产品个性化定制需求不断增加的特点，因此需要建设一个基础资源与业务逻辑可灵活扩展的服务平台，分布式与微服务结合的架构可以满足气象服务平台可扩展性要求。其中，云平台的弹性计算、虚拟化、按需服务、异地灾备、分布式存储与处理等技术特性可以满足气象服务平台基础资源扩展的需求；专注于具体业务功能实现、模块边界明确、细分功能为独立服务的微服务架构具有技术选型灵活、独立按需扩展、可用性高等优点，能较好地满足快速迭代开发、业务灵活扩展的需求，将高度耦合的功能分解到各个离散的微服务中，可以实现对应用系统的解耦，解决传统的单块式系统架构随着业务需求增长出现的交付周期长、灵活性降低、可伸缩性差、维护成本高等问题。
本文主要介绍基于分布式和微服务架构建设的华信气象服务云平台，其应用了传统的数据库、通信、并行计算等技术，并结合新兴的云计算、大数据技术，以实现面向不同行业的实时气象服务可定制、可扩展，为气象服务产品开发和实时服务提供数据环境和平台支撑。
1 平台简介
华信气象服务云平台的主要功能包括各种气象数据的收集、传输、存储管理，服务产品加工处理，以及数据服务与监控管理相关功能，在统一气象数据环境基础上实现面向不同行业应用的气象服务，其主要功能包括：
1）数据收集、传输：负责定时或根据请求从数据源收集业务所需的各类数据，并传输到公有云平台上。数据收集方式支持基于数据库API接口、文件共享、FTP共享、Web Service 等多种数据收集方式。
2）数据存储管理：负责对收集到的各种数据进行入库存储，并提供数据备份、数据恢复、数据清除等功能。各种观测数据、产品数据采用关系型数据库和文件库相结合的形式进行存储。
3）服务产品加工处理：根据不同领域气象服务用户的需求，对地面、高空、农气、雷达、卫星、数值预报产品、气象服务产品等各种气象基础数据结合行业信息进行加工处理，生成不同服务用户所需的定制气象服务产品。
4）数据服务发布：以门户网站的形式提供服务数据发现导航、数据查询检索、数据下载功能，并提供数据和产品实时服务API接口以及数据FTP下载服务。
5）平台监控管理：实现平台业务和数据监控、用户管理等功能。
1.1 平台数据环境
平台通过建设统一气象数据环境支撑面向不同行业应用的气象产品定制服务，主要业务数据包括地面、高空、农气、雷达、卫星等基础观测资料，多种数值预报模式产品、融合分析产品、天气预报产品，以及平台加工制作的各种气象服务产品，日增数据量约2.2 T。表1给出了平台数据环境中包含的数据类型、名称、更新频次、空间范围以及日增量。
分布式和微服务的关系表1 华信气象服务云平台数据环境说明全球（含中国）地面逐小时观测数据 1 h 全球地面观测资料中国地面分钟自动观测数据 1～10 min 中国中国地面观测日值数据 1 d 中国中国地面观测旬值数据 1旬 中国中国地面观测月值数据 1月 中国约8 G中国气球探空资料2次/d 中国高空气象资料GNSS/MET高空水汽观测资料 1 h 中国飞机AMDAR气象观测资料 不定时 中国闪电定位观测资料 有闪电时10 min一次 中国约13 G自动站土壤水分观测资料1 h 中国农业气象资料约2 M农作物生长发育观测资料 1旬 中国农业气象灾害观测资料 1旬 中国雷达气象资料 新一代多普勒天气雷达基本产品及反演产品 1次/6 min 中国 约1.2 T全国以及分区多普勒天气雷达组网拼图产品 1次/6 min 全国以及8大区域FY-2E、FY-2F、FY-2G云图
产品 2次/h（加密观测4次/h） 中国大陆、海区卫星气象资料FY-4A云图产品5～15 min/次 中国大陆、海区FY-3云及大气廓线反演产品 2次/d 全球FY-2E、FY-2F、FY-2G反演降水、云、辐射等产品 2次/h 中国大陆日本葵花-8（Himawari）卫星圆盘图 1次/10 min 东亚约416 G T639东北半球中期数值预报模式产品 2次/d 东北半球数值模式预报产品GRAPES_MESO中尺度数值预报产品 2次/d 中国范围欧洲中心（ECWMF）数值预报模式产品 2次/d 全球美国NCEP全球预报系统（GFS）产品 2次/d 全球日本全球数值预报模式产品 2次/d 全球约208 G全国三源融合降水格点分析产品 1 h 中国气象分析与预报产品全国地面同化气象要素格点分析产品 1 h 中国全国城镇精细化预报指导产品 2次/d 中国灾害性天气预报产品 3次/d 中国全国精细化逐小时格点预报产品 2次/d 中国强对流天气短时临近预报产品 10 min 中国台风路径监测与预报数据 1 h 西太平洋海域约285 G机场跑道自动观测数据1～5 min 中国行业气象服务产品航空气象服务产品 1次/10 min～2次/d 中国电力气象服务产品 1次/10 min～2次/d 中国环保气象服务产品 1 h 中国保险气象服务产品 1 h～1旬 中国农业气象服务产品 1 h～1旬 中国约128 G
1.2 公有云环境
随着气象服务业务的不断发展，气象服务平台需要随时扩充服务器、存储等基础设施支撑资源，而技术成熟的公有云具有按需服务、弹性计算、异地灾备等特性，可以满足气象服务平台基础资源扩展的需求。因此，华信气象服务云平台部署在公有云上，由公有云提供计算、存储与网络资源支撑。
公有云环境现有资源配置及用途说明见表2，未来可能随着服务业务量增加补充公有云资源。
表2 平台公有云资源说明部署数据加工处理系统，实现数据解析、加工处理、服务产品加工等功能数据存储管理服务器 1台 8核CPU，64 G内存，380 G高效云盘，带宽50 Mbps 部署数据存储管理系统，实现数据入库存储、数据管理等数据接收服务器 2台 8核CPU，16 G内存，340 G高效云盘，带宽50 Mbps 接收传输上云的服务所需的各种气象数据和产品数据加工处理服务器 4台 2台8核CPU，64 G内存，4 T高效云盘，带宽50M bps；2台32核CPU，64 G内存，140 G高效云盘，带宽100 Mbps服务器资源（虚拟机）Hadoop服务器集 6台2台管理节点8核CPU，64 G内存，680 G高效云盘，带宽50 Mbps；4台数据节点8核CPU，64 G内存，1 T高效云盘，带宽20 Mbps部署HBase集、Redis内存数据库、
Elastic Search分布式全文检索系统等，实现数据分布式存储和检索服务2台管理节点32核CPU，64 G内存，1700 G高效云盘，带宽50 Mbps；4台数据节点8核CPU，16 G内存，3700 G高效云盘，带宽50 Mbps MySQL集服务器 6台部署MySQL集，包括2个管理节点和4个数据节点，实现结构化数据分布式存储API接口服务器 2台 4核CPU，16 G内存，100 G高效云盘，带宽50 Mbps 部署各种数据和产品的API接口Web服务器 2台 4核CPU，16 G内存，380 G高效云盘，带宽50 Mbps 部署Web服务器中间件，气象大数据共享服务平台软件平台监控管理服务器 1台 8核CPU，16 G内存，340 G高效云盘，带宽20 Mbps 部署平台监控管理系统网络资源 网络及安全设备、负载均衡 按需实现数据网络传输、安全保障以及网络负载均衡

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。