0引言
目前大部分高校都是通过科研团队自己购买和运维服务器、存储等IT基础设施,以获得实验环境,这种资产管理模式带来一些问题:①占用科研工作者的科研时间,科研工作者既要完成科研工作,又要额外承担维护IT设备的工作;②很多科研单位没有专业的机房存放IT设施,只能将服务器、存储等大功率IT 设备放置于办公环境中,存在用电安全风险,且大功率设备放射性和噪音较大,影响办公室人员的身体健康;③各课题组缺乏专业的设备运维人员,难以对IT 设备有效管理和运维;④IT基础设施分属于不同的科研团队,只能在各自科研团队内部使用,做不到与其他团队共享,利用率低。
云计算是信息和网络技术发展到一定阶段的必然产物,它通过网络,可以按需给用户提供不同
层面的资源服务。云计算分为基础设施即服务(Infrastructure As Service,IAAS)、平台即服务(Platform as a Service,PAAS)、软件即服务(Software as a Service,SAAS)。其中IAAS通过互联网可以为用户提供基础的计算资源、存储资源、网络资源等;PAAS可以为用户提供开发建设新应用的基础架构;SAAS可以通过互联网为用户提供软件,用户无需购买软件,只需要向提供商租用软件即可完成企业的经营活动。云计算是一种按使用量付费的商业活动,在这种活动中,网络、服务器、存储、应用软件和服务作为商品提供给用户,用户只需投入很少的管理工作或者与服务供应商进行很少的交互[1-2]。
云计算广泛应用于很多行业,把云计算技术运用到高校资源管理,改善课程教学和科研计算环境成为其中
的一种趋势[3-6]。深圳大学作为广东省重点建设
DOI:10.16644/jki33-1094/tp.2021.06.034
高校科研云平台研究和构建
户利利
(深圳大学信息中心,深圳广东518060)
摘要:针对高校科研项目组中的IT设备利用率低、无法共享,运维、存放难的问题,探索将云计算运用于科研支持中,构建科研云平台。文章从技术角度介绍了该科研云平台的网络框架和主要功能架构。科研云平台可以快速、高效地为科研活动提供科研环境,是深圳大学在高水平大学的建设过程中的积极尝试。
关键词:云计算;科研云平台;网络架构;功能架构
中图分类号:TP393.09;G644文献标识码:A文章编号:1006-8228(2021)06-125-04 Research and construction of university scientific research cloud platform
Hu Lili
(Information Technology Center,Shenzhen University,Shenzhen,Guangdong518060,China)Abstract:The IT equipment belonging to the scientific research teams cannot be shared among different groups,which leads to a low rate of utilization.Besides,the equipment would face the problems of storage and maintenance.It is probed to build a scientific research cloud platform that applied cloud computing in scientific research-support to solve these problems.This paper introduces the network structure and prominent function architecture of the scientific research cloud platform.The scientific research cloud platform provides fast and efficient research environments for scientific research activities.It is an active attempt of Shenzhen University in the process of building a high-level university.
Key words:cloud computing;scientific research cloud platform;network framework;function architecture
收稿日期:2021-01-19
作者简介:户利利(1982-),女,河南省安阳人,硕士研究生,副高级工程师,主要研究方向:虚拟化、云平台、大数据。
高校,积极探索将云计算运用于科研支持中,搭建了高校科研云框架,通过虚拟化和云调度管理技术将
来自不同厂商的、多台烟囱式的、彼此孤立和割裂的计算、存储、网络设备在逻辑上整合成一个大的IT 资源池,各个科研团队通过IT 自服务的方式获得科研云平台提供的计算、存储等资源。
1云计算
2006年8月,Google 在业界首次提出“云计算”的概念,同年亚马逊推出在线存储服务器S3和弹性计算云EC2等云服务,至今,云计算已走过十多年,广泛应用于各行各业[7]。云计算主要的关键技术有虚拟化技术、分布式数据存储技术,云平台管理技术等。
虚拟化技术是一种资源管理技术,它将服务器、网络、存储等实体资源进行抽象转化后呈现出来,将IT 实体结构进行了分割,用户可以采用比原来更好的方式来应用这些资源。目前已经有的虚拟化技术有超过了60种,基于X86体系的也已经超过50种,其中使用比较广泛的有vmware 的ESX、微软的Hyper-V、开源的XEN 和KVM [8]。
分布式存储技术采用冗余存储的方式保证数据的可靠性和稳定性,分布式存储有多种实现技术,如HDFS、Ceph、GFS、Switf 等,其中Ceph 是典型的分布式文件系统,是云计算分布式存储中的一个明星项目,2004年由Sage Weil 发起,经过多年的发展之后,
已得到众多云计算和存储厂商的支持,成为应用最广泛的开源分布式存储平台。
云平台管理技术能够使大量的服务器协同工作并方便的进行业务部署和开通,可以快速发现和恢复系统故障,通过自动化、智能化手段实现大规模系统的可靠运营。目前开源的云管平台主要有OpenStack、CloudStack、Eucalyptus 和OpenNebula [9],OpenStack 因其技术框架成熟,已成为该领域的事实标准。
2科研云平台的整体框架
深圳大学科研云平台框架采用OpenStack 技术,具有兼容性强、扩展性高和部署灵活的特点。平台底层可以很好的与第三方系统集成对接,广泛兼容不同品牌厂商服务器,不同品牌厂商FC-SAN 集中式存储,不同品牌的厂商SDN 网络设备和负载均衡设备。2.1科研云平台网络拓扑
深圳大学科研云平台的物理构成如下:三台云管理服务器;三台云控制服务器;三台SDN 控制器;三台计算节点服务器;二台高性能GPU 计算节点服务器;三台存储节点服务器,这些服务器采用不同配置的H3C UniServer R4900G3;一套H3C SDN 网络设备(Spine 交换机S12500X-AF 二台,Leaf 交换机S6800四台);三台S5130S-EI 分别作为云平台管理交换机和带外管理交换机;二台S6520X-EI 作为分布式存储交换机。图1是科研云的网络架构图。
图1
科研云网络架构图
其中云控制节点配置了二颗intel 4208处理器,96G 内存,二块600G 2.5英寸10K SAS 硬盘,一块
12Gbps SAS 磁盘阵列控制器。云控制节点用于部署云控制器系统,负责管理服务,实现对云服务的全局
图2
科研云功能架构图
控制、调度和管理,包括计算管理服务、存储管理服务、网络管理服务、认证授权服务、编排管理服务、计量服务、镜像管理服务等。
云管节点配置了二颗intel 4208处理器,96G 内存,二块600G 2.5英寸10K SAS 硬盘,一块12Gbps SAS 磁盘阵列控制器。云管节点用于部署上层云管平台,该云管平台包含了统一组织管理,权限管理,用户管理,项目管理,日志管理,自服务管理,计量计费管理,容量资源统计管理,自动化运维,物理裸机管理等核心模块。
SDN 节点配置了二颗intel 4214处理器,128G 内存,二块600G 2.5英寸10K SAS 硬盘,三块2.4T 2.5英寸10K SAS 硬盘,一块12Gbps SAS 磁盘阵列。SDN 节点用于部署华三SDN 控制器系统,华三的SDN 控制器支持与标准的OpenStack 云管平台对接,云管平台可以通过OpenStack 的Neutron 模块接口实现对SDN 控制器的调用,最终实现在云管界面的网络操作,通过SDN 控制器下发到SDN 交换机进行执行,为业务需求实现网络配置。SDN 网络设备包括二台华三SDN 核心Spine 交换机和四台Leaf 接入交换机。Spine 交换机的型号是H3CS12504X-AF,配置为双交流电源,双主控、六个交换网板,四个业务槽位,配置24个万兆光端口,10个40GE 端口;Leaf 接入交换机的型号是H3C S6800-54QF,配置为48个万兆光端口,六个QSFP+端口,二个带外管理端口,二个交流电源。SDN 节点和SDN 网络设备共同组成了SDN 网络系统。
计算节点有两类,一类是配置有二颗intel 6238处理器,512G 内存,二块600G 2.5英寸10K SAS 硬盘,一块12Gbps SAS 磁盘阵列控制器的普通计算节
点,这类节点为科研业务提供通用计算能力。一类是配置含二颗intel 4214处理器,256G 内存,二块600G 3.5英寸10K SAS 硬盘,四块4TB 3.5寸7.2K SATA 盘,一块12Gbps SAS 磁盘阵列控制器,四张NVIDIA Tesla V100S 32G GPU 模块的计算服务器,这类节点为科研业务提供具有GPU 计算能力的资源。
存储节点配置了二颗intel 4208处理器,96G内存,二块600G 3.5英寸10K SAS 硬盘,二块960GB 读写密集型SSD 盘,八块6TB 3.5寸7.2K SATA 盘;一块12Gbps SAS 磁盘阵列控制器。存储节点用于部署分布式存储软件,可随时在线扩容,性能和容量随着服务器节点数量增加而线性增加,满足大规模存储需求。2.2科研云系统功能架构
科研云平台采用多级权限管理,根据不同的用户角实现云平台资源的访问控制和资源管理。在科研云平台中主要有项目用户、组织管理员和云管理员三种角。项目用户可以对所在项目内的所有服务和资源进行自助式申请和操作。项目用户分为项目管理员和普通项目用户,项目管理员权限高于普通项目用户,可以监控项目组内所有资源。组织管理员由超级管理员创建,不仅具备项目用户的所有权限,还可以对部门下属的项目和用户进行管理,并能够配置下属所有项目的资源配额。云管理员具备最高权限,可以配置平台上所有组织权限及用户操作权限,能够对部门、项目、用户进行增删改查操作,配置下属部门和项目的资源配额。
深圳大学科研云平台从功能架构上分三层,分别是用户接入层,中间云管理层和资源异构层。图2是科研云的功能架构图。
用户接入层是使用和管理科研云的入口,不同的权限的用户采用统一的门户。
中间云管理层主要包含云管理、自服务、云运营三大功能组件。不同权限的用户需要的功能不同,用到的功能组件也不同。
云管理作为中间云管理层的核心功能组件,为云管理员提供对异构资源环境统一管理,IT资源申请流程的治理,各类资源服务及应用环境的动态配置、自动化编排部署、维护和监控管理等功能。这个组件包括服务管理、模板管理、资源管理、流程管理、工单管理、组织架构等10个功能项。其中服务管理是指云资源、服务从审批、模板编排、目录管理、服务发布、监控管理、流程管理、配额管理等在内的全生命周期的管理。模板管理提供主机模板创建、修改、克隆、删除、基本信息查询、镜像关联、脚本配置、告警策略配置、参数设置、版本管理功能。工单管理提供科研云用户在使用资源过程中遇到的需要人工干预的流程处理。在这个组件中,云管理员、组织管理员既可以将资源以服务的方式,通过自定义流程控制提供给项目用户申请与使用,又可以对该组织架构下已申请的资源和用户进行管理和监控。项目用户可以根据服务目录申请各种资源、查看所属资源的配额以及监控性能指标、发起工单请求及服务报告的查看等。
用户自服务分为服务目录、服务实例、工单管理和申请管理等功能。服务目录可用来申请和管理用户需要的各类服务。管理员可以定义新的服务并将其对外发布,普通用户在服务目录页面浏览、申请服务,通过可定制化的审批流程向管理员提出申请,管理员审批通过后授权,普通用户有权浏览其被授权的服务。对于已申请的服务,会产生相应的服务实例(如创建好的虚拟机),方便用户快速学会使用。
云运营以数据可视化的方式为各级管理员提供所属权限范围内资源的统计情况和费用分摊情况,并通过横向和纵向的深入成本分析得出成本优化建议。学校和各级管理员可以根据实际使用情况,优化配置,实现降本增效。
异构资源层为最终向用户提供可使用的云资源,科研云平台资源层分为裸金属物理服务器资源池和虚拟化资源层,其中虚拟化资源池由虚拟化计算资源池、分布式存储资源池和虚拟网络(SDN)资源池组成。计算虚拟化基于KVM虚拟化技术,在物理x86服务器基础上抽象出虚拟化资源层。分布式存储资源池采用ceph技术,通过多副本机制保障数据可靠性。SDN节点和SDN网络设备构成的SDN网络通过与云管平台的对接,实现了全功能虚拟化网络,为科研云平台提供各种SDN特性,支持多种灵活组网方案。
3结束语
基于云计算构建的科研云平台可以充分整合各个科研团队现有的IT设备,形成计算、存储、网络资源池,
并以服务的形式将这些资源提供给各个科研团队。科研云平台可以降低科研信息化软硬件的投资和运维费用,提高服务器、存储和网络的利用率。随着科技的进步,云计算将会更好的支撑科研的发展,成为未来高校科研IT环境提供的主要方式。
科研云是深圳大学在云计算运用于科研领域的积极尝试,目前该平台已经投入运行,但还有很多问题需要深入的研究,下一步,我们将积极调研科研团队对信息技术的具体诉求,提供多样化的云服务,更好的为科研团队提供IT技术服务。
参考文献(References):
[1]蒋永生,彭俊杰,张武.云计算及云计算实施标准综述与探索[J].负载均衡品牌排行榜
上海大学学报(自然科学版),2013.19(1):5-13
[2]葛文双,郑和芳,刘天龙等.面向数据的云计算研究及应用综
述[J].电子技术应用,2020.46(8):46-53
[3]ALNASHAR H S,MOHAMED A E.Cloud computing
frame-framework for solving virtual college educations:
a case of Egyptian virtual university[C]//2nd interna-
tional Conference on Information Systems Design and Intelligent Applications.Kalyani,India:Springer,2015: 395-407
[4]赵少卡,李立耀,凌晓等.基于OpenStack的清华云平台构建
与调度方案设计[J].计算机应用,2013.33(12):3335-3338 [5]MOH M,ALVAREZ-HORINE R.A successful graduate
cloud computing class with handson labs[C]//2013 IEEE Frontier in Education Conference.Oklahoma, America:IEEE Press,2013:1156-1162
[6]CHENG Peng,QU Hui.Design and realization based on
cloudstack hybrid cloud computing platform[C]//4th international Conference on Materials Science and Information Technology Tianjin,China:Tras Tech Publication,2014:2297-2300
[7]孙杰,山金孝,张亮,张婷婷.企业私有云建设指南[M].机械工
业出版社,2019.
[8]户利利.高校科研私有云架构模型[J].电子技术与软件工程,
2020.4:194-195
[9]刘国成,吴丹.基于OpenStack
研究[J].吉林大学学报(信息科学版),2020.3(6):709-713
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论