Computer Knowledge and Technology 电脑知识与技术网络通讯及安全本栏目责任编辑:冯蕾第7卷第1期(2011年1月)在Linux 平台下基于MPI 的并行PC 集搭建的实现
刘祥港
(天津科技大学计算中心,天津300222)
摘要:并行集带给我们一种新的高性能计算的解决途径,该文简要阐述了集系统和MPI 的特点,具体介绍了一种在Linux 平台下基于MPI 的并行计算PC 集的搭建过程,运用中尺度数值天气预报模式MM5作为实例进行了实验和分析,得出结论。并对它的应用和前景进行了展望。
关键词:高性能计算;并行PC 集;MPI
中图分类号:TP311文献标识码:A 文章编号:1009-3044(2011)01-0037-02
The Realization of Parallel PC Cluster Bases on MPI in Linux OS
LIU Xiang-gang
(Computing Center,Tianjin University of Science &Technology,Tianjin 30022,China)
Abstract:The parallel cluster brings us a new solution of high performance computing.It becomes the hotspot in parallel computing re -search.The paper simply introduces the characteristics of the cluster system and MPI and describes a realization of Parallel PC Cluster Bases on MPI in Linux OS in detail.An example of the mesoscale numerical weather prediction model MM5is presented,and the test result is attached and analyzed.Finally,the cluster ’s applications and prospects are proposed.
Key words:high performance computing;PC cluster;MPI
随着计算机的广泛应用,处理问题的规模也越来越大。从数据处理、信息处理、知识处理到智能处理,尤其是一大批有巨大挑战意义的科学和工程计算问题,如气象预报、石油勘探和核物理等方面的计算问题,对计算机的运算速度、处理精度、快速时效性等提出了越来越高的要求[1]。单台计算机的速度由于受到材料的物理限制,其极限运算速度是十亿次每秒。突破单机极限速度的唯一方法就是进一步挖掘计算机运行中的并行处理能力。因此,使用多个微处理器组成一种具有并行结构的高性能计算机,是满足科学和工程计算问题中高性能数据处理要求的有效途径。
1集简介
集是充分利用计算资源的一个重要概念,因为它能够将工作负载从一个超载的系统(或节点)迁移到集中的另一个系统上。其处理能力是与专用计算机可相比,但其性价比远高于专用计算机[2]。每一个
计算单元即为一个节点。
集系统有如下优点:
高可扩展性:集系统的性能随着CPU 个数的增加几乎是线性变化的。
高可用性:集中的一个节点失效,它的任务可以传递给其他节点,可以有效防止单点失效。各节点都是一个完整的系统,有独立完整的操作系统。节点可以是工作站,也可以是PC 机,所以灵活性高。可以根据需要把不同机型的计算机互连,有效地形成一个用户需要的异构并行计算环境。
高性能:负载平衡集允许系统同时接入更多的用户。
高性价比:可以采用廉价的符合工业标准的硬件构造高性能的系统。
2MPI 简介
MPI 是英文Message Passing Interface 的缩写,是基于消息传递编写并行程序的一种用户界面。MPI 是目前最流行的分布存储并行编程环境,不仅具有移植性好、功能强大、效率高等多种优点,而且有多种不同的免费、高效、实用的实现版本,包括MPICH ,LAM ,CHIMP 和MPI /Pro 等,几乎所有的并行计算机厂商都提供对它的支持,这是其它并行环境所无法比拟的。MPICH 是最重要的一种MPI
实现,是一个与MPI 规范同步发展的版本。每当MPI 推出新的版本时,就会有相应的MPICH 的实现[3]。
MPI 可以在Windows NT/2000、L inux 、Unix 平台上安装使用,MPI 的库函数可以嵌在C 、C++及Fortran 等程序设计语言中调用。3集系统的实现
eval()是什么函数本实例采用四台普通PC 机在Linux 环境下搭建一个高性能并行计算集并进行相关测试。其中node0为主节点机,node1、node2、node3为客户机。具体过程将分为以下五步:各主机上Linux OS 的安装,单一登录、单一文件系统、并行编程环境以及单一作业管理系统的构建。
3.1Linux OS 的安装plc编程教程知识
Linux 操作系统是目前构建高性能计算机的一个较佳的选择,本实例选择RedHat Linux 9.0来实现。具体的安装过程可查阅收稿日期:2010-11-08
作者简介:刘祥港(1982-),男,山东日照人,天津科技大学计算中心,助教,硕士,研究方向为计算机应用技术。
E-mail:info@cccc www.dnzs Tel:+86-551-56909635690964ISSN 1009-3044Computer Knowledge and Technology
python在线编程我要自学网
电脑知识与技术Vol.7,No.1,January 2011,pp.37-3837
Computer Knowledge and Technology 电脑知识与技术
本栏目责任编辑:冯蕾网络通讯及安全第7卷第1期(2011年1月)相关书籍。
unsigned short取值范围3.2构建单一登录
所谓单一登录是指用户可以从机系统的任何一个节点登录,而且在整个作业执行过程中只需登录一次,不必为将作业指派到其它节点而重新登录。
构建单一登录可以通过以下三步完成:
1)以root 用户登录到主节点,修改文件/etc/hosts 、host.equiv ,在其中写入机所有节点的名称和IP ;
2)修改系统的服务设置,启动如下系统服务:nfs 、rexec 、rsh 、rlogin 。设置完成后用普通用户身份测试RSH 是否配置成功;
3)创建全局用户cluster ,然后通过RSH 将用户配置文件/etc/passwd 复制到机中所有其余节点。
3.3构建单一文件系统
NFS 是一种Unix/Linux 之间通过网络共享文件的标准方式。使用NFS ,就能透明的安装和访问网络上远程主机的文件系统,将其安装在本地的文件系统中,类似于Windows 下的映射驱动器。
在本实例中,节点node0是服务器,把目录/home 和/cluster 进行共享;节点node1、node2和node3是客户端,把服务器的/home 和/cluster 安装到自己的文件系统中。主要可以通过以下三个步骤来实现:
1)在节点node0上建立目录/cluster ,并授权给用户cluster ;
2)修改/etc/exports 文件以读写方式共享目录/home 和/cluster ,运行exportfs –a 完成目录的共享;
3)客户端节点建立/cluster 目录,修改分区配置文件/etc/fstab ,加入对/home 和/cluster 的映射,运行mount –a 完成目录的共享。
3.4构建并行编程环境
首先下载MPICH-1.2.7,然后通过以下四步进行具体的安装配置:
1)首先解压缩安装文件包至目录/cluster ,进入文件目录通过configure 脚本完成初始配置;
2)进行mpich 的编译和安装;
3)修改mpich 的节点配置文件machines.LINUX ,添加该机包含的四个节点;
4)运行计算π值的程序cpi ,测试该MPI 编程环境是否搭建成功。
3.5构建单一作业管理系统
为方便作业提交管理,可根据自身需要安装PBS ,LSF ,Condor 等作业管理系统。
至此,集系统搭建完成,可以通过OpenPBS 的基本命令完成作业的管理,通过mpich 完成并行作业的执行。
4实验及分析
采用中尺度数值天气预报模式MM5对搭建的集环境性
能进行测试。在集上运行MM5数值计算程序,分别记录节点
为一台、两台、四台时所用时间,如图1所示。
plc编程教程三菱通过实验可以看出,当由单机变为两台PC 组成的集
时,计算性能得到很大提升,由两台变为四台时,系统性能进一
步提升但幅度变小,并非呈线性增长,如何进一步提高并行效
率,将是我们今后研究的重点。
5应用前景
5.1易扩展性
根据自身计算的需要,该集可以任意扩展PC 机的台
数,只需要修改3.2中的步骤1,3.3、3.4、中的步骤3,将新的节点加入即可。5.2应用领域和发展前景
近年来,工作站尤其是PC 机应用已十分普及,完全可以方便地建立起PC 集并行计算系统或工作站
linux操作系统书籍集并行计算系统,这些价格便宜的集计算系统可以实现价格昂贵的大型机才能实现的高速并行计算,其应用前景十分诱人。
随着网络技术的发展和对集系统研究的深入,特别是高效通信机制的开发,集系统的通信性能将会接近专用的互连网络,并行编程环境和工具更加完善,有可能在集系统上解决粒度更细的应用问题,并进一步提高并行效率,从而使并行处理系统的应用领域更加广泛。
参考文献:
[1]Rajkumar Buyya.高性能集计算:编程与应用[M].北京:电子工业出版社,2001.
[2]张小芳.高可用性集技术的研究和应用[J].计算机工程,2003(4).
[3]王勇超.基于MPICH2的高性能计算集系统研究[J].计算机技术与发展,2008,9(9):101-103.
图1单机与集对比图
38
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论