集群系统的管理与任务实验指导书.docx

1、集群系统的管理与任务实验指导书集群系统的管理与任务实验指导书1. XCAT简介一个普通的小规模集群系统（节点小于10）在没有集群管理软件进行管理的情况下，通过手动安装、配置每台计算节点，其工作量的多少是可想而知的，以一个包含10个节点的集群系统为例，在每一台计算节点上安装操作系统、配置并行计算机环境、同步集群用户，在保证不出错的情况下，花费的时间大约是两个小时，10个计算节点一共需要20个小时左右，这还是一个比较小的集群系统，如果像石油勘探、天气预报等使用的动辄几百个节点的集群系统，照这种方法逐个配置计算节点，虽然耗费的时间太多，而且要重启计算节点也必须逐个进行，操作极其繁琐，因此需要集群管理

2、软件来管理集群系统，提高工作效率。XCAT（Extreme Cluster Administration Toolkit）是由大型计算设备提供商IBM开发的一套集群管理套件，在IBM的刀片箱上集成了一个KVM的硬件模块，该模块控制着箱内的所有刀片，包括电源开关、启动顺序等，XCAT可以控制KVM模块，用户可以通过该套件实现集群计算节点的管理，使得集群管理更容易，用户只需要安装好管理节点，配置好XCAT的相关参数，就可以通过XCAT控制计算节点的安装（使用PXE网络启动和KickStart），配置、重启等操作，特别是使用XCAT安装计算节点，在管理节点上设置安装源以后，运行发送命令，计算节点就会

3、自动从管理节点同步安装文件，自动将管理员设置好的软件包等安装到计算节点上，无需管理员诸葛安装和配置每台计算节点，为集群管理员节省了大量时间。2. XCAT的配置XCAT能帮助管理员有效地管理集群，避免了手动管理每一个集群计算节点的麻烦。只需要载管理节点上安装和配置好XCAT的运行环境，就能使集群的管理更加简单，接下来介绍XCAT的安装与配置。1) XCAT安装的前提条件管理节点上至少要有两个网卡，一个对内部的计算节点进行管理，一个对外提供计算应用。除此之外，还需要如下4个XCAT的软件包。xcat-dist-core-1 . 2 . 0-RC3.tgzxcat-dist-doc-1 . 2 .

4、 0-RC3.tgzxcat-dist-ibm-1 . 2 . 0-RC3.tgzxcat-dist-oss-1 . 2 . 0-RC3.tgz2) 安装XCAT1解压缩前面列出的XCAT必须的4个软件包，如果将这4个软件包解压到/opt/xcat 目录下则运行如下命令。rootmanager#tar-xzvpf xcat-dist-core-1 .2 .0-RC2.tgz-C /opt/xcatrootmanager#tar-xzvpf xcat-dist-oss-1 . 2 . 0-RC2.tgz-C /opt/xcatrootmanager#tar-xzvpf xcat-dist-ibm

5、-1 . 2 . 0-RC2.tgz-C /opt/xcatrootmanager#tar-xzvpf xcat-dist-doc-1 . 2 . 0-RC2.tgz-C /opt/xcat2安装包解压完成后，会在/opt/xcat 中生成安装脚本setupxcat，载生成的文件夹中进行XCAT的首次安装。rootmanager#./setupxcat3配置网络时间同步服务器（NTP）。设置NTP的目的是为了使集群中的计算节点能自动管理节点上同步时间，避免了手动修改每台计算节点造成的时间不统一的问题，首先我们载管理节点上设置好NTP服务器端，编辑/etc/ntp.conf配置文件，载文件中输入

6、如下内容。#vi /etc/ntp.confserver server 127.127.1.0fudge 127.127.1.0 stratum 10driftfile /var/lib/ntp/drift编辑ntp.conf完成后，需要载服务器开启NTP服务，使系统自动的时候自动加载NTP服务，命令如下。#chkconfig -level 345 ntpd on4定义集群XCAT对计算节点的管理主要依靠集群设备中硬件的定义信息表，这个表由管理员载集群管理节点上配置，表2-1列出了常用的几个表名及用途。表2-1 XCAT中的表 表 名用 途site.tabxCAT住配置表，集群的全局定义表，是

7、整个XCAT中最重要的一个表，它定义了rsh路径、rcp路径、安装计算节点需要的tftp目录、集群的域名解析服务器地址、管理节点的名称、使用的作业管理系统名称、资源调度器名称等nodehm.tabXCAT的计算节点硬件管理表，记录了节点名称、高级系统管理适配器、电源类型、终端类型等硬件信息Nodelist.tab定义集群中多有节点的名称、节点从属组、运行状态等Nodepos.tab记录了每个节点所安放的物理位置noderes.tab定义节点组名称、节点的启动方式、tftp服务器IP地址、nfs服务器IP地址、安装启动的网卡设备名称等Nodetype.tab定义节点的系统类型、构架，使用的镜像类

8、型及从属的组名称passwd.tab定义各种管理设备使用的用户及密码postscripts.tab定义kickstar等安装结束后配置节点的相关脚本Postdeps.tab定义postscripts中脚本的相互依存关系Networks.tab定义节点所使用的网段、掩码、网关、DNS信息conserver.tab定义节点通过何种方式转发console信息mp.tab定义节点的管理设备及在插槽的位置mpa.tab定义管理设置的类型及使用何种方式进行管理等定义好XCAT 管理集群的表以后，就可以在系统管理节点上创建DNS服务、收集计算节点的MAC地址、创建DHCP服务等，按照传统的方式配置这些服务，

9、不仅需要管理员非常熟悉DNS、DHCP服务器等的配置，还非常容易载配置中出现错误。XCAT已经为管理员简化了这方面的配置，剩下的事情就交由XCAT自动执行安装配置，不仅简化了操作，还节约了时间，同时在保证所有表配置信息不出错的情况下，XCAT能将这些服务器安装、配置正确。下面分别给出了创建DNS、收集MAC地址信息、创建DHCP服务的命令。5创建DNS服务。#makedns6收集所有计算节点的MAC地址信息至mac.tab。#getmacs compute7创建DHCP服务。#makedhcp -new -allmac8第二次运行setupxcat，完成CAT的安装。#. /setupxcat

10、3. 使用XCAT安装计算节点XCAT配置完成后，就可以通过XCAT安装计算节点了，在安装计算节点前，还需要设置系统安装镜像及NFS、TFTP服务等。首先要利用Linux的安装光盘建立安装计算节点需要的操纵系统下载源，这样当所有的计算节点来时安装系统时会自动到管理节点上下载安装包到本地执行安装。这需要在管理节点上打开TFTP服务，XCAT整合了这些繁琐的操作，只需要运行一个命令copycds就可以实现，运行完这个命令后，会在根目录下生成install文件夹，在这个文件夹下生成系统的安装源文件，以64位的Red Hat Enterprise Linux 为例，生成目录为/install/rhel

11、-SERVER5.3/x86_64，拷贝安装源文件这个过程会耗费约10分钟，具体时间根据管理节点的性能而有差异。拷贝完安装源文件，接下来再复制XCAT 目录下保存的系统安装完成后额外需要安装的软件，命令如下。#cd /opt/xcat#find post -print | cpio -dump /install安装源和额外安装的软件配置完成后，需要建立计算节点启动的镜像文件，以便于计算节点从网卡启动时，自动从管理节点上下载启动镜像文件，命令如下。#cd /opt/xcat/stage#./mkstage完成上面的设置以后，为确保XCAT正常控制计算节点，可以先进行电源管理命令的测试，以查看XC

12、AT是否正常检测计算节点的状态，在管理节点的终端输入如下命令。#rpower compute stat若返回如下计算节点的状态信息，则表示XCAT已能正常控制计算节点，否则应根据错误提示，重新配置XCAT。Bc1n1: onBc1n2: onBc1n3: onBc1n4: on.Bc1n12: onBc1n13: onBc1n14: on当XCAT所有的配置完成以后，接下来要进行计算节点的系统安装，采用XCAT来安装计算节点不仅能节省大量的时间，而且所有的计算节点的环境都是一样的，XCAT安装计算节点非常简单，只需要运行几个命令即可。剩下的事缴费XCAT处理就可以了，首先要通过XCAT设置计算

13、节点的启动顺序，由于计算节点是采用网卡引导安装的，因此需要将网卡的启动顺序设置在最前面，命令如下。#rbootseq compute n,c,f,h该命令的作用是设置计算节点的启动顺序为network、cdrom、floppy、harddisk。接下来执行节点的安装命令。#nodeset blade install其中blade为计算节点所属的组，安装的目标为blade组中所有的计算节点，也可以用范围来表示，如要安装bc1n1至bc1n14的计算节点，可以用命令nodeset bc1n1-bc1n14 install，执行完nodeset命令后，XCAT中的nodeset表的状态会发生改变，只

14、要重启计算节点，从网卡启动计算节点，就可以开始计算节点的安装，可以用tabdump nodeset命令来查看该状态，表中的内容如下。#node,groups,status,appstatus,comments,disableunknown,compute,mm,maths,blade,all ,1bc1,mm,all,alive,bc1n8,compute,blade,all ,installing,bc1n4,compute,maths,blade,all ,installing，bc1n7,compute,blade,all ,installing,bc1n12,compute,blade

15、,all ,installing,bc1n2,compute,maths,blade,all ,installing，bc1n14,compute,blade,all ,installing,bc1n9,compute,blade,all ,installing,bc1n13,compute,blade,all ,installing,bc1n1,compute,blade,all ,installing,bc1n6,compute,blade,all ,installing,bc1n10,compute,blade,all ,installing,bc1n3,compute,maths,bl

16、ade,all ,installing，bc1n5,compute,maths,blade,all ,installing，bc1n11,compute,blade,all ,installing,然后重新启动所有的计算节点，剩下的工作就是等待XCAT控制所有计算节点完成系统的安装，重启计算节点的命令如下。#rpower blade reset安装完所有节点以后，需要配置管理节点上的资源，包括生成SSH密钥、建立NFS服务等，具体步骤如下。1生成root的SSH keys。#gensshkeys root在/opt/xcat/etc/下将生成一个gkh文件2更新/etc/exports文件。#

17、vi /etc/exports/opt/xcat *(ro,no_root_squash,sync)/usr/local *(ro,no_root_squash,sync)/install *(ro,async,no_root_squash)/home *(rw,no_root_squash,sync)3启动NFS服务或使用exportfs。#service nfs start或#exportfs-rvexporting *:/xcatdata/installexporting *:/xcatdata/localexporting *:/xcatdata/homeexporting *:/xc

18、atdata/xcat4安装结束后，收集SSH host keys。#makesshgkh compute5测试psh，查看各节点时间是否正常。#psh compute date; date4. 使用XCAT管理计算节点XCAT安装配置完成计算节点的安装后，需要添加集群的用户，与单独的服务器不同，这不仅需要在管理节点上建立集群用户，管理节点上的用户还必需在计算节点上存储一份镜像，以便于集群用户能使用所有的节点。首先在管理节点添加集群用户和用户组。root# groupadd ibmroot# addclusteruserEnter username: hpcuserEnter group: h

19、pcuserEnter UID (return for next): 501Enter absolute home directory root: /homeEnter passed (blank for random): redbookChanging password for user ibm.passwd: all authentication tokens updated successfully.在集群管理节点上完成了用户和组的建立，然后将所有集群用户同步到所有计算机节点上，利用命令pushuser执行。root# pushuser all hpcuser在没有安装XCAT的集群上，

20、计算节点间的文件拷贝是比较费力的，必须重复地使用scp命令拷贝文件到各个计算节点上，虽然可以使用脚本编程语言用循环实现，但其工作量也不小，另外，有些需要在每个计算节点上依次执行的命令，如果按照传统的方式登录到计算节点上去执行，工作的难度可想而知。针对节点间文件拷贝和命令执行不方便这两个问题，XCAT提供了 pscp和psh命令，使用它们可以实现计算节点文件的并行拷贝和命令的并行执行，只需一个命令就可以向所有的节点拷贝文件或执行命令，另外，XCAT还提供了并行网络检测命令pping、节点电源控制命令rpower等，大大减轻了管理员的工作负担，命令如下。1并行执行psh命令可以在管理节点上并行执行

21、计算节点上的命令。root# psh bc1n1-bc1n3 uname -rBc1n2: 2.6.9-34.ELBc1n1: 2.6.9-34.ELBc1n3: 2.6.9-34.EL2并行远程拷贝命令pscp可以并行拷贝文件到计算节点上。root# pscp -r /usr/local bc1n1,bc1n3:/usr/localroot# pscp passwd group all:/etc3并行网络连接测试命令pping可以并行测试集群计算节点的网络状态。root# pping bc1n4-bc1n6Bc1n4: pingBc1n6: pingBc1n5: noping /表示网络不能到达4远程电源控制命令rpower。rpower noderange on|off|state|reset|boot|cycleroot# rpower bc1n4,bc1n4 statBc1n14: onBc1n5: offroot# rpower bc1n5 onBc1n5: on