安装大型 Linux 集群.docx
《安装大型 Linux 集群.docx》由会员分享，可在线阅读，更多相关《安装大型 Linux 集群.docx（63页珍藏版）》请在冰豆网上搜索。
安装大型Linux集群
安装大型Linux集群
第1部分:
简介和硬件配置
用许多分离的硬件和软件，包括IBM®Systemx®（TM）和IBM®TotalStorage®systems创建工作的Linux®集群。
本文是共分多部分的系列教程的第一部分，介绍了硬件配置，包括理解架构、规划逻辑网络设计、设置终端服务器以及更新固件等内容。
大型Linux集群系列简介
本文是介绍安装和设置大型集群系列文章的第一篇。
该系列文章的目的是把分散在公共领域不同地方的、用各种硬件和软件创建工作的Linux集群的过程所需要的信息，集中在一个地方。
但是，这些文章并不打算介绍关于设计一个完整的新的大型Linux集群所需的基础知识。
请参阅参考资料下的参考资料和红皮书获得一般性的架构指南。
本系列的前两部分介绍集群的安装，概述了使用IBM系统管理软件——集群系统管理（ClusterSystemsManagement，CSM）进行的硬件配置和安装。
第一篇文章直切主题，介绍了硬件配置过程。
第二篇文章介绍管理服务器的配置和节点安装。
本系列后续文章将介绍集群的存储后端，包括存储硬件配置以及IBM共享文件系统——通用并行文件系统（GeneralParallelFileSystem，GPFS）的安装和配置。
这个系列可供系统架构师和系统工程师在使用IBMeServer集群1350框架规划和实现Linux集群时使用。
（请参阅参考资料）。
出于培训目的，正常集群操作中的一些内容可能还与集群管理员有关。
第1部分：
集群的通用架构
在采取任何配置步骤之前，一个良好的设计至关重要。
设计分为两个部分：
∙物理设计
o每种机架类型的机架布局（例如，管理机架和计算机架）
o机房设计：
在安装和生产期间（如果两者不同）应当如何布置机架
o机架间的连接图（用于网络、电源、控制台访问等等）
o机架内的电缆连接（用于存储、终端服务器等等）
∙逻辑设计
o网络设计包括：
IP地址范围、子网配置、计算机命名规范等等
oCSM配置，包括：
定制脚本位置、硬件设置、监视需求
o操作系统需求、定制包列表、系统配置选项
o存储布局，包括文件系统布局、分区、复制等等
示例集群（请参阅图1）完全由基于Intel®或AMD的IBMSystems计算机以及附加的TotalStorage子系统构成（关于这些系统的更多信息，请参阅参考资料。
）为简单起见，用千兆铜线以太网电缆提供集群的内部连接。
电缆在多数情况下可以用bonded/port-channeled/etherchannel链接提高机架间的带宽，从而提供良好的传输速率在这里插入自己喜欢的中继项。
网络拓扑采用星形结构，所有机架向后连接到管理机架的主交换机。
示例集群使用三个网络：
一个用于管理/数据（计算网络），一个用于集群文件系统（存储网络），一个用于管理性设备的管理。
前两个网络是普通的IP网络。
多数任务使用计算机网络，包括进程间通信（例如MPI）和集群管理。
存储网络专门用于集群文件系统的通信和访问。
图1.集群架构图
示例集群的一些额外设计和布局细节包括：
∙管理服务器——管理服务器的功能可以放在一台服务器或多台服务器上。
在单台服务器环境中，管理服务器以独立模式运行。
也可以设置高可用性管理服务器。
可以使用CSM高可用性（HA）软件在两台服务器之间进行“心跳测试”，在发生故障情况时管理服务器之间的动态故障屏蔽。
引入额外管理服务器的另一种可行方法是：
当HA在环境中不重要的时候，使用复制设置。
在这种情况下，可以把管理服务器的数据备份到其他活动系统，可以通过手动设置将备份系统联机以便接管管理工作（如果有必要的话）。
在图1中，管理网络连接用红色显示。
管理服务器是CSM服务器，它使用CSM功能专门控制集群：
负责系统安装、监视、维护和其他任务。
在这个集群中，只有一台管理服务器。
∙存储服务器和磁盘——可以用多种机制把多台存储服务器连接到基于磁盘的后端。
可以用光纤、铜缆或结合使用二者，直接把存储器连接到集群，或者通过存储区域网络（SAN）交换机连接（请参阅图1）。
这些服务器为集群中的其他服务器提供共享的存储访问。
如果需要数据备份，请用额外的铜缆或光纤链路把备份设备连接到存储服务器。
对于示例集群，存储的备份端是个单一实体，提供了跨集群的共享文件系统访问。
本系列的下一篇文章介绍存储硬件和集群文件系统设置、配置和实现的细节。
∙用户节点——理想情况下，集群的计算机节点不应该接受外部连接，只应当由管理员通过管理服务器访问。
系统用户可以登录到用户节点（或登录节点），在集群上运行他们的工作。
每个用户节点都包含带有完整编辑功能的镜像、必要的开发工具、编译器和开发支持集群的应用程序和检索结果所必需的所有其他内容。
∙调度器节点——为了在集群上运行工作负荷，用户应当把自己的工作提交到调度器节点。
在一个或多个调度器节点上运行的调度器守护程序使用预定的策略在集群上运行工作负荷。
与计算机点一样，调度器节点也不应当接受来自用户的外部连接。
系统管理员应当从管理服务器管理它们。
∙计算节点——这些节点运行集群的工作负荷，接受来自调度器的作业。
计算机节点是集群中最常使用的部分。
系统管理员可以轻易地使用管理服务器重新安装或配置它们。
∙外部连接——示例外部连接在图1中用绿色显示。
这些连接被看作在集群之外，所以本文将不多做说明。
回页首
硬件配置
装配好机架并把它们放在适当位置上，连接好全部电缆之后，仍要做大量的硬件配置工作。
本文不介绍特定于某种具体集群的特定电缆连接细节。
本文使用了上面列出的示例集群设计作为具体示例，说明了在安装集群前所需的硬件配置
逻辑网络设计
在安装集群时最常被忽略的任务就是逻辑网络设计。
理想情况下，在实现集群前，应该在纸上进行逻辑设计。
有了逻辑网络设计之后，就用它创建主机文件。
在小型集群中，如果网络上没有太多设备，可以手工编写主机文件。
但是，通常最好是生成一个命名规范，然后编写一个定制脚本，自动生成主机文件。
确保网络上的所有设备都在主机文件中表示出来。
请看如下示例（包含示例名称）：
∙管理服务器（mgmt001-mgmtXXX）
∙存储服务器（stor001-storXXX）
∙计算节点（node001-nodeXXX）
∙调度器节点（schd001-schdXXX）
∙用户节点（user001-userXXX）
这个命名规范只涉及了网络中的五类计算机系统，而且只有一个网络，所以还不够好。
还要考虑存储网络和计算机网络，以及设备管理网络。
所以这个文件还需要扩展。
需要访问集群文件系统的每个节点都需要存储网络上的一个地址。
每个节点在计算网络上需要两个地址：
一个用于计算地址，另一个用于基板管理控制器（BMC），BMC用来进行硬件监视和电源控制。
表1用示例IP地址范围描述了更全面的命名规范。
表1.主机文件命名规范
Device
Compute192.168.0.0/24
BMC192.168.0.0/24
Storage192.168.1.0/24
Device192.168.2.0/24
Externalextn/w
Managementserver
mgmt001
mgmt001_d
mgmt001_s
mgmt001_m
mgmt001_e
Storageserver
stor001
stor001_d
stor001_s
stor001_m
stor001_e
用户节点
user001
user001_d
user001_s
无
无
Schedulernodes
schd001
schd001_d
schd001_s/
无
无
Usernodes
node001
node001_d
node001_s
无
无
Computeswitches
无
无
无
gigb01a
无
Storageswitches
无
无
无
gigb01b
无
Terminalservers
无
无
无
term001
无
StoragecontrollerA/B
无
无
无
disk01a/b
无
LCM/KVM/RCM
无
无
无
cons001
无
在实现的时候，这个方案生成与下载中能访问的示例类似的主机文件。
这个小的示例集群包括16个计算节点、一个管理服务器、一个存储服务器、一个用户节点和一个调度器节点，放在两个机架内，并附加了相关的设备。
虽然没有提供一个大型集群，但对这个示例集群来说已经足够了，如果需要，可以很容易地把它扩展成更大的集群。
以太网交换机
有两个物理网络：
一个用于计算通信量，一个用于存储。
每个机架中，标准的32个节点需要有两个48口交换机，一个交换机负责一个网络。
在更小型的集群中，管理机架还需要两个同样的交换机。
对于更大的集群，48端口可能还不够，所以可能需要更大的中心交换机。
两个主网络（不考虑设备管理网络）的每个交换机需要的配置各不相同，因为（就像在示例中那样），千兆以太网间的连接在存储网络中使用巨型帧，而在计算机网络上使用标准大小的帧。
设备管理网络的设置通常非常简单：
在10/100兆交换机上平层的两类网络可以满足设备管理要求，所以无需多做说明。
示例A：
ExtremeNetworks（极限网络）交换机
下面是ExtremeNetworksSummit400-48t48口千兆以太网交换机的配置步骤。
首先，用串口直连电缆连接到每台交换机的串行控制端口（9600、8-N-1、无流控制），使用默认用户IDadmin，无密码。
（只需在提示符上按下回车键。
）
对于所有交换机，请执行以下步骤：
1.输入unconfigswitchall——如需要，清除现有配置
2.输入configurevlanmgmtipaddress192.168.2.XXX/24——设置管理IP地址。
3.输入configuresnmpsysnamegigbXXX——设置交换机名称。
4.输入configuresntp-clientprimaryserver192.168.2.XXX——把NTP服务器设置为管理服务器。
5.输入configuresntp-clientupdate-interval3600——设置时间同步为每小时同步一次。
6.输入configuretimezone0——设置时区。
7.输入enablesntp-client——启动NTP。
8.如果需要，输入configureports1-4preferred-mediumcopper——在端口1-4上将默认的首选介质光纤改为铜缆。
现在在存储网络交换机上配置巨型帧，请执行以下步骤：
9.输入createvlanjumbo——创建巨型帧vlan。
10.输入configure"mgmt"deleteports1-48——从mgmtvlan删除端口。
11.输入configure"jumbo"addports1-48——把端口添加到jumbovlan。
12.输入configurejumbo-framesize9216——设置最大传输单元（MTU）的大小。
13.输入enablejumbo-frameports1-48——开启巨型帧支持。
要在2个端口的连接上启用中继，使用enablesharing47grouping47-48（把端口47和48组合起来，47作为主端口）。
要完成配置，请完成以下操作：
14.输入saveconfigurationprimary——把交换机配置写入flash，这样重启也不丢失。
15.输入useconfigurationprimary
示例B：
Force10Networks交换机
下面是Force10Networkse600multi-bladeGigabitEthernet交换机（有两个48端口面）配置步骤，用于路由网络（中央48端口交换机还不够大）。
执行以下步骤配置初始层配置的底盘、线卡和端口：
1.用串口直连电缆连接到每台交换机的串行控制端口（9600、8-N-1、无流控制），默认下不需要用户ID和密码。
2.输入enable——进入超级用户模式，默认下不需要口令。
3.输入chassischassis-modeTeraScale——把交换机初始化为tera-scale模式。
4.交换机提示的时候，重新启动交换机。
这要花上几分钟时间。
5.重启之后，连接到交换机，再次输入enable进入超级用户模式。
6.输入configure——进入配置模式。
提示符类似于Force10（conf）#）。
7.输入InterfaceRangeGigabitEthernet0/0-47（配置线卡0端口0到47，提示符类似于Force10（conf-if-range-ge0/1-47）#）。
8.如果需要，输入mtu9252——设置巨型帧。
9.输入noshutdown——允许激活端口。
10.输入exit——回到配置模式。
11.千兆以太网的接口范围是1/0-47。
（提示符类似于Force10（conf-if-range-ge0/1-47）#）。
12.对每个线卡重复步骤7-10。
执行以下操作为第3层（Vlan路由层）配置线卡和端口：
13.连接到交换机，输入enable进入超级用户配置模式。
14.输入intportchannel1——配置端口通道1。
15.输入channel-membergig0/46-47——把线卡0的端口46和47添加到vlan.
16.输入noshutdown——允许端口通道激活；这个选项覆盖不活动/活动端口的端口配置。
17.输入ipadd192.168.x.x/24——设置端口通道的IP地址；这是子网的网关。
18.如果需要，输入mtu9252——设置巨型帧。
现在，打开DHCP助手，执行以下操作，跨越子网转发DHCP广播：
19.输入intrangepo1-X——把配置应用到刚才配置了的所有通道端口。
20.输入iphelper192.168.0.253——把DHCP转发到管理服务器的IP地址。
接下来，执行以下操作配置交换机实现远程管理（用telnet或SSH）：
21.输入interfacemanagementethernet0——在配置提示符上配置管理端口。
22.输入ipadd192.168.2.x/24——设置设备管理网络上的IP地址，并把管理端口连接到设备管理交换机。
23.设置允许远程连接的用户ID和密码。
最后，输入writemem保存交换机配置。
交换机配置完成之后，可以在配置上运行完备性检查。
请在网络的不同点上插入一台设备，例如笔记本电脑，检查连接性。
多数交换机能导出它们的配置。
请考虑在网络设置正确之后立即对生效的交换机配置做一个备份拷贝。
之所以描述这两个示例交换机，是因为它们提供了100％无阻塞以及高性能千兆以太网交换。
CiscoSystems的交换机不能提供100%无阻塞的吞吐，但也能使用。
终端服务器
在使用CSM1.4之前版本的大型集群安装中，终端服务器发挥着重要作用。
使用早期版本的集群要靠终端服务器来搜集安装使用的MAC地址。
由于CSM和系统UUID的兼容性，终端服务器对于更新的IBM集群来说不那么重要。
但是，如果在大型集群中使用了稍微有些陈旧的硬件，那么在系统设置期间终端服务器仍然至关重要。
确保终端服务器本身设置正确，将在后面的安装过程中节省大量时间。
除了搜集MAC地址，终端服务器还能用来在一个点查看终端从启动自检一直到进入操作系统的情况。
确保每个端口的终端服务器波特速度与连接计算机的速率匹配。
多数计算机默认设置为9600波特，所以这可能不是个问题。
还要确保终端服务器和连接的每个系统之间的连接设置和流控制相同。
如果终端服务器需要验证过的连接，请在CSM中设置验证或把验证都关闭。
示例C:
MRV交换机
下面是MRVInReachLX系列交换机的示例配置（请参阅参考资料获得关于这个交换机的更多信息。
）。
请执行以下操作配置MRV卡：
1.用串口直连电缆连接到交换机串行控制端口（9600、8-N-1、无流控制）。
2.按提示登录。
默认用户名是InReach，自带口令。
3.输入enable——用默认口令system进入超级用户模式。
在设备初次配置时会看到配置屏幕。
否则，输入setup打开配置屏幕。
.
4.输入并保存必要的各种网络参数。
5.输入config——进入配置模式。
6.输入portasync148——配置端口1到48。
7.输入noauthenticationoutbound——关闭内部验证。
8.输入noauthenticationinbound——关闭外部验证。
9.输入noautobaud——选定波特率。
10.输入accessremote——允许远程连接。
11.输入flowcontrolcts——把硬件流控制设为CTS，在多数IBM计算机上是默认设置。
12.输入exit——回到配置模式。
13.输入exit——回到默认超级用户模式。
14.输入saveconfigflash——保存配置，使配置在重启之后还存在。
初始配置后，就没什么要做的了。
同样，要保证所做的设置与连接的计算机上的配置匹配。
现在应当能远程登录到终端服务器并对它们进行管理。
同处理以太网交换机一样，可以查看运行的配置，以便在终端服务器上对配置进行完备性检查（如果需要的话）。
例如，showportasyncallchar命令返回终端服务器上每个端口的详细信息。
固件升级和设置BMC地址
如果合适，请检查和更新整个集群的固件。
请考虑以下元素：
∙计算机BIOS
∙基板管理控制器（BMC）固件
∙设备固件
∙网络适配器固件
可以在IBM支持的Web站点上得到IBM系统的升级>，特定于厂商的硬件升级通常可以直接从厂商的Web站点得到（请参阅参考资料）。
在IBM系统上更新固件
注意：
以下更新固件的方法在您所在的地区或硬件上可能不受支持。
建议在升级之前与本地的IBM代理确认。
这个信息只是作为示例之用。
用来远程刷新固件的CSM代码仍处在开发之中。
目前，如果需要对许多计算机进行BIOS、BMC或其他固件更新，就会遇到一个大问题。
用当前的方法不能合理地刷新大型集群，需要写入一张软盘或CD镜像，并需要对每台计算机分别执行刷新；所以需要另一种方法。
如果没有硬件电源控制（没有设置BMCIP地址），请先从刷新BMC固件开始，使您能够同时设置IP地址。
只需要一次性按下全部电源按钮。
对于其他固件刷新，可以远程打开或关闭系统的电源。
下面的示例针对的是IBMSystems325或基于AMD处理器的326系统。
但是，只要稍做修改，就能把它应用到Systemx计算机。
其原理是获得一个默认固件更新镜像，对其进行修改，这样就可以把当用作PXE启动镜像。
然后，可以通过网络启动一个系统，然后解开镜像，刷新相关固件。
一旦把系统设置成PXE启动，只需要开启系统就可以进行刷新。
设置PXE启动服务器
在网络上需要一台运行DHCP和TFTP服务器的计算机。
安装并运行CSM管理节点的计算机是一个合适的替代方案。
但是，如果目前在网络上还没有安装计算机，可以使用一台连接到网络并运行Linux的笔记本。
确保PXE服务器在网络的正确位置（在同一子网内），或者确保交换机能把DHPC请求跨子网转发到正确的服务器。
然后，完成以下步骤：
1.用IP地址192.168.0.1启动PXE服务器。
2.在同一台计算机上安装、配置、启动简单的DHCP服务器。
下面是个示例配置：
ddns-update-stylead-hoc;
subnet192.168.0.0netmask255.255.255.0{
range192.168.0.2192.168.255.254;
filename"/pxelinux.0";
next-server192.168.0.1;
}
3.安装、配置和启动TFTP服务器，在/tftpboot/上运行。
安装syslinux，在Suse和RedHatLinux上都以RPM包形式提供。
4.把随syslinux包一起安装的memdisk和pxelinux.0文件拷贝到/tftpboot/。
5.创建目录/tftpboot/pxelinux.cfg/，存放配置文件，创建/tftpboot/firmware/存放固件镜像。
6.将包含要更新的固件的内容的默认PXE配置写入/tftpboot/pxelinux.cfg/default，就像下面这样：
serial09600
defaultlocal
#defaultbmc
#defaultbios
#defaultbroadcom
labellocal
localboot0
labelbmc
kernelmemdisk
appendinitrd=firmware/bmc.img
labelbios
kernelmemdisk
appendinitrd=firmware/bios.img
labelbroadcom
kernelmemdisk
appendinitrd=firmware/broadcom.img
作为参考，当计算机在PXE期间接收到DHCP地址时，就用特定顺序搜索/tftpboot/pxelinux.cfg下的配置文件，第一个找到的文件被用作请求计算机的启动配置。
搜索顺序的确定方法是：
把请求DHCP地址转换成8个16进制数字，通过扩展子网对配置目录搜索第一个匹配的文件名（每一次搜索后从右到左删除一位数字）。
例如，假设一台客户计算机在PXE启动期间从服务器得到地址192.168.0.2。
升级会员 