RedHatLinux集群配置 RHCS.docx

1、RedHatLinux 集群配置 RHCShp-dl580G7 RHCS安装步骤一安装RedHat-AS-5.7-64(两台)二配置心跳地址与ilo3地址server1心跳地址：192.168.1.1 255.255.255.0 192.168.1.254（网关）server1 ilo3地址192.168.1.10 255.255.255.0 192.168.1.254（网关）server2 心跳地址：192.168.1.2 255.255.255.0 192.168.1.254（网关）server2 ilo3地址192.168.1.11 255.255.255.0 192.168.1.254

2、（网关）三配置两台主机host文件 #vi /etc/host 加入两台的心跳地址与ilo地址以及主机名称 例如： server1 192.168.1.1 server2 192.168.1.2 ilo3-1 192.168.1.10 ilo3-2 192.168.1.11四配置共享存储a)从存储分配所需共享磁盘给两台机器（两台机器共享一个磁盘）b)存储若是多路径，两台机器分别安装multipath软件(HP官网下载)c)HP multipath软件只支持5.5以下版本，需要修改/etc/redhat-release文件，把版本改为5.5以下即可，等软件安装好后，再改回来d)创建pvpvcre

3、ate /dev/mapper/mpath(n)e)创建vgvgcreate vg01 /dev/mapper/mpath(n)f)创建lvlvcreate l 10240 n lv01 vg01g)格式化lv(若是裸设备的话，跳过)mkfs.ext3 /dev/vg01/lv01h)两台机器创建存储挂载点mkdir sybase五yum安装RHCS所需的安装包yum cman六rpm安装RHCS所需的依赖的包安装cman(光盘的Server目录下)rpm -ivh perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpmrpm -ivh perl-XML

4、-SAX-0.14-8.noarch.rpm rpm -ivh perl-XML-LibXML-Common-0.13-8.2.2.x86_64.rpmrpm -ivh perl-XML-LibXML-1.58-6.x86_64.rpm rpm -ivh perl-Net-Telnet-3.03-5.noarch.rpmrpm -ivh pexpect-2.3-3.el5.noarch.rpmrpm -ivh openais-0.80.6-30.el5.x86_64.rpmrpm -ivh python-pycurl-7.15.5.1-8.el5.x86_64.rpmrpm -ivh pyth

5、on-suds-0.4.1-2.el5.noarch.rpmrpm -ivh cman-2.0.115-85.el5.x86_64.rpm安装rgmanger(Cluster目录下) rpm -ivh rgmanager-2.0.52-21.el5.x86_64.rpm安装system-config-cluster（Cluster目录下）rpm -ivh system-config-cluster-1.0.57-9.noarch.rpm安装ricci(光盘的Server目录下)rpm -ivh oddjob-0.27-11.el5.x86_64.rpm oddjob-libs-0.27.11.

6、el5.x86_64.rpm(需要同时安装，要不然装不想上)（Cluster目录下）rpm -ivh modcluster-0.12.1-2.el5.x86_64.rpmrpm -ivh ricci-0.12.2-32.el5.x86_64.rpm安装luci(光盘的Server目录下)rpm -ivh tix-8.4.0-11.fc6.x86_64.rpmrpm -ivh tkinter-2.4.3-44.el5.x86_64.rpmrpm -ivh python-imaging-1.1.5-7.el5.x86_64.rpm（Cluster目录下）rpm -ivh luci-0.12.2-3

7、2.el5.x86_64.rpm七安装HPSUM（psp）安装方法省略八配置IPMIa)检测是否安装b)rpm qa |grep IPMI若是没安装，加载安装光盘安装（安装好HPSUM后，会更新IPMI）c)配置ipmi自启动d)chkconfig -level 2345 ipmi onservice ipmi starte)IPMI检测ipmitool -v -H 192.168.1.10 -I lanplus -U admin mc info(ip地址为对方的地址，都互相检测下)九配置集群system-config-cluster注：先配置集群信息才能启动集群服务(/etc/cluster

8、/cluster.conf)a)选择Create New Configurationb)选择合适的集群名称点击okc)点击Add a Cluster Node,添加节点d)输入集群节点名称，点击OK若有多个节点，依次增加e)点击Add a Fence Device添加Fence设备f)点击OK继续，若有多个Fence设备，依次添加(名字不能与主机相同)g)点击Manage Fencing For This Node实现节点与fence绑定点击cluster nodes-选择server1-选择“Manager Fenceing for This node”-选择“add a new fence

9、 level”-选择“Fence-Lenvel-1”-选择“Add a New Fence to this level”“server1-ipm”h) 选中上图中Use lanplus 注：每个节点加入自己的Fence设备 依次绑定server2的Fence设备i)点击Create a Failover Domain 配置失效切换域输入好名称，点击OK继续点击Available Cluster Nodes选中两个节点Restrict Failover To This Domains Members：指派给这个Failover Domain 的Service 只可以在当前加入的成员上执行；如果不

10、选此项，Service 将允许在本集群中的任何节点进行Failover 切换。为保证系统的严谨性，建议选中此项。 Prioritized List：用于调整Failover Domain 中节点的优先级别，指定Service 优先在哪个节点中运行。(注：对于双节点情况，如果，两台服务器的性能相同，那么一般不需要设置它们的优先关系，先启动服务器为主服务器，后启动的的为备用服务器。当主服务器出现故障，备用服务器进行Service 接管后，即使主服务器通过检修重新加入集群，由于主/备服务器性能相同，因此没有必要再浪费 时间进行 Service 切换)j)点击Create a Resource选择资源

11、选项下拉框，选择所需要的资源，这里以IP及存储资源为例文件系统类型、挂载点及使用的磁盘设备。 Options：执行mount 指令时的特殊参数，与mount 指令的-o参数相同。 File System ID：RHCS 中要求每个File System 都有一个唯一的ID 号，此项一般不用指定，系统会自动进行分配。 Force unmount ：一旦服务要求切换，在进行umount 操作时使用-f 参数 Reboot host node if unmount fails ：若umount 失败，则尝试对此系统进行重启操作。 Check file system before mounting：挂

12、载文件系统前通过fsck 命令对文件系统进行检查，这可以更好地保证文件系统的完整性，但对于大文件系统来说，这将花费很长的时间。k)点击Create a Service 创建服务输入服务名称，点击OK继续选择Failover Domain 选择失效切换域名字sybase选择Add a Shared Resource to this service 把IP地址添加进去 点击Attach a Shared Resource to the selection添加依赖关系资源 Recovery Policy：指定进行切换时所使用的策略，通过RHCS 的rgmanager 可以在运行时对服务中的各个资源进

13、行检测，一旦检查到某个资源的status 操作发生异常，就按照此策略进行操作。 Restart：如果发现资源出现异常，则先在本地尝试重启服务，如果重启失败则执行Relocate 操作。Relocate：停止当前节点中与本服务相关的所有资源，由另一台服务器进行服务及资源的接管。 Disable：在所有节点中停止服务，不进行任何操作。 一般建议在测试环境中使用Relocate，因为这样可以很好地展示系统切换的过程；在生产环境中则建议使用Restart，因为有不少异常通过本地重启服务是可以解决的，这样可以最大限度缩短系统切换所消耗的时间。 选项 ：Autostart This Service：rgm

14、anager 启动时自动启动此Service。 Run Exclusive：指定此Service 以独占方式运行，一旦此Service 运行在某个服务器之上，集群就将拒绝其他的Service 在此服务器上运行。l)点击File选择Save保存配置点击Send to Cluster十修改/etc/cluster/cluster.conf把所有fencedevice agent中的auth=”none”删除掉 十一配置禁用服务chkconfig acpid offservice acpid stop十二配置集群服务自启动chkconfig -level 2345 cman onchkconfig

15、-level 2345 rgmanager onchkconfig -level 2345 ricci onchkconfig -level 2345 luci on十三RHCS重启顺序两边配置同步完成后分别在两个节点重启RHCS 服务进程 启动RHCS 服务，按照如下步骤分别在两台node 启动进程： service cman start #service clvmd start service gfs start service gfs2 start service rgmanager start 关闭RHCS 服务，按照如下步骤分别在两台node 启动进程： service rgmana

16、ger stop service gfs2 stop service gfs stop #service clvmd stop service cman stop查看集群状态：clustat十四群集基础结构：提供节点以集群方式一起工作所需的基本功能、配置文件管理、成员资格管理、锁管理和安全管理。高可用性服务管理：提供在某个节点不可操作时，服务从一个群集节点到另外一个节点的故障切换。群里管理软件：用于设置，配置和管理redhat群集的配置和管理工具。这些工具和群集基础结构组件、高可用性和服务管理组件、存储组件一起使用。Linux虚拟服务器lvs：提供IP负载平衡的路由软件。lvs在一对荣誉的服务

17、器中运行，它将客户请求均匀的分发到后面的真实服务器。可选组件：GFS：提供和 Red Hat Cluster Suite 一起使用的群集文件系统。GFS 允许多个节点进行块级别的存储共享，就好像每个群集节点都连接至本地存储空间一样。群集逻辑卷管理器（Cluster Logical Volume Manager，CLVM） 提供群集存储的卷管理。全球网络块设备（Global Network Block Device，GNBD） GFS 的辅助组件，它将块级别的存储设备导出至以太网络。这是在 Red Hat GFS 中使用块级别存储的一个经济的方法。Cluster Suite 组件摘要. 组件服务

18、cluster infrastructureCMAN/DLM,Fencing，CCS群集管理锁管理Fencing群集配置管理HA Server ManagementrgmanagerShared StorageGFS CLVMCluster Administration toolssystem-config-cluster,gnbdconga（luci，ricci）piranha （ipvsadmin图像配置管理工具）命令行工具 用于 描述 ccs_tool 群集配置系统工具 Cluster Infrastructure ccs_tool 是一个制作群集配置文件的在线更新的程序。它提供创建和修

19、改群集基础结构组件（如：创建群集、添加和删除节点）的能力。关于这个工具的更多信息，请参考 ccs_tool(8) 帮助页。 cman_tool 群集管理工具 Cluster Infrastructure cman_tool 是一个管理 CMAN 群集管理器的程序。它提供加入群集、离开群集、杀死节点或修改群集里节点的预期 quorum votes 的功能。关于这个工具的更多信息，请参考 cman_tool(8) 帮助页。 fence_tool 保护工具 Cluster Infrastructure fence_tool 是一个用来加入和离开缺省保护域的程序。具体来说，它启动保护守护进程（(fen

20、ced）来加入域以及终止 fenced 进程来离开域。关于这个工具的更多信息，请参考 fence_tool(8) 帮助页。 clustat 群集状态工具 高可用性服务管理组件 clustat 命令显示群集的状态。它显示成员信息、quorum 视图以及所有配置的用户服务的状态。关于这个工具的更多信息，请参考 clustat(8) 帮助页。 clusvcadm 群集用户服务管理工具 高可用性服务管理组件 clusvcadm 命令允许您在群集里启用、禁用、迁移和重启高可用性服务。关于这个工具的更多信息，请参考 clusvcadm(8) 帮助页。 表2.1 “Red Hat Cluster Suite

21、 软件子系统组件” summarizes Red Hat Cluster Suite components. 功能 组件 描述 Conga luci 远程管理系统 - 管理工作站。 ricci 远程管理系统 - 被管理的工作站。 Cluster Configuration Tool system-config-cluster 以图形方式管理群集配置的命令 群集逻辑卷管理器（Cluster Logical Volume Manager，CLVM） clvmd 在群集中发布 LVM 元数据更新的守护进程。它必须在群集中的所有节点中运行，如果群集中的某个节点没有运行此时间进程则会提示错误。 lvm

22、LVM2 工具。为 LVM2 提供命令行工具。 system-config-lvm 为 LVM2 提供图形化用户界面。 lvm.conf LVM 配置文件。完整路径是 /etc/lvm/lvm.conf 群集配置系统（Cluster Configuration System，CCS） ccs_tool ccs_tool 是群集配置系统（CCS）的一部分。它被用来制作 CSS 配置文件的在线更新。此外，可用它将群集配置文件从使用 GFS 6.0（或更早版本）创建的 CCS 归档升级为 Red Hat Cluster Suite 发行版本中使用的 XML 格式。 ccs_test 通过 ccsd 从配置文件获取信息的诊断和测试命令。 ccsd 在所有群集节点中运行并为群集软件提供配置文件数据的 CCS 守护进程。 cluster.conf 这个群集配置文件。完整的路径是 /etc/cluster/cluster.conf。 群集管理器（Cluster Manager，CMAN） cman.ko CMAN 的内核模块。 cman_tool 这是 CMAN 的管理前台。它启动和停止 CMAN 并能修改某些内部参数，如 vote。 dlm_controld 由 cman 初始脚本启动的守护进程，它管理内核中的 dlm；用户