Centos7构建HA集群教学内容Word文件下载.docx

1、二、集群环境准备两台机器启动PCSDsystemctl start pcsd.servicesystemctl enable pcsd.service两台机器passwd hacluster输入同一个密码hacluster 配置节点之间的相互认证pcs cluster auth node01 node02rootnode01 # pcs cluster auth node01 node02Username: haclusterPassword: node01: Authorizednode02:出现以下显示表示认证成功。rootnode02 # pcs cluster auth node01

2、node02 Already authorized各节点之间时间同步在node1和node2分别进行时间同步，可以使用ntp实现。rootnode1 # ntpdate 172.16.0.1 /172.16.0.1 为时间服务器（若无时间服务器手动调整时间也可以）三、集群创建以nascluster为本集群的名称。rootnode01 # pcs cluster setup -name nascluster node01 node02Shutting down pacemaker/corosync services.Redirecting to /bin/systemctl stop pacem

3、aker.serviceRedirecting to /bin/systemctl stop corosync.serviceKilling any remaining services.Removing all cluster configuration files. Succeededpcs在执行以上命令时会生产corosync.conf及修改cib.xml文件，corosync.conf问corosync的配置文件，cib.xml为pacemaker的配置文件。这两个配置文件是集群的核心配置，重装系统时建议做好这两个配置文件的备份。开启集群pcs cluster start -all 开

4、启集群pcs cluster enable -all 设置集群自动启动pcs cluster status 查看集群状态 当有半数以上的节点在线时,这个集群就认为自己拥有法定人数了,是“合法”的,换而言之就是下面的公式: total_nodes 2 * active_nodes，也就是说假设集群中有4个节点，但是活动节点有3个，42*3,即是合法的集群，如果活动节点有2个，4=2*2不能满足total_nodes 2 * active_nodes了，这个集群就非法了。 因此在双节点的集群中只有当两者都在线时才是合法的的这个规则会让“双节点集群”毫无意义，但是我们可以控制Pacemaker发现集

5、群达不到法定人数时候的行为。简单来说，我们告诉集群忽略它。在两个节点的情况下设置以下值pcs property set no-quorum-policy=ignore集群故障时候服务迁移pcs resource defaults migration-threshold=1查看集群状态rootnode01 # pcs cluster statusCluster Status: Last updated: Tue Sep 16 06:35:31 2014 Last change:24 2014 via crmd on node02 Stack: corosync Current DC: node0

6、2 （2） - partition with quorum Version: 1.1.10-29.el7-368c726 2 Nodes configured 0 Resources configuredPCSD Status: node01: Online node02:查看集群成员rootnode01 # corosync-cmapctl |grep members runtime.totem.pg.mrp.srp.members.1.config_version （u64） = 0runtime.totem.pg.mrp.srp.members.1.ip （str） = r（0） ip（

7、192.168.102.1） runtime.totem.pg.mrp.srp.members.1.join_count （u32） = 1runtime.totem.pg.mrp.srp.members.1.status （str） = joinedruntime.totem.pg.mrp.srp.members.2.config_version （u64） = 0runtime.totem.pg.mrp.srp.members.2.ip （str） = r（0） ip（192.168.102.2） runtime.totem.pg.mrp.srp.members.2.join_count

8、（u32） = 1runtime.totem.pg.mrp.srp.members.2.status （str） = joined查看成员信息rootnode01 # pcs status corosyncMembership information- Nodeid Votes Name 1 1 node01 （local） 2 1 node02查看XMLrootnode01 # pcs cluster cib检查配置文件，发现提示没有STONITH设备。rootnode01 # crm_verify -L -V error: unpack_resources: Resource start-

9、up disabled since no STONITH resources have been defined Either configure some or disable STONITH with the stonith-enabled option NOTE: Clusters with shared data need STONITH to ensure data integrityErrors found during check: config not valid暂时关闭stonish，后面再详细讲讲stonish的配置。pcs property set stonith-ena

10、bled=false配置集群IPpcs resource create vip ocf:heartbeat:IPaddr2 ip=192.168.102.10 cidr_netmask=24 op monitor interval=30svip为自定义的一个集群IP的名称，监控时间为30S。测试浮动IP地址在集群中能否正常切换：停node01的集群服务pcs cluster stop node01在node02上查看状态rootnode02 # pcs statusCluster name: nasclusterLast updated: Tue Sep 16 07:28:33 2014Las

11、t change:26:41 2014 via cibadmin on node01Stack:Current DC:Version:2 Nodes configured1 Resources configuredOnline: node02 OFFLINE: node01 Full list of resources: vip （ocf:IPaddr2）: Started node02 #此条表示vip在node02上执行了Daemon Status: corosync: active/enabled pacemaker: pcsd: active/disabled在node01恢复后，为防

12、止node02资源迁回node01（迁来迁去对还是会对业务有一定影响）pcs resource defaults resource-stickiness=100pcs resource defaults四、创建GFS2文件系统mkfs.gfs2 -p lock_dlm -j 2 -t nascluster:nas /dev/my_vg/gfsdata配置dlm锁监控时间pcs cluster cib dlm_cfg #由于cib.xml非常重要，为避免出错不建议直接修改，故生产一个dlm_cfg文件，将配置写入dlm_cfg文件后，再将dlm_cfg写入cib.xml中。pcs -f dlm_

13、cfg resource create dlm ocf:pacemaker:controld op monitor interval=60spcs -f dlm_cfg resource clone dlm clone-max=2 clone-node-max=1pcs -f dlm_cfg resource showpcs cluster cib-push dlm_cfg普及一下dlm锁的知识： Distributed Lock Manager，简称DLM，是一个分布式锁管理器，它是RHCS的一个底层基础构件，同时也为集群提供了一个公用的锁运行机制。DLM运行在每个节点上,GFS通过锁管理器

14、的机制来同步访问文件系统的元数据。CLVM通过锁管理器来同步更新数据到LVM卷和卷组。 DLM不需要设定锁管理服务器，它采用对等的锁管理方式，大大提高了处理性能。同时，DLM避免了单个节点失败需要整体恢复的性能瓶颈。另外，DLM的请求是本地的，不需要网络请求，因此请求会立即生效。最后，DLM通过分层机制，可以实现多个锁空间的并行锁模式。查看状态rootnode01 nas# pcs status48:09 201444:08 2014 via cibadmin on node013 Resources configured node01 node02 Started node02 Clone

15、Set: dlm-clone dlm Started: node01 node02 #DLM的状态五、stonith配置查看本系统支持的fence设备pcs stonith list查看即将要使用的fence设备相关信息pcs stonith describe fence_ilo4由于服务器是HP DL380 GEN8的，支持ILO4，但是在实际配置中采用fence_ilo4却发现怎么也不通,man fence_ilo4发现fence_ipmilan 也可以配置ilo4的FENCE设备，但是必须要加lanplus=true参数。pcs cluster cib stonith_cfg #生产初始

16、配置文件stonith_cfgpcs -f stonith_cfg stonith create ipmi-fence-node01 fence_ipmilan parms lanplus= pcmk_host_list=node01 pcmk_host_check=static-list action=reboot ipaddr=192.168.103.1 login=USERID passwd=password op monitor interval=60spcs -f stonith_cfg stonith create ipmi-fence-node02 fence_ipmilan p

17、arms lanplus=node02192.168.103.2解释：创建一个名为ipmi-fence-node01的fence设备名称用于建node01的fence，pcmk_host_check=的功能是将node01与192.168.103.1对应，后面login=USERID passwd=password op monitor interval=60s不再解释。pcs -f stonith_cfg stonith 检查stonith_cfg中stonith配置信息pcs -f stonith_cfg property set stonith-enabled=true 上文关闭了sto

18、nish，现在开启stonishpcs -f stonith_cfg property检查stonith_cfg中stonith是否已经开启pcs cluster cib-push stonith_cfg 将stonith_cfg写入cib.xmlnode02上测试FENCE是否成功stonith_admin -reboot node01node01上测试FENCE是否成功stonith_admin -reboot node02pcs cluster standby node01 将node01业务VIP迁移到node02上测试集群是否正常。在集群所有节点重启后发现gfs的文件系统无法自动挂载

19、，定义了fstab也不行，经过分析发现系统开机时候执行了pcs cluster start，而且很快就返回启动成功的结果，但是系统日志里面显示仍然还启动完成，考虑到系统进入系统之后集群有可能还没启动完成，所有自然无法挂载gfs的文件系统。如果无法自动挂载，我自己编写了一个循环挂载的脚本。供参考。编辑脚本mountnas.sh#!/bin/bashi=1while（$i50）domount |grep nasif $? = 1 ;then mount /dev/my_vg/gfsdata /naselse exitfisleep 3done chmod 777 /etc/rc.local cen

20、tos7 还需要给rc.local加个权限，要不然开机不会执行rc.local在/etc/rc.local加入bash /mountnas.sh 六、配置多路心跳 在rhcs中，可以配置多路心跳，一路将fence作为心跳，一路将网络作为心跳，在corosync pacemaker的集群中，找了国内外很多技术文章，均未做相关描述的。主要是因为corosync pacemaker的集群相对来说已经很可靠，在未配置多路心跳之前将业务网卡DOWN后，发现node02的集群马上失效，集群IP立即切换至node01上，未出现脑裂的情况。 作为自己研究，尝试了再配置了一个心跳。在/etc/corosync.

21、conf中，毕竟corosync管理心跳，所以只有在它里面想办法了，在centos7之前的corosync.conf配置中，会定义interface 作为多个网络，但是在centos7中经过PCS统一管理后，经过测试发现pacemaker只认nodelist作为网络，难道这又是一个变动？在totem 定义：rrp_mode: passive #默认为none，修改为passive才可以支持两个网段nodelist node ring0_addr:node01test01 -test01为第二个心跳 node02test02 -test02为第二个心跳 记得修改host表。重启集群即可生效，目前

22、node01，node02对应192.168.102.0网段，test01 test02对应192.168.103.0网段,同时可以在192.168.103.0网段上再新建一个业务IP，在配置集群IP之前需要对test01 test02配置认证。rootnode01 # pcs cluster auth test01 test02test01:test02:rootnode02 # pcs cluster auth test01 test02pcs resource create testip ocf:IPaddr2 ip=192.168.103.10 cidr_netmask=24 op m

23、onitor interval=30s 注意testip与上文的vip已经名字不一样，两个集群IP的名字不能一致。七、配置集群应用以apache为例：apache安装过程略。pcs resource create Web ocf:apache configfile=/etc/httpd/conf/httpd.conf statusurl=http:/localhost/server-status op monitor interval=1minpcs status查看apache状态，pcs constraint colocation add Web vip INFINITY 将apache与

24、vip绑定在同一个节点上。pcs constraint order vip then Web，指定集群IP先启动，然后再启动apachepcs constraint location Web prefers node01=200 指定node01优先启动apachecrm_simulate -sL 查看资源黏性值，集群业务优先在资源黏性值高的节点上运行。Current cluster status:vip （ocf: Started node01Web （ocf:apache）:Allocation scores:native_color: vip allocation score on node01: 200 vip allocation score on node02: 50