HeartBeat204双机软件方案正式.docx

1、HeartBeat204双机软件方案正式HeartBeat2.0.4双机软件方案2011/3/1目录第1章 基础知识 4 1.1 双机技术 41.1.1 为什么使用双机技术 41.1.2 双机集群基本原理及基本架构 4 1.2 双机架构中的数据同步 61.2.1 Data Sharing None 61.2.2 Data Sharing ShareDisk 61.2.3 Data Sharing Replication 6第2章 双机方案 8 2.1 硬件环境 8 2.2 方案一 Sharing None 102.2.1 安装 102.2.2 配置HeartBeat 112.2.3 验证测试

2、132.2.4 配置其它服务 15 2.3 方案二 Sharing ShareDisk 162.3.1 VMWare下共享磁盘 162.3.2 安装SYBASE 17 2.4 方案三 Data Sharing Replication 182.4.1 DRBD是个什么东西 182.4.2 如何工作 182.4.3 如何使其运行 192.4.4 安装 192.4.5 测试 23第3章 附录 24 3.1 防火墙配置 24 3.2 交叉网线的制作 24 3.3 串口线的制作 24历史初稿2011/3/1无数据复制情况下的方案修改2011/3/18磁盘镜像情况下方案第1章 基础知识 1.1 双机技术1

3、.1.1 为什么使用双机技术双机技术是实现系统高可用性、可靠性、稳定性、安全性并需要快速处理能力、大容量存储及系统的可管理性的重要手段。服务器双机是作为单一系统进行管理的一组独立的服务器，用于实现更高的可用性、可管理性和更优异的可伸缩性。双机概念就是一套或多套关键业务应用和数据在两套操作系统中的相互切换。1.1.2 双机集群基本原理及基本架构就是后台应用为客户端提供一个逻辑的虚拟主机或IP，客户端用户只需要用到这一地址。当后台服务有一台服务器出现故障点，另一台服务器就自动将本机地址或IP替换为逻辑的主机或IP，从而保证客户端用户的前台操作不出现问题。基本架构 双机热备双机热备就是一台主机为工作

4、机，另一台主机为备份机在系统正常情况下，工作机为信息系统提供支持，备份机监视工作机的运行情况（工作机也同时监视备份机是否正常，有时备份机因某种原因出现异常，工作机可尽早通知系统管理工作人员解决，确保下一次切换的可靠性）。当工作机出现异常，不能支持信息系统运营时，备份机主动接管工作机的工作，继续支持信息的运营，从而保证信息系统能够不间断地运行。双机热备模式图双机热备基本配置需求a) 服务器与系统b) 客户端 c) Private Net（专有网路）d) 公用网路 e) 共享数据磁盘柜（可选）f) 一套业务应用 双机互备双机互备就是两台服务器均为工作机运行两套业务应用,在正常情况下,两台工作机均为

5、信息系统提供支持,并互相监视对方的运行情况。当一台主机出现异常时，不能支持信息系统正常运营，另一主机则主动接管异常机的工作，继续支持信息的运营，从而保证信息系统能够不间断地运行，而达到不停机的功能，但正常运行主机的负载会有所增加。此时必须尽快将异常机修复以缩短正常机负载持续时间，当异常机经过维修恢复正常后，恢复以前正常时的工作状态 双机互备模式图 双机互备基本配置需求a) 服务器与系统b) 客户端c) Private Net（专有网路）d) 公用网路e) 共享数据磁盘柜（可选）f) 两套业务应用 1.2 双机架构中的数据同步1.2.1 Data Sharing NoneStrangely en

6、ough, some HA configurations dont need any formal disk data sharing Firewalls Load Balancers (Caching) Proxy Servers Static web servers whose content is copied from a single source1.2.2 Data Sharing ShareDisk The most classic data sharing mechanism Allows for failover mode Allows for true parallel a

7、ccess Oracle RAC, Cluster filesystems, etc. Fencing always required with FiberChannel1.2.3 Data Sharing ReplicationSome applications provide their own replication DNS, DHCP, LDAP, DB2, etc. Linux has excellent disk replication methods available DRBD is my favorite DRBD-based HA clusters are extremel

8、y affordable Some environments can live with less “precise” replication methods rsync, etc. Often does not support parallel access Fencing highly desirable, but not always necessary EXTREMELY cost effective第2章 双机方案本双机方案提供双机热备模式方案，暂不提供双机互备模式下的解决方案。 方案一：不需要数据同步情形（Data Sharing None） 方案二：共享磁盘阵列方式（Data S

9、haring ShareDisk） 方案三：数据复制或镜像方式（Data Sharing Replication） 2.1 硬件环境HA实际上是两台(或更多)计算机通过一定方式互相监听，实现热备份。当其中Primary server出现问题时，Standby server能够自动立即接替工作，使用户感觉不到停机。在Primary server恢复正常之后，Standby server又会把工作还给Primary server。HA集群结构图本次实验环境为主备方式(Active-Standby)。两台电脑分别为SMSS1和SMSS2，硬件环境不必完全一致，每台电脑需要配置至少三块网卡。主节点SM

10、SS1RedHat4 Update 7 32bit.eth0:192.168.1.234eth1: 10.1.0.100 (心跳地址）从节点SMSS2：RedHat4 Update 7 32bit.eth0: 192.168.1.235eth1: 10.1.0.101 (心跳地址）虚拟ip地址（Virtual IP）:192.168.1.233在安装软件前，手动配置每片网卡的IP（不能是DHCP 方式动态获取的IP），同一台主机上每片网卡的IP 设置在不同网段。推荐配置是：三片网卡、一条RS232 串口线。其中一片网卡用于配置公网，一片用于数据复制，另外一片网卡和RS232 串口线用于配置心跳

11、线（或者两片网卡用于配置心跳）。注意： 保证两台电脑每块网卡能够ping通。 两台主机的心跳网卡使用双机对联线直接连接或者采用串口心跳，心跳线是HA软件正常运行的关键,建议同时采用一条心跳网线和串口线做心跳，或者两条网线同时做心跳。Heartbeat 默认使用udp 694端口进行心跳监测。必须保证心跳端口不被防火墙屏蔽。见附录1防火墙配置。 2.2 方案一 Sharing None2.2.1 安装1) 修改hosts保证两台电脑以下文件必须相同 /etc/hosts#vi /etc/hostsSMSS1的hosts内容如下：192.168.1.233 SMSS192.168.1.234 SM

12、SS1192.168.1.235 SMSS2 (保证机器名和参数uname -n输出一致）SMSS2的hosts内容如下:192.168.1.233 SMSS192.168.1.234 SMSS1192.168.1.235 SMSS2 (保证机器名和参数uname -n输出一致）2) 软件包:heartbeat-2.1.4-2.1.i386.rpmheartbeat-pils-2.1.4-2.1.i386.rpmlibnet-1.1.2.1-2.1.i386.rpmheartbeat-stonith-2.1.4-2.1.i386.rpmperl-TimeDate-1.16-1.2.el4.rf

13、.noarch.rpm安装顺序:# rpm -ivh perl-TimeDate-1.16-1.2.el4.rf.noarch.rpm # rpm -ivh libnet-1.1.2.1-2.1.i386.rpm # rpm -ivh heartbeat-pils-2.1.4-2.1.i386.rpm # rpm -ivh heartbeat-stonith-2.1.4-2.1.i386.rpm # rpm -ivh heartbeat-2.1.4-2.1.i386.rpm 2.2.2 配置HeartBeat编辑Heartbeat HA的三个配置文件，authkeys、ha.cf和hareso

14、urces；1) 配置/etc/ha.d/authkeys该文件确定为群集您的验证密钥，配置心跳的加密，使用双机对联线(网线为交叉线)，authkeys文件用于验证集群成员关系，两个节点配置的必须相同的。#cd /etc/ha.d/# cp /usr/share/doc/packages/heartbeat/authkeys ./# chmod 600 authkeysSMSS1:auth 3#1 crc#2 sha1 HI!3 md5自己定制的字符串（如Hello!SMSS20101011）SMSS2:auth 3#1 crc#2 sha1 HI!3 md5自己定制的字符串（如Hello!S

15、MSS20101011）在一个局域网环境中，需要不同双机群之间的“自己定制的字符串”不同，避免不同双机群之间心跳消息的干扰（在采用公网心跳消息时）。2) 配置/etc/ha.d/ha.cf如果文件不存在，新建ha.cf文件或者拷贝模版文件#cp /usr/share/doc/packages/heartbeat/ha.cf到 /etc/ha.d/SMSS1:logfile /var/log/ha-log #用于记录heartbeat的日志信息keepalive 10 #发送心跳报文的间隔，默认单位为秒，如果你 #毫秒为单位，那么需要在后面跟ms单位，如1500ms即代表1.5sdeadtime

16、 30 #用于配置认为对方节点菪掉的间隔warntime 10 #发出最后的心跳警告报文的间隔udpport 694 #广播/单播通讯使用的udp端口bcast eth1 eth2 # Linux 心跳所使用的网络接口,采用双网卡心跳ucast eth1 10.1.0.101 #如果采用单播，那么可以配置对端用的ip地址auto_failback off #用于决定当主机恢复后，资源是否自动迁移到#主机，还是在当前节点上继续运行。node SMSS1 #按照顺序第一台为Masternode SMSS2#配置为多个外部网关地址或者服务器地址，监测主机公共网络是否正常ping_group grou

17、p1 192.168.1.2 192.168.1.108 192.168.1.169respawn hacluster /usr/lib/heartbeat/ipfailSMSS2:logfile /var/log/ha-logkeepalive 10 # Heartbeat intervaldeadtime 30 # How long to say the servers deathwarntime 10udpport 694 # Heartbeat portbcast eth1 eth2 # Linux Heartbeat interface采用双网卡心跳ucast eth1 10.1.0

18、.100 #IP address of peer to send packets toauto_failback offnode SMSS1node SMSS2#配置为多个外部网关地址或者服务器地址，监测主机公共网络是否正常ping_group group1 192.168.1.2 192.168.1.108 192.168.1.169respawn hacluster /usr/lib/heartbeat/ipfail3) 配置资源The haresources files MUST BE IDENTICAL on all nodes of the cluster.rootSMSS1 ha.

19、d#cd /etc/ha.d/rootSMSS1 ha.d# cp /usr/share/doc/packages/heartbeat/haresources ./rootSMSS1 ha.d# vi haresourcesSMSS1:# Regarding the node-names in this file:# They must match the names of the nodes listed in ha.cf, which in turn# must match the uname -n of some node in the cluster. So they arent# v

20、irtual in any sense of the word.#SMSS1 192.168.1.233 vsftpd tomcatSMSS2:# Regarding the node-names in this file:# They must match the names of the nodes listed in ha.cf, which in turn# must match the uname -n of some node in the cluster. So they arent# virtual in any sense of the word.#SMSS1 192.168

21、.1.233 vsftpd tomcatharesource文件主要是配置集群资源或者服务，它的格式如下：node-name resource1 resource2 . resourceN主节点为SMSS1, 浮动IP为192.168.1.233, 启动vsftpd和tomcat。缺省情况下, 在/etc/init.d和/etc/ha.d/resource.d查找资源和服务的脚本。vsftpd是标准启动脚本(/etc/init.d/vsftpd), 而Tomcat可以是自编的启动脚本 (/etc/ha.d/resource.d/tomcat),在/etc/init.d/skeleton目录中有

22、个框架示例。heartbeat为我们提供了一个非常好的资源扩展框架，如果我们控制自己的资源，只需要实现一个支持start和stop参数的shell脚本就可以了。自己的定制脚本需后面跟start、stop或status等命令进行测试，检查能否正确启动、停止和检测服务的状态。4) 设置heartbeat自动启动（启动系统时启动）rootSMSS1 init.d# chkconfig -add heartbeatrootSMSS1 init.d# chkconfig -list | grep heartbeatheartbeat 0:off 1:off 2:on 3:on 4:on 5:on 6:o

23、ff2.2.3 验证测试1) 为了验证你的配置，重新启动后在SMSS1节点，网络配置如下：eth0 Link encap:Ethernet HWaddr 00:0C:29:21:65:FC inet addr:192.168.1.234 Bcast:192.168.255.255 Mask:255.255.0.0 inet6 addr: fe80:20c:29ff:fe21:65fc/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:3885 errors:0 dropped:0 overruns

24、:0 frame:0 TX packets:156 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:287178 (280.4 KiB) TX bytes:20927 (20.4 KiB) Interrupt:193 Base address:0x2024 eth0:0 Link encap:Ethernet HWaddr 00:0C:29:21:65:FC inet addr:192.168.1.233 Bcast:192.168.255.255 Mask:255.255.0.0 UP

25、 BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 Interrupt:193 Base address:0x2024 eth1 Link encap:Ethernet HWaddr 00:0C:29:21:65:06 inet addr:10.1.0.100 Bcast:10.1.0.255 Mask:255.255.255.0 inet6 addr: fe80:20c:29ff:fe21:6506/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:40

26、80 errors:0 dropped:0 overruns:0 frame:0 TX packets:154 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:379334 (370.4 KiB) TX bytes:17861 (17.4 KiB) Interrupt:169 Base address:0x20a4在SMSS2配置下：rootSMSS2 # ifconfig -aeth0 Link encap:Ethernet HWaddr 00:0C:29:E1:A9:87 inet

27、addr:192.168.1.235 Bcast:192.168.255.255 Mask:255.255.0.0 inet6 addr: fe80:20c:29ff:fee1:a987/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:5096 errors:0 dropped:0 overruns:0 frame:0 TX packets:117 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX by

28、tes:375432 (366.6 KiB) TX bytes:18598 (18.1 KiB) Interrupt:193 Base address:0x2024 eth1 Link encap:Ethernet HWaddr 00:0C:29:E1:A9:91 inet addr:10.1.0.101 Bcast:10.1.0.255 Mask:255.255.255.0 inet6 addr: fe80:20c:29ff:fee1:a991/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:

29、5102 errors:0 dropped:0 overruns:0 frame:0 TX packets:149 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:381795 (372.8 KiB) TX bytes:27201 (26.5 KiB) Interrupt:169 Base address:0x20a42) 主机在运行，在主机切换到备机（Forcing the Primary Server into Standby Mode）rootSMSS1 # cd /usr/lib

30、/heartbeatrootSMSS1 heartbeat# ./hb_standby 2011/02/22_18:17:34 Going standby all.3) 备机在运行，由主机接管备机（Forcing the Primary Server return Active Mode）rootSMSS1 # cd /usr/lib/heartbeatrootSMSS1 heartbeat# ./hb_takeover2.2.4 配置其它服务在SMSS1和SMSS2的机器中设置。注意:要实现双机的各项服务需要取消自启动，已设置开机自启动的模块，首先按照以下取消自启动。1、 安装JAVA、TOMCAT、ACTIVEMQ2、 停止自启动rootSMSS1 # chkconfig activemq offrootSMSS1 # chkconfig tomcat offrootSMSS1 # 重启系统观察，如果还是能自启动，需要删除/etc/rc.d/rc3.d和/etc/rc.d/rc5.d的启动对应的脚本。3、 在/etc/ha.d/中修改haresourcesrootSMSS1 h