负载均衡技术分析.docx

1、负载均衡技术分析高可用方案1. Keepalived详解1.1. VRRP vs Heartbeat 1 Keepalived使用更简单：从安装、配置、使用、维护等角度上对比，Keepalived都比Heartbeat要简单得多，尤其是Heartbeat2.1.4后拆分成3个子项目，安装、配置、使用都比较复杂，尤其是出问题的时候，都不知道具体是哪个子系统出问题了；而Keepalived只有1个安装文件、1个配置文件，配置文件也简单很多； 2 Heartbeat功能更强大：Heartbeat虽然复杂，但功能更强大，配套工具更全，适合做大型集群管理，而Keepalived主要用于集群倒换，基本没有

2、管理功能； 3 协议不同：Keepalived使用VRRP协议进行通信和选举，Heartbeat使用心跳进行通信和选举；Heartbeat除了走网络外，还可以通过串口通信，貌似更可靠； 4 使用方式基本类似：如果要基于两者设计高可用方案，最终都要根据业务需要写自定义的脚本，Keepalived的脚本没有任何约束，随便怎么写都可以；Heartbeat的脚本有约束，即要支持service start/stop/restart这种方式，而且Heartbeart提供了很多默认脚本，简单的绑定ip，启动apache等操作都已经有了； 使用建议：优先使用Keepalived，当Keepalived不够用的

3、时候才选择Heartbeat1.2. VRRP 协议简介1.1.1 问题描述VRRP（Virtual Router Redundancy Protocol）-虚拟路由器冗余协议，其最新技术标准是RFC3768。为什么要用VRRP呢，主要是为了实现数据链路层互通设备的冗余备份功能，我们来看图一：通过上图可以看到，常规的局域网一般都是多个终端接到交换机上，然后通过单独的出口路由器连接到Internet，这时候问题来了，如果这个出口路由器坏掉了，那么整个上行的流量就会全部断掉，这就是传说中的单点故障。现在，这个网络一共有两个Internet出口，这样任何一个出口路由器出现故障都不会导致终端用户的上行

4、流量断掉。另外一个问题出现了，我们怎么让终端PC知道局域网中有两个出口路由器，并在其中一个出现故障后自动选择另外一个呢？可采用的方案包括让终端PC运行动态路由协议，比如RIP、OSPF，或者ICMP router Discovery client（DISC），或者指定一条静态缺省路由。但是这三种实现方法都有其劣势及不可行之处，我们来具体分析一下。首先对于在每一个终端PC上运行动态路由协议来讲，几乎是不可能的，这其中牵涉到网管的技术能力和日常维护、安全性问题、以及某些终端平台不支持动态路由协议，比如我们常用的XP、Windows7都不支持，而windows Server系列OS支持。假定我们在终

5、端PC上部署了动态路由协议，那么每一个终端用户都会遇到下面这种情况：10086：尊敬的用户您好，申报RIP故障请按1，申报OSPF故障请按2，申报ISIS故障请按3.用户：( o )啊！我家是OSPF，按2。10086：您好，您申报的故障是OSPF，请进一步选择，OSPF邻居无法建立请按1，OSPF密钥不对请按2，链路状态数据库异常请按3，路由表错误请按4.用户：( o )啊！然后吐血身亡.所以说，N多现实问题和困难导致在终端PC上部署动态路由协议具有不可行性。那么对于在终端PC上部署DISC等邻居或路由器发现协议呢？也存在种种问题，例如在网络内存在大量主机，每一台都需要运行DISC，除了增加

6、主机的处理负担外，也会导致协议收敛缓慢，从而不能及时发现不可用邻居路由器，产生路由黑洞，这是不可接受的。现在只剩下在终端PC上配置静态缺省路由了（其具体表现形式一般是设置网关），这是几乎每一个IP平台都支持的配置功能，即使是一部IP电话机，根据这个思路，我们在终端上配置多个默认网关即可实现路由备份了，但是存在以下两个问题：1.对于下行设备是PC来讲，配置了多个默认网关之后，其中一个会作为活动默认网关，其它的作为备份默认网关，其按照下列过程执行流量转发和失效网关检测：当TCP/IP在通过活动默认网关向某个目标IP地址进行TCP通信时，如果失败的尝试次数达到TcpMaxDataRetransmis

7、sions注册表值(默认为5)的一半(即3次)还没有收到响应，TCP/IP将到达该目标IP地址的通信改为使用列表中的下一默认网关，这一步是通过更改该远程IP地址的路由缓存项（Route Cache Entry，RCE）来实现的，从而使用列表中的下一个默认网关来作为下一跳地址。其中RCE是路由表中的一个条目，用于存储目的地的下一跳IP地址。当超过25%的TCP连接转向下一默认网关时，TCP/IP将活动默认网关修改为这些连接当前使用的默认网关。如果此时原始默认网关从故障中回复，TCP/IP将继续使用当前的活动默认网关，而不会转移到原始默认网关，除非重启计算机。如果当前的活动默认网关也出现故障，那么

8、TCP/IP就会继续尝试使用列表中的下一个默认网关，在尝试完整个列表后将返回到列表的开始，又从第一个默认网关开始进行尝试。死网关检测仅监视TCP流量，如果其他类型的流量连接失败，不会切换默认网关。另外TCP是端到端的协议，因此即使当前默认网关完全正常，本地计算机的TCP通信失败也可能会导致切换默认网关。当不同网络接口所连接的网络之间没有连接性时(如一个网络接口连接到Internet，而一个网络接口连接到内部网络)，如果在多个网络接口上同时配置默认网关，在活动默认网关出现故障导致切换默认网关时，就可能会引起连接性故障。比如活动默认网关为Internet连接，当它出现问题时，此时默认网关切换为内部

9、连接，此时，本地计算机将无法再访问位于Internet连接上的主机。对于这种情况，微软建议使用 route add 来添加对应目的网络的匹配路由，而不是设置多个默认网关，这其实就是最长匹配原则，精确路由优先于缺省路由。2对于下行设备是路由器的情况，其不会切换默认路由，只会按照配置好的缺省路由优先级进行流量转发，从而导致路由黑洞。结合上面两个原因，在网络出口路由器的下行设备上配置缺省路由的方法也不可行。综上所述，要想消除单点故障，又同时实现下行设备在故障发生时的流量无障碍转发，以上的三个方法均不可行，所以人们开发出了一种全新的协议：VRRP，这种协议无需下行设备与出口路由器进行交互性操作，却完全

10、实现了网络出口的冗余备份，下一节，我们就来详细讨论下VRRP的基本原理及实现过程。1.1.2 VRRP基本概念VRRP路由器：运行VRRP协议一个或多个实例的路由器虚拟路由器：由一个Master路由器和多个Backup路由器组成。其中，无论Master路由器还是Backup路由器都是一台VRRP路由器，下行设备将虚拟路由器当做默认网关。VRID：虚拟路由器标识，在同一个VRRP组内的路由器必须有相同的VRID，其实VRID就相当于一个公司的名称，每个员工介绍自己时都要包含公司名称，表明自己是公司的一员，同样的道理，VRID表明了这个路由器属于这个VRRP组。Master路由器：虚拟路由器中承担

11、流量转发任务的路由器Backup路由器：当一个虚拟路由器中的Master路由器出现故障时，能够代替Master路由器工作的路由器虚拟IP地址：虚拟路由器的IP地址，一个虚拟路由器可以拥有一个或多个虚拟IP地址。IP地址拥有者：接口IP和虚拟路由器IP地址相同的路由器就叫做IP地址拥有者。主IP地址：从物理接口设置的IP地址中选择，一个选择规则是总是选用第一个IP地址，VRRP通告报文总是用主IP地址作为该报文IP包头的源IP。虚拟MAC地址：组成方式是00-00-5E-00-01-VRID，前三个字节00-00-5E是IANA组织分配的，接下来的两个字节00-01是为VRRP协议指定的，最后的

12、VRID是虚拟路由器标识，取值范围1，2551.1.3 VRRP报文组成下面我们来看VRRP报文的具体组成：图三（VRRP报文格式，取自RFC3768）具体字段含义：Version：VRRP协议版本号，RFC3768定义了版本2.Type：该字段指明了VRRP报文的类型，RFC3768只定义了一种VRRP报文，那就是VRRP通告报文，所以该字段总是置为1，若收到的VRRP通告报文拥有非1的类型值，那么会被丢弃。Virtual Rtr ID：也就是我们上面介绍过的VRID，一个VRID唯一地标识了一个虚拟路由器，取值范围是1,255，所以一台路由器的接口可以同时运行最多255个VRRP实例，此字

13、段没有缺省值，必须人为设定。Priority：优先级，在一个虚拟路由器中用来选取Master路由器和Backup路由器，值越大表明优先级越高，此字段共有8个bit，取值范围1,254，若没有人为指定，缺省值是100。其中，VRRP协议会将IP地址拥有者路由器的该字段永远设置为255，若人为指定为其它值，也不会影响VRRP协议的默认行为，即IP地址拥有者路由器的该字段总是255。另外，此字段设置为0会出现在下面这种情形中，当Master路由器出现故障后，它会立刻发送一个Priority置0的VRRP通告报文，当Backup路由器收到此通告报文后，会等待Skew time时间，然后将自己切换为Ma

14、ster路由器，其中Skew time=(256-Backup路由器的优先级)/256，单位为秒，例如若Backup路由器的优先级为100，那么Skew time=156/256=0.609秒，对于主路由器来说，Skew time并没有实际意义，虽然cisco的路由器也会计算并显示出来。Count IP Addrs：VRRP通告报文中包含的IP地址数量，这个字段其实就是为一个VRRP虚拟路由器所分配的IP地址的数量，我们来看一个cisco的实际例子：配置如下：interface Ethernet1/0ip address 192.168.10.102 255.255.255.0duplex h

15、alfvrrp 1 ip 192.168.10.52vrrp 1 ip 192.168.10.51 secondaryvrrp 1 ip 192.168.10.53 secondaryend我们来看一下上面的配置在封装成VRRP通告报文的时候，是如何进行的，如下图：图四（VRRP报文的抓包分析）大家可以看到，VRRP通告报文中的Count IP Addrs字段的值为3，这是因为我们配置了3个虚拟IP地址，另外，下面的IP Address字段也按照我们配置虚拟IP的顺序进行了封装。Auth Type：认证类型字段，是一个8位的无符号整数，一个虚拟路由器只能使用一种认证类型，如果Backup路由器

16、收到的通告报文中认证类型字段是未知的或和本地配置的不匹配，那么它将丢弃该数据包。值得注意的是，在RFC2338中为VRRP定义了3种认证类型：无认证、明文认证、MD5认证，但是在后续的实践中发现，这些手段无法提供行之有效的安全性，并且还会导致多个Master路由器的问题，所以在最新的VRRP标准：RFC3768中已经去掉了所有的认证类型。目前认证类型字段的定义如下：0 无认证，此时下面的Authentication Data字段将会被置为全0，接收到的路由器也会忽略此字段。1 保留，是为了向前一个版本的RFC2338提供兼容性2 保留，是为了向前一个版本的RFC2338提供兼容性Adver I

17、nt:：此字段规定了Mater路由器向外发送VRRP通告报文的时间间隔，以秒为单位，取值范围是1,255，若没有人工配置，缺省为1秒。Checksum：整个VRRP报文的校验和，计算过程中，将Checksum字段置为0，计算完成后将结果填入此字段。若希望进一步了解Checksum的计算，可以查看RFC1071(CKSM)。IP Address：此字段存放3个VRRP虚拟路由器的虚拟IP地址，配置了几个就封装几个，在上面的cisco实例中我们配置了三个，那么VRRP通告报文就会封装3个。Authentication Data：RFC3768中规定，此字段只是为了向RFC2338兼容，在实际的封装

18、时，全置为0.，接收方也会忽略此字段。1.1.4 VRRP协议状态机对一个VRRP虚拟路由器来讲，参与它的每一台VRRP路由器，都只有3种VRRP状态：Initialize，Master，Backup，在讲述这三种状态时会碰到一些新的概念，我们会在第一次遇到时做详细解释。1初始状态（Initialize）这是配置好VRRP后，VRRP等待一个开始事件时的状态，当本地VRRP进程切换到此状态后，会依次执行下列操作：如果本地优先级为255，也就是说自己是IP拥有者路由器，那么接下来它会：1).发送VRRP通告报文2).广播免费ARP请求报文，内部封装是虚拟MAC和虚拟IP的对应，有几个虚拟IP地址

19、，那么就发送几个免费ARP请求报文。3).启动一个Adver_Timer计时器，初始值为Advertisement_Interval（缺省是1秒），当该计时器超时后，会发送下一个VRRP通告报文4).本地VRRP进程将自己切换为Master路由器如果，本地优先级不是255,，那么接下来它会：1).设置Master_Down_Timer计时器等于Master_Down_Interval，也就是主路由器死亡时间间隔，如果此计时器超时，那么Backup路由器就会宣布主路由器死亡。其中Master_Down_Interval = （3*Advertisement_Interval）+ Skew_tim

20、e举例来说，一个VRRP实例（也就是一个VRRP虚拟器）的优先级是100，报文发送间隔是1秒，那么Master_Down_Interval = 3*1s + （256-100）/256s = 3.609秒。2)本地VRRP进程将自己切换为Backup路由器2备份路由器状态（Backup）备份路由器是为了监控Master路由器的状态，如果一个VRRP路由器处于此状态，那么它会：1). 不响应对虚拟IP地址的ARP请求报文2). 丢弃帧头目的MAC地址是虚拟MAC的帧3）. 丢弃IP头中目的IP地址是虚拟IP的IP包如果此时该VRRP路由器收到了一个shutdown事件，那么它会：1）取消Mast

21、er_Down_Timer2）转换为初始状态（Initialize state）如果Master_Down_Timer超时，那么该VRRP路由器会执行：1）发送一个VRRP通告报文，2）广播免费ARP请求报文，内部封装是虚拟MAC和虚拟IP的对应，有几个虚拟IP地址，那么就发送几个免费ARP请求报文。3）设置Adver_Timer计时器为Advertisement_Interval（缺省为1秒）4）切换到Master状态如果该Backup状态的VRRP路由器收到了一个VRRP通告报文;当该VRRP通告报文的优先级字段为0时，那么路由器会将当前的Master_Down_Timer 设置为Skew

22、_Time；如果优先级不为0，并且大于或等于本地优先级，那么本地路由器会重置Master_Down_Timer计时器并保持Backup状态；如果优先级不为0，并且小于本地优先级，如果开启了抢占模式（Preempt mode），那么该Backup路由器等待指定的抢占延迟时间后将自己切换为Master路由器；并执行Master路由器的所有动作；例如：vrrp 1 preempt delay minimum 10，表示等待10秒后切换自己为Master；如果优先级不为0，并且小于本地优先级，如果没有开启抢占模式（Preempt mode），那么本地路由器保持Backup状态。3 Master路由器（

23、Master state）处于Master状态的路由器会执行目的MAC为虚拟MAC数据帧的转发，这里要清楚的是对于下行设备的arp表里，该虚拟MAC是和虚拟IP地址相对应的。当路由器处于Master状态时，会进行下面的动作：1）响应对虚拟IP地址的ARP请求2）转发目的MAC地址是虚拟MAC的数据帧3）拒绝目的IP地址是虚拟IP的数据包，除非它是IP地址拥有者（也就是优先级是255的那个路由器）。如果处于Master状态的VRRP进程收到了一个shutdown事件，那么它会：1）取消Adver_Timer计时器2）发送一个优先级字段置零的VRRP通告报文3）切换为初始状态（Intialize

24、state）如果Adver_Timer计时器超时，那么：1）发送一个VRRP通告报文2）重置Adver_Timer计时器如果收到了一个VRRP报文且其优先级为0，那么：1）发送一个VRRP通告报文2）重置Adver_Timer计时器如果收到了一个VRRP报文且其优先级高于本地优先级，或者收到的VRRP报文优先级等于本地优先级但是主IP地址高于本地的主IP地址，那么：1）取消Adver_Timer计时器2）设置Master_Down_Timer计时器为Master_Down_Interval3）切换为Backup状态1.1.5 VRRP通告报文的发送与接收处理流程当收到一个VRRP通告报文时，执

25、行以下操作：1检查IP包头的TTL是否为2552检查VRRP报文的version字段是否为23检查VRRP报文的完整性，即是否包含RFC所定义的各字段4检查checksum字段5检查VRID字段是否和本地配置的VRID一致6确保本地路由器不是IP地址拥有者，即优先级不是255（如果自己是IP地址拥有者，那么自己永远都是Master路由器，所以丢弃任何收到的VRRP通告报文）7检查认证类型和认证数据字段，确保和本地一致如果上面的七项检查有一项不通过，那么就会丢弃该报文，如果配置了网管程序，就会自动记录log并报告错误。如果以上检查通过，那么可能会检查VRRP通告报文中的Count IP Addr

26、s字段和IP地址字段，确保核本地一致，如果检查结果不一致并且该报文不是由IP地址拥有者产生的，那么丢弃该报文。注意：这里用了可能，所以各厂家在实现VRRP时，可能会检查也可能不会检查该字段，Cisco就不会检查。如果以上检查均通过，那么接下来会查看Advertisement_Interval是否和本地一致，若不一致，会丢弃该报文。如果配置了网管程序，就会自动记录log并报告错误。发送一个VRRP报文的时候，需要执行下列动作：1将当前手动或默认的VRRP配置封装进报文的相关字段2计算VRRP校验和，将结果放入checksum字段3设置帧的源MAC地址为虚拟MAC地址（这样就确保了下联交换机可以建

27、立正确的MAC表，即实际端口和虚拟MAC的对应关系，这个对应关系会因为Master路由器的切换而发生变化，所以这个处理对于上行数据帧的正确转发至关重要）4设置IP包头的源IP地址为该物理接口的主IP地址5设置IP头中的protocol字段为0x70，也就是十进制的112，表示上层封住协议是VRRP6将封装好的VRRP通告报文发送出去，目标IP为组播地址224.0.0.18，目的MAC地址为组播MAC ：01:00:5e:00:00:121.1.6 VRRP的两种应用需求：冗余备份、负载均衡1我们来看一个具体冗余备份的图例：图五（VRRP为下行设备提供冗余备份功能）上图的实例中我们定义了一个虚拟

28、路由器，标识为1（即VRID=1）；其虚拟IP设置为IP A，是Router1的接口IP，所以Router1就是一个IP地址拥有者，系统会将其优先级设置为255，并作为VRID1的Master路由器，而Router2的优先级默认为100，Router2的VRRP实例VRID1将自己设置为Backup路由器；下行的各主机将网关设置为VRID1虚拟路由器的虚拟IP，即IP A。通过以上设置，即可消除出口路由器的单点故障，假如此时Router1挂掉，那么Router2的VRRP进程经过 Master_Down_Interval = （3*Advertisement_Interval）+ Skew_t

29、ime，时间之后，就会宣布Master挂掉，将自己设置为Master路由器，并广播免费ARP请求报文，这样下行交换机就能更新虚拟MAC到与Router2接口的对应表项，从而实现不间断转发用户的流量。但是，实际情况中我们很少这么设置VRRP，因为始终是一台路由器在承担所有流量，不符合物尽其用的原则。2 我们来看一个冗余备份和负担均衡相结合的图例：图六（VRRP同时实现冗余备份和负载均衡）上图中的VRID1的设置和图五一样；VRID2的设置将Router2作为Master路由器，Router1作为Backup路由器，然后将一半下行主机的网关设置为VRID1的虚拟IP，即IP A，将另一半主机的网关

30、设置为VRID2的虚拟IP，即IP B。这样，在两台设备都正常运行的情况下，终端流量一半走Router1，一半走Router2，实现了负载均衡；而当其中一台路由器挂掉时，依靠VRRP的功能，会将另一台路由器设置为Master路由器，继续流量转发，从而实现了冗余备份功能，此时，这台路由器会同时作为VRID1和VRID2的Master路由器。好了，以上就是关于VRRP全部的协议实现细节，下面我们来看一下VRRP的应用需求。所以说我们要避免出现这种情况，本着冗余备份的思想，我们对上面的网络进行物理改造，如下图：在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它

31、们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：在主机上使用动态路由协议(RIP、OSPF等)在主机上配置静态路由很明显，在主机上配置动态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。1 VRRP 工作机制在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。 VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知