负载高可用lvs+keepalived.docx

1、负载高可用lvs+keepalived企业级WEB的负载均衡高可用之LVS+Keepalived(1)企业级WEB的负载均衡高可用一直以来都是让运维人员比较头疼的一个问题，下面我们就来介绍一种通过LVS+Keepalived来解决这类问题的方法。如果四台机器均置于IDC机房，前端无防火墙时，这种情况好处理，只需要向你的IDC申请5个公网IP即可，多余的一个公网ip用于VIP；如果是上述网络拓扑，后面四台机器均用内网；此时只需要前面的Juniper将内网VIP映射成公网IP即可，注：非映射80和443端口，感谢田逸兄提供的技术性指导意见；lvs就比较依赖于网络环境，可以用苛求来形容；要做好LVS

2、管理员，确实得跟进学习很多有关网络通信方面的知识，就不再是一个HTTP那么简单了；相对而言，nginx对网络的依赖较小，理论上只要ping得通，网页访问正常，nginx就能连得通。本来我想将公司的web环境生级成LVS+Keepalived架构，却发现lvs怎么都不能转发；结果查了下机器的route情况，发现每台机器都有十几条静态路由，二个网关，而Network engineer也说明了网络环境不可能更改，只能由系统环境牵就网络环境；最后只能将LVS+Keepalvied更改为Nginx+Keepalived架构，甚是遗憾。这里首先说下LVS/DR的网络拓扑情况，如果均置于电信IDC机房，用5

3、个外网IP的话，整个网络拓扑清晰明了，实施起来也非常方便；但如果是置于Juniper防火墙后，情况就有点小复杂了，这时仍可用内网IP，只要将内网的VIP通过Juniper防火墙转换成一个公网IP即可，注：此时不要做80端口的映射，在这里感谢田逸兄的指导性意见。服务器故障：(服务器故障包括：服务器宕机、web服务终止、网线松动等等)当lvs-master故障时，无法再接受用户请求并将请求转发给真实的web服务器(即便真实web服务器正常)从而导致整个web服务的瘫痪，也就是lvs控制器存在单点故障问题。当lvs-master正常时，真实地web服务器如web1-realserver故障。此时lv

4、s-master并不知道真实服务器是否在正常提供web服务，所以仍然在向故障的web1-realserver转发用户请求。这样的结果是用户请求无法被故障web服务器相应，某些用户可以访问网站有些则无法访问。基于以上的问题，我们需要想办法实现对lvs控制器和web服务器的健康监测,一旦服务出现问题能保证服务不中断的情况下排除故障。即增加lvs控制器实现主备模式避免单点故障以及自动删除故障web服务结点并当它恢复后再自动添加到群集中这样的功能，这就是LVS+keepalived能实现的功能。整个系统的拓扑如下：实施步骤：在realserver主机上实行脚本realserver,为lo:0绑定VIP

5、地址192.168.5.188，这步分别在二个web主机上192.168.5.104、192.168.5.105实施。这步提前做，是因为以后的过程中这一步是不会发生更改的。1. #vim/usr/local/sbin/realserver 2. #!/bin/bash 3. SNS_VIP=192.168.5.188 4. ./etc/rc.d/init.d/functions 5. case$1in 6. start) 7. ifconfiglo:0$SNS_VIPnetmask255.255.255.255broadcast$SNS_VIP 8. /sbin/routeadd-host$S

6、NS_VIPdevlo:0 9. echo1/proc/sys/net/ipv4/conf/lo/arp_ignore 10. echo2/proc/sys/net/ipv4/conf/lo/arp_announce 11. echo1/proc/sys/net/ipv4/conf/all/arp_ignore 12. echo2/proc/sys/net/ipv4/conf/all/arp_announce 13. sysctl-p/dev/null2&1 14. echoRealServerStartOK 15. ; 16. stop) 17. ifconfiglo:0down 18. r

7、outedel$SNS_VIP/dev/null2&1 19. echo0/proc/sys/net/ipv4/conf/lo/arp_ignore 20. echo0/proc/sys/net/ipv4/conf/lo/arp_announce 21. echo0/proc/sys/net/ipv4/conf/all/arp_ignore 22. echo0/proc/sys/net/ipv4/conf/all/arp_announce 23. echoRealServerStoped 24. ; 25. *) 26. echoUsage:$0start|stop 27. exit1 28.

8、 esac 29. exit0简单说明下上述脚本的作用：1)vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip;2)vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突;3)echo这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称：“嗨！我是奥巴马，我在这里呢！”，这样就乱套了。为二台lvs主机安装

9、lvs+keepalived软件。安装lvs软件是必须做的，因为keepalived是运行在lvs之上的，因此lvs及keepalived必须装在一个系统里面。过程如下：1. #mkdir/usr/local/src/lvs 2. #cd/usr/local/src/lvs 3. #wgethttp:/www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz 4. #ln-s/usr/src/kernels/2.6.18-53.el5PAE-i686/usr/src/linux 5. #tarzxvfipvsadm-1

10、.24.tar.gz 6. #cdipvsadm-1.24 7. #make 8. #makeinstall编辑keepalived.conf文件，直接用keepalived实现负载均衡及高可用性。a)Keepalved的安装1. a)Keepalved的安装 2. #wgethttp:/www.keepalived.org/software/keepalived-1.1.15.tar.gz 3. #tarzxvfkeepalived-1.1.15.tar.gz 4. #cdkeepalived-1.1.15 5. #./configure 6. #make 7. #makeinstall将k

11、eepalived做成启动脚务，方便管理:1. #cp/usr/local/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/ 2. #cp/usr/local/etc/sysconfig/keepalived/etc/sysconfig/ 3. #mkdir/etc/keepalived 4. #cp/usr/local/etc/keepalived/keepalived.conf/etc/keepalived/ 5. #cp/usr/local/sbin/keepalived/usr/sbin/ 6. #servicekeepalivedstart|st

12、opb)Keealived的配置分别在主从负载均衡服务器上配置keepalived.conf ，内容分别如下:1. !ConfigurationFileforkeepalived 2. global_defs 3. notification_email 4. yuhongchun027 5. 6. notification_email_fromsns-lvs 7. smtp_server127.0.0.1 8. router_idLVS_DEVEL 9. 10. vrrp_instanceVI_1 11. stateMASTER 12. interfaceeth0 13. virtual_ro

13、uter_id51 14. priority100 15. advert_int1 16. authentication 17. auth_typePASS 18. auth_pass1111 19. 20. virtual_ipaddress 21. 192.168.5.188 22. 23. 24. virtual_server192.168.5.18880 25. delay_loop6 26. lb_algowrr 27. lb_kindDR 28. persistence_timeout60 29. protocolTCP 30. real_server192.168.5.10480

14、 31. weight3 32. TCP_CHECK 33. connect_timeout10 34. nb_get_retry3 35. delay_before_retry3 36. connect_port80 37. 38. 39. real_server192.168.5.10580 40. weight3 41. TCP_CHECK 42. connect_timeout10 43. nb_get_retry3 44. delay_before_retry3 45. connect_port80 46. 47. 48. 1. !ConfigurationFileforkeepal

15、ived 2. global_defs 3. notification_email 4. yuhongchun027 5. 6. notification_email_fromsns-lvs 7. smtp_server127.0.0.1 8. router_idLVS_DEVEL 9. 10. vrrp_instanceVI_1 11. stateBACKUP 12. interfaceeth0 13. virtual_router_id51 14. priority99 15. advert_int1 16. authentication 17. auth_typePASS 18. aut

16、h_pass1111 19. 20. virtual_ipaddress 21. 192.168.5.188 22. 23. 24. virtual_server192.168.5.18880 25. delay_loop6 26. lb_algowrr 27. lb_kindDR 28. persistence_timeout60 29. protocolTCP 30. real_server192.168.5.10480 31. weight3 32. TCP_CHECK 33. connect_timeout10 34. nb_get_retry3 35. delay_before_re

17、try3 36. connect_port80 37. 38. 39. real_server192.168.5.10580 40. weight3 41. TCP_CHECK 42. connect_timeout10 43. nb_get_retry3 44. delay_before_retry3 45. connect_port80 46. 47. 48. 分别在二台lvs机上启动servcie keepalived start就可实现负载均衡及高可用集群；keepalived.conf内容说明如下:全局定义块1、email通知。作用：有故障，发邮件报警。2、Lvs负载均衡器标识（lv

18、s_id）。在一个网络内，它应该是唯一的。3、花括号“”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。VRRP定义块1、同步vrrp组vrrp_sync_group。作用：确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪些？2、实例组group。至少包含一个vrrp实例。3、Vrrp实例vrrp_instance。实例名出自实例组group所包含的那些名字。(1)实例状态sta

19、te。只有MASTER和BACKUP两种状态，并且需要大写这些单词。其中MASTER为工作状态，BACKUP为备用状态。当MASTER所在的服务器失效时，BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER；当失效的MASTER所在的系统恢复时，BACKUP从MASTER恢复到BACKUP状态。(2)通信接口interface。对外提供服务的网络接口，如eth0,eth1.当前主流的服务器都有2个或2个以上的接口，在选择服务接口时，一定要核实清楚。(3)lvs_sync_daemon_inteface。负载均衡器之间的监控接口，类似于HA HeartBeat的心跳线。但它的机

20、制优于Heartbeat，因为它没有“裂脑”这个问题，它是以优先级这个机制来规避这个麻烦的。在DR模式中，lvs_sync_daemon_inteface 与服务接口interface 使用同一个网络接口。(4)虚拟路由标识virtual_router_id。这个标识是一个数字，并且同一个vrrp实例使用唯一的标识。即同一个vrrp_stance，MASTER和BACKUP的virtual_router_id是一致的，同时在整个vrrp内是唯一的。(5)优先级priority。这是一个数字，数值愈大，优先级越高。在同一个vrrp_instance里，MASTER 的优先级高于BACKUP。若M

21、ASTER的priority值为150，那么BACKUP的priority只能是140或更小的数值。(6)同步通知间隔advert_int。MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位为秒。(7)验证authentication。包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题。验证密码为明文，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。4、 虚拟ip地址virtual_ipaddress。可以有多个地址，每个地址占一行，不需要指定子网掩码。注意：这个ip必须与我们在lvs客户端设定的vip相一

22、致！虚拟服务器virtual_server定义块虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。1、虚拟服务器virtual_server。这个ip来自于vrrp定义块的第“4”步，后面一个空格，然后加上端口号。定义一个vip，可以实现多个tcp端口的负载均衡功能。(1)delay_loop。健康检查时间间隔，单位是秒。(2)lb_algo。负载均衡调度算法，互联网应用常使用wlc或rr。(3)lb_kind。负载均衡转发规则。一般包括DR、NAT、TUN3种，在我的方案中，都使用DR的方式。(4)persistence_timeout。

23、会话保持时间，单位是秒。这个选项对动态网站很有用处：当用户从远程用帐号进行登陆网站时，有了这个会话保持功能，就能把用户的请求转发给同一个应用服务器。在这里，我们来做一个假设，假定现在有一个lvs 环境，使用DR转发模式，真实服务器有3个，负载均衡器不启用会话保持功能。当用户第一次访问的时候，他的访问请求被负载均衡器转给某个真实服务器，这样他看到一个登陆页面，第一次访问完毕；接着他在登陆框填写用户名和密码，然后提交；这时候，问题就可能出现了-登陆不能成功。因为没有会话保持，负载均衡器可能会把第2次的请求转发到其他的服务器。(5)转发协议protocol。一般有tcp和udp两种。实话说，我还没尝

24、试过udp协议类的转发。2、真实服务器real_server，也即服务器池。Real_server的值包括ip地址和端口号，多个连续的真实ip。(1)权重weight，权重值是一个数字，数值越大，权重越高。使用不同的权重值的目的在于为不同性能的机器分配不同的负载，性能较好的机器，负载分担大些；反之，性能差的机器，则分担较少的负载，这样就可以合理的利用不同性能的机器资源。(2)Tcp检查tcp_check。附注：以上就是lvs+keepalived的基本配置步骤，有兴趣的同学建议可做下lvs的1+2的基本架构实验，即不需要keepalived，采用单lvs的方式，其lvs_dr脚本如下1. #v

25、im/usr/local/sbin/lvs-dr.sh 2. #!/bin/bash 3. #websitedirectorvip. 4. SNS_VIP=192.168.1.188 5. SNS_RIP1=192.168.1.104 6. SNS_RIP2=192.168.1.105 7. ./etc/rc.d/init.d/functions 8. logger$0calledwith$1 9. case$1in 10. start) 11. #setsquidvip 12. /sbin/ipvsadm-set30560 13. /sbin/ifconfigeth0:0$SNS_VIPbr

26、oadcast$SNS_VIPnetmask255.255.255.255broadcast$SNS_VIPup 14. /sbin/routeadd-host$SNS_VIPdeveth0:0 15. /sbin/ipvsadm-A-t$SNS_VIP:80-swrr-p3 16. /sbin/ipvsadm-a-t$SNS_VIP:80-r$SNS_RIP1:80-g-w1 17. /sbin/ipvsadm-a-t$SNS_VIP:80-r$SNS_RIP2:80-g-w1 18. touch/var/lock/subsys/ipvsadm/dev/null2&1 19. ; 20. stop) 21. /sbin/ipvsadm-C 22. /sbin/ipvsadm-Z 23. ifconfigeth0:0down 24. routedel$SNS_VIP 25. rm-rf/var/lock/subsys/ipvsadm/dev/null2&1 26.