LVS+Heartbeat实施案例及经验分享

NetSeek

LVS+Heartbeat实施案例及经验分享

作者:NetSeek http://www.linuxtone.org(IT运维专家网|集群架构|性能调优)
欢迎转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明.

一.基本介绍

背景描述
某大型商业网站由于业务量的发展非常迅速，目前的网站架构根本无法缓解用户访问压力及单点故障。急需一套高可用的负载均衡集群解决方案,http://www.linuxTone.org(IT运维专家网)根据这家商业网站在的状况，部署了一套负载均衡及高可用的集群方案及相关优化，项目实施以后该商业网站得WEB压力得到了很好的解决，访问速度大幅度提升.以下是相关配置文档，拿出来与朋友们分享希望对更多想了解LVS/HA的朋友有帮助。

本文特色
1．介绍LVS+Heartbeat两种案装方法
2.采用heartbeat 2.x style的配置(使用cib.xml)
3.测试日志分析及相关技巧
4.两个在真实案例中的经验分享

二．网络拓朴图及相关描述


1.主机名:(/etc/hosts)

1. 192.168.1.102primarylb.linuxtone.org
   
2. 192.168.1.103backuplb.linuxtone.org

复制代码

2.
   VIP[eth0:0] 192.168.1.106
   Realserver1 192.168.1.104
   Realserver2 192.168.1.105
3.Heartbeat心跳线
a)使用一根串口直连线缆（serial null modem cable）Heartbeat
b)eth1:10.0.0.110.0.0.2 (交叉线直连Heartbeat)

三．安装Heartbeat[yum安装，编译安装]
1．通过Yum安装Heartbeat

1. #yuminstall heartbeat-*
   
2. //安装HA
   
3. #yuminstall heartbeat-ldirectord
   
4. //安装ldirectord实现LVS的高可用性
   
5. # rpm-qa|grep heartbeat

复制代码

//查看安装相关的包

1. heartbeat-stonith-2.1.3-3.el5.centos
   
2. heartbeat-devel-2.1.3-3.el5.centos
   
3. heartbeat-pils-2.1.3-3.el5.centos
   
4. heartbeat-2.1.3-3.el5.centos
   
5. heartbeat-ldirectord-2.1.3-3.el5.centos
   
6. heartbeat-gui-2.1.3-3.el5.centos

复制代码

#rpm -q heartbeat ?d
//查看Heartbeat相关doc目录
将相关配置文件拷贝到/etc/ha.d目录下

1. # cp /usr/share/doc/heartbeat-2.1.3/ha.cf/etc/ha.d/
   
2. # cp /usr/share/doc/heartbeat-2.1.3/authkeys/etc/ha.d/
   
3. # cp /usr/share/doc/heartbeat-2.1.3/haresources/etc/ha.d

复制代码

2. 编译安装Heartbeat
下载相关软件包:
http://linux-ha.org/DownloadSoftware
http://www.packetfactory.net/libnet/dist/libnet.tar.gz
编译安装

1. #tar-xvzf libnet.tar.gz
   
2. #cdlibnet
   
3. #./configure
   
4. #make;makeinstall
   
5. 
   
6. #groupadd-g 694 haclient
   
7. #useradd-u 694 -g haclient hacluster
   
8. 
   
9. # tar-xvzf heartbeat-2.1.3.tar.gz
   
10. # cdheartbeat-2.1.3
    
11. #./ConfigureMe configure
    
12. #make;make install
    
13. 
    
14. #cpdoc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
    
15. #cpldirectord/ldirectord.cf /etc/ha.d/

复制代码

【注意】
heartbeat软件包在RHEL或者CentOS安装盘中都能找到。所需软件包：heartbeat、libnet、net-snmp、net-snmp-libs、perl-Compress-Zlib、perl- HTML-Parser、perl-HTML-Tagset、perl-libwww-perl、perl-Mailinuxtoneools、perl- TimeDate、perl-URI、ipvsadm.以上软件包，有的在rhel5光盘中，有的要在网上搜索的。


四. 配置Heartbeat实现服务高可用性.
1.分别配置两台HA的主机名.
#vi /etc/hosts

1. 192.168.1.102primarylb.linuxtone.org
   
2. 192.168.1.103backuplb.linuxtone.org

复制代码

2.
/etc/ha.d/ha.cf 配置介绍
#cd /etc/ha.d
#cat ha.cf|grep -v ^#

1. logfile/var/log/ha-log
   
2. logfacility
   
3. local0
   
4. keepalive2
   
5. deadtime30
   
6. warntime10
   
7. initdead120
   
8. udpport694
   
9. baud
   
10. 19200
    
11. serial
    
12. /dev/ttyS0
    
13. # Linux
    
14. #ucasteth2 10.0.0.3
    
15. ucasteth0 192.168.1.103
    
16. auto_failbackon
    
17. watchdog/dev/watchdog
    
18. crm on
    
19. nodeprimarylb.linuxtone.org
    
20. nodebackuplb.linuxtone.org
    
21. ping192.168.1.103
    
22. ping_grouplbgroup 10.0.0.1 10.0.0.2
    
23. ping_grouplbgroup 192.168.1.102 192.168.1.103
    
24. respawnhacluster /usr/lib/heartbeat/ipfail
    
25. apiauthipfail gid=haclient uid=hacluster

复制代码

3./etc/ha.d/authkeys
#vi authkeys

1. auth 1
   
2. 1 sha1Hey!

复制代码

#chmod 600 authkeys

4./etc/ha.d/haresources
# cat haresources |grep -v"#"

1. primarylb.linuxtone.org lvsldirectord

复制代码

5.建立软连接让HA自动接管lvs-dr.sh,ldirectord等资源.

1. #ln -s /etc/init.d/lvs  /etc/ha.d/resource.d/  //etc/init.d/lvs 存放LVS启动相关脚本
   
2. #ln -s /usr/sbin/ldirectord  /etc/ha.d/resource.d

复制代码

6．采用Heartbeat2.x style,利用crm 来管理资源.

1. #/usr/lib/heartbeat/haresources2cib.py  -stout -c /etc/ha.d/ha.cf/etc/ha.d/haresources

复制代码

将生成的cib.xml文件在/var/lib/heartbeat/crm目录
【注意】
关于crm（ClusterResource Manager）：crm资源配置方法是在新的版本中引入的，如果想使用该格式来配置资源（ip，服务，共享磁盘等），可以参看配置示例：http://www.linux-ha.org/v2/Examples/Simple 。
/var/lib/heartbeat/crm/cib.xml 文件的作用与/etc/ha.d/haresources相同，是二者择一的关系。
# cat/dev/null > haresources
//把haresources清空，采用crm来管理资源

7. /etc/ha.d/ldirectord.cf 配置

1. # GlobalDirectives
   
2. checktimeout=3
   
3. checkinterval=1
   
4. fallback=127.0.0.1:80
   
5. autoreload=yes
   
6. logfile="/var/log/ldirectord.log"
   
7. #logfile="local0"
   
8. emailalert="cnseek@gmail.com"
   
9. emailalertfreq=3600
   
10. emailalertstatus=all
    
11. quiescent=no
    
12. 
    
13. # Samplefor an http virtual service
    
14. virtual=192.168.1.106:80
    
15. 
    
16. real=192.168.1.104:80 gate
    
17. 
    
18. real=192.168.1.105:80 gate
    
19. 
    
20. 
    
21. #fallback=127.0.0.1:80gate
    
22. 
    
23. #service=http
    
24. 
    
25. #request="index.html"
    
26. 
    
27. #receive="Test Page"
    
28. 
    
29. #virtualhost=some.domain.com.au
    
30. 
    
31. scheduler=wrr
    
32. 
    
33. persistent=5
    
34. 
    
35. #netmask=255.255.255.255
    
36. 
    
37. protocol=tcp
    
38. 
    
39. 
    
40. checktype=connect
    
41. 
    
42. 
    
43. checkport=80
    
44. 
    
45. 
    
46. #request="index.html"
    
47. 
    
48. 
    
49. #receive="TestPage"
    
50. 
    
51. 
    
52. #virtualhost=www.x.y.z

复制代码

【注意】
Ldirectord的作用是监测Real Server，当RealServer失效时，把它从Load Balancer列表中删除，恢复时重新添加，在安装heartbeat时已经安装了Ldirectord.配置中quiescent=no设置
实现如果Realserver机器down掉以后，立即从IPVS列表中删除，恢复时重新添加.

8.启动Heartbeat服务
# /etc/init.d/heartbeat start

五．测试Heartbeat及日志分析
1.
测试串口线配置是否正常
串行连接通过两个节点的串口，使用一根直连线缆将它们连接起来。现在测试串行连接，如下所示：在 primarylb（接收者）上输入以下内容：
cat < /dev/ttyS0
在backuplb（发送者）上输入以下内容：
echo "Serial Connection test!Welcome http://www.linuxtone.org !"> /dev/ttyS0

2. 如果主节点需要维护时，可先将其转移到备份服务器上
/usr/lib/heartbeat/hb_standby(hb_standby命令把资源强迫到迁移到备份服务器)
如果主节点要切回来掌管服务：
/usr/lib/heartbeat/hb_takeover

3. 拔掉网线，测试在primary节点的网络断开后的切换情况
4. 停掉primary的heartbeat(/etc/init.d/heartbeat stop) 查看backup是否能正常接管资源
5. shutdown primary主机，测试是否能够正常切换，基本上和上面测试2差不多。
【注意】

# tail -f /var/log/messages
//在两台负载均衡服务器上注意查看日志变化来排错。

六. 相关注意事项及参考


1.项目实施过程遇到的问题及总结.【经验分享】
【以下是项目中遇到的两个问题，提出方便对你有帮助】

a)
假如两台VS之间使用的互备关系，那么当一台VS接管LVS服务时，可能会网络不通，这时因为路由器的MAC缓存表里无法及时刷新MAC.关于vip这个地址的MAC地址还是替换的VS的MAC，有两种解决方法，一种是修改新VS的MAC地址，另一种是使用send_arp /arpiing命令.
以arping命令为例.

1. /sbin/arping -I eth0 -c 3 -s ${vip}${gateway_ip} > /dev/null 2>&1
   
2. 例如:

复制代码

1. /sbin/arping -I eth0 -c 3 -s 192.168.1.6192.168.1.1

复制代码

b)某台Realserver服务down掉以后如何从IPVS列表自动中删除恢复时如何自动添加？配置ldirectord.conf
quiescent=no或 echo 1 >/proc/sys/net/ipv4/vs/expire_nodest_conn

2．ha.cf相关注释
auto_failback设置为on时，一旦主节点重新恢复联机，将从从节点取回所有资源。
Stonith设备是一种能够自动关闭电源来响应软件命令的设备
Watchdog在实现上可以是硬件电路也可以是软件定时器，能够在系统出现故障时自动重新启动系统。

3．lvs状态查看
操作步骤详细到命令行级别
查看LVS的连接情况:ipvsadm -L -n
查看LVS的吞吐量情况: ipvsadm -L -n --rate
查看LVS的统计信息:ipvsadm -L -n --stats
实时查看LVS连接状态变化: watch ipvsadm ?ln


4. 附上LVS（DR）脚本

1. #!/bin/bash
   
2. #description: start LVS of DirectorServer
   
3. #Writtenby :NetSeek http://www.linuxtone.org
   
4. GW=192.168.1.1
   
5. 
   
6. 
   
7. # websitedirector vip.
   
8. WEB_VIP=192.168.1.106
   
9. 
   
10. WEB_RIP1=192.168.1.104
    
11. WEB_RIP2=192.168.1.105
    
12. 
    
13. 
    
14. 
    
15. ./etc/rc.d/init.d/functions
    
16. 
    
17. 
    
18. logger $0called with $1
    
19. 
    
20. 
    
21. case"$1" in
    
22. 
    
23. 
    
24. start)
    
25. 
    
26. # Clear all iptables rules.
    
27. 
    
28. 
    
29. /sbin/iptables-F
    
30. 
    
31. # Reset iptables counters.
    
32. 
    
33. 
    
34. 
    
35. /sbin/iptables -Z
    
36. 
    
37. 
    
38. #Clear all ipvsadm rules/services.
    
39. 
    
40. 
    
41. /sbin/ipvsadm-C
    
42. 
    
43. 
    
44. 
    
45. #set lvs vip for dr
    
46. 
    
47. /sbin/ipvsadm --set 30 5 60
    
48. 
    
49. /sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up
    
50. 
    
51. 
    
52. /sbin/route add -host $WEB_VIP dev eth0:0
    
53. 
    
54. /sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr-p 3
    
55. 
    
56. /sbin/ipvsadm -a -t $WEB_VIP:80 -r$WEB_RIP1:80 -g -w 1
    
57. 
    
58. /sbin/ipvsadm -a -t $WEB_VIP:80 -r$WEB_RIP2:80 -g -w 1
    
59. 
    
60. touch /var/lock/subsys/ipvsadm>/dev/null 2>&1
    
61. 
    
62. 
    
63. 
    
64. # set Arp
    
65. 
    
66. /sbin/arping -I eth0 -c 5 -s $WEB_VIP$GW >/dev/null 2>&1
    
67. 
    
68. ;;
    
69. stop)
    
70. 
    
71. /sbin/ipvsadm -C
    
72. 
    
73. /sbin/ipvsadm -Z
    
74. 
    
75. ifconfig eth0:0 down
    
76. 
    
77. route del $WEB_VIP
    
78. >/dev/null 2>&1
    
79. 
    
80. rm -rf /var/lock/subsys/ipvsadm>/dev/null 2>&1
    
81. 
    
82. /sbin/arping -I eth0 -c 5 -s $WEB_VIP$GW
    
83. 
    
84. echo "ipvsadm stoped"
    
85. 
    
86. ;;
    
87. 
    
88. 
    
89. status)
    
90. 
    
91. 
    
92. 
    
93. if [ ! -e /var/lock/subsys/ipvsadm];then
    
94. 
    
95. echo "ipvsadm isstoped"
    
96. 
    
97. 
    
98. exit 1
    
99. 
    
100. else
     
101. 
     
102. ipvsadm -ln
     
103. 
     
104. echo "..........ipvsadm isOK."
     
105. 
     
106. fi
     
107. 
     
108. ;;
     
109. 
     
110. 
     
111. *)
     
112. 
     
113. echo "Usage: $0{start|stop|status}"
     
114. 
     
115. exit 1
     
116. esac
     
117. 
     
118. 
     
119. exit 0

复制代码

5. 关于ldirectord.cf文件详解:http://bbs.linuxtone.org/thread-1388-1-1.html

LVS高可用性方案汇总: http://bbs.linuxtone.org/thread-1402-1-1.html[推荐]

LVS负载均衡资料汇总: http://bbs.linuxtone.org/thread-1191-1-1.html[推荐]

更多的资料请参考: http://bbs.linuxtone.org/forum-26-1.html

6. 联系我们[如果你遇到问题欢迎联系我们]：

IT运维专家网 http://www.linuxtone.orgMail: cnseek@gmail.com


本文PDF下载:
本文相关脚本下载:  

gyl4802959

顶^.^^.^

tomlinux

顶呱呱^.^ ^.^～～～
问下。heartbeat和keepalive在两都区别在哪？优缺点在哪？

守住每一天

好文章先顶下。学习了。

heizi21

留下我的脚印吧

绕指柔

very good !

tree

顶一下,现在的heartbeat比1X的时候安装上方便多啦

可爱的卧底

192.168.1.102primarylb.linuxtone.org
192.168.1.103backuplb.linuxtone.org
我比较郁闷，为什么是给公网IP写hosts文件而不是给那两个直连的IP写hosts文件哪？

可爱的卧底

/etc/ha.d/ha.cf 配置介绍
#cd /etc/ha.d
站长帮忙重新编辑一下那一段吧，好多该有空格的位置都没有。
而且从“#ucasteth2 10.0.0.3
ucasteth0 192.168.1.103
”开始，我在ha.cf里根本找不到“ucaste”或任何相关注释啊。

NetSeek

9# 可爱的卧底


请注意！已经提供了脚本，请参照脚配配置，或者默认的配置文件做修改！

可爱的卧底

不好意思，我还看不太懂脚本。想请教您关于ha.cf文件的问题。
在您的另一个《用heartbeat配置linux高可用性集群》里面，有很多关于ha.cf的参数介绍，我看了这些参数介绍对您的配置文件有些不理解的地方。
1。 ttyS0
“serial /dev/ttyS0
    使用串口heartbeat－如果不使用串口heartbeat，则必须使用其他的介质，如bcast（以太网）heartbeat。用适当的设备文件代替/dev/ttyS0。”
但在您的配置文件里仍然用的“serial /dev/ttyS0”，这个帖子里不涉及到串口通讯吧，您有时间解释下ttyS0吗？


2。ucasteth0 192.168.1.103
这个应该是ucast eth0 192.168.1.103吧？在您的那个帖子里我看到的配置文件是 “bcast eth1
    表示在eth1接口上使用广播heartbeat（将eth1替换为eth0，eth2，或者您使用的任何接口）。”
ucast/bcast等方式分别是什么意思哪？bcast eth1后面要不要+IP哪？

NetSeek

已经说的很清楚，配置文件下载附件里已经提供下载，上面排版问题正常！请下载附件和PDF文件查看。
相关参数解释<<用heartbeat配置linux高可用性集群>>已经讲的很清楚，请仔细多看文章吧。

可爱的卧底

6．采用Heartbeat 2.x style,利用crm 来管理资源.
#/usr/lib/heartbeat/haresources2cib.py -stout -c /etc/ha.d/ha.cf /etc/ha.d/haresources
将生成的cib.xml文件在/var/lib/heartbeat/crm 目录

我不知道这个提示是否会对安装过程产生不利的影响：

[root@localhost resource.d]# /usr/lib/heartbeat/haresources2cib.py
lvs is an unknown Resource Agent. Please refer to http://www.linux-ha.org/ResourceAgent
cib.xml or cib.xml.sig exist in /var/lib/heartbeat/crm/

可爱的卧底

启动服务五分钟内必然重启服务器：
[root@backuplb ~]# /opt/nginx/sbin/nginx
[root@backuplb ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn
[root@backuplb ~]#
Message from syslogd@ at Fri Jan 23 14:38:24 2009 ...
backuplb heartbeat: [2595]: EMERG: Rebooting system.  Reason: /usr/lib/heartbeat/crmd
Last login: Fri Jan 23 14:34:59 2009 from mylenovo.wenhe.cn

可爱的卧底

logfacility        local0
auto_failback on
翻来覆去发现我的配置文件的后面有两行没加#号，也就是说比正常的配置文件多这两行。但我将楼主提供的配置文件添加上这两行参数后又没有发现出现自动重启的情况，郁闷至极了……