LVS基本概念及要诀(优化)

NetSeek

作者：NetSeek http://www.linuxtone.org
一、基本术语:
Load Balancer(负载均衡器)：
Load Balancer是整个集群系统的前端，负责把客户请求转发到Real Server上。
Backup是备份Load Balancer，当Load Balancer不可用时接替它，成为实际的Load Balancer。
Load Balancer通过Ldirectord监测各Real Server的健康状况。在Real Server不可用时把它从群中剔除，恢复时重新加入。
Server Array(服务器群)：
Server Array是一组运行实际应用服务的机器，比如WEB, Mail, FTP, DNS, Media等等。在实际应用中，Load Balancer和Backup也可以兼任Real Server的角色。以下的测试就是一台服务器既担任了LVSserver,同时也是realserver节点.
Shared Storage(共享存储)：
Shared Storage为所有Real Server提供共享存储空间和一致的数据内容。
Director: 前端负载均衡器即运行LVS服务可以针对web、ftp、cache、mms甚至mysql等服务做load balances。
RealServer: 后端需要负载均衡的服务器，可以为各类系统，Linux、Solaris、Aix、BSD、Windows都可，甚至Director本身也可以作为 RealServer使用.
LVS( Linux Virtual Server),Linux下的负载均衡器，支持LVS-NAT、 LVS-DR、LVS-TUNL三种不同的方式，nat用的不是很多，主要用的是DR、TUNL方式。DR方式适合所有的RealServer同一网段下，即接在同一个交换机上.
TUNL方式就对于RealServer的位置可以任意了，完全可以跨地域、空间，只要系统支持Tunnel就可以,方便以后扩充的话直接Tunl方式即可


基础知识介绍：
1、LVS基础及介绍
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。
目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）； 十种调度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）
【参考资料:】
1)官方中文参考资料: http://www.linuxvirtualserver.org/zh/index.html
[LVS项目介绍] [LVS集群的体系结构] [LVS集群中的IP负载均衡技术]
[LVS集群的负载调度]
2)LinuxTone 相关LVS技术档汇总: http://bbs.linuxtone.org/thread-1191-1-1.html

2、 LVS 三种IP负载均衡技术对比:
三种IP负载均衡技术的优缺点归纳在下表中：

	VS/NAT	VS/TUN	VS/DR
Server	any	Tunneling	Non-arp device
server network	private	LAN/WAN	LAN
server number	low (10~20)	High (100)	High (100)
server gateway	load balancer	own router	Own router

【注】 以上三种方法所能支持最大服务器数目的估计是假设调度器使用100M网卡，调度器的硬件配置与后端服务器的硬件配置相同，而且是对一般Web服务。使用更 高的硬件配置（如千兆网卡和更快的处理器）作为调度器，调度器所能调度的服务器数量会相应增加。当应用不同时，服务器的数目也会相应地改变。所以，以上数 据估计主要是为三种方法的伸缩性进行量化比较。

3、LVS目前实现的几种调度算法
IPVS在内核中的负载均衡调度是以连接为粒度的。在HTTP协议（非持久）中，每个对象从WEB服务器上获取都需要建立一个TCP连接，同一用户的不同请求会被调度到不同的服务器上，所以这种细粒度的调度在一定程度上可以避免单个用户访问的突发性引起服务器间的负载不平衡。
在内核中的连接调度算法上，IPVS已实现了以下十种调度算法：
* 轮叫调度（Round-Robin Scheduling）
* 加权轮叫调度（Weighted Round-Robin Scheduling）
* 最小连接调度（Least-Connection Scheduling）
* 加权最小连接调度（Weighted Least-Connection Scheduling）
* 基于局部性的最少链接（Locality-Based Least Connections Scheduling）
* 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling）
* 目标地址散列调度（Destination Hashing Scheduling）
* 源地址散列调度（Source Hashing Scheduling）
* 最短预期延时调度（Shortest Expected Delay Scheduling）
* 不排队调度（Never Queue Scheduling）
对应: rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,


Ldirecotrd配置选项及ipvsadm使用参数.

ldirectord配置选项	ipvsadm使用的参数	ipvsadm -L的输出	LVS转发方法
gate	-g	Route	LVS-DR
ipip	-i	Tunnel	LVS-TUN
masq	-m	Masq	LVS-NAT

4、集群架构时我们应该采用什么样的调度算法?

在一般的网络服务（如HTTP和Mail Service等）调度中，我会使用加权最小连接调度wlc或者加权轮叫调度wrr算法。

基于局部性的最少链接LBLC和带复制的基于局部性最少链接LBLCR主要适用于Web Cache集群。

目标地址散列调度和源地址散列调度是用静态映射方法，可能主要适合防火墙调度。

最短预期延时调度SED和不排队调度NQ主要是对处理时间相对比较长的网络服务。

其实，它们的适用范围不限于这些。我想最好参考内核中的连接调度算法的实现原理，看看那种调度方法适合你的应用。

5、LVS的ARP问题
2.4.x kernels:
Hidden Patch
arptable
iptables

2.6.x kernels: （关闭arp查询响应请求）
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
arping tools


二、基础知识及一些要点.
1、InActConn并不代表错误连接，它是指不活跃连接(Inactive Connections)，
我们将处于TCP ESTABLISH状态以外的连接都称为不活跃连接，例如处于SYN_RECV状态的连接，处于TIME_WAIT状态的连接等。

2、用四个参数来关闭arp查询响应请求：
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

3、ipvsadm -L -n --stats
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
连接数 输入包 输出包 输入流量 输出流量

4、注意事项:
1）在LVS方案中，虚拟ip地址与普通网络接口大大不同，这点需要特别注意。
虚拟ip地址的广播地址是它本身，子网掩码是255.255.255.255。 为什么要这样呢？因为有若干机器要使用同一个ip地址，
用本身做广播地址和把子网掩码设成4个255就不会造成ip地址冲突了,否则lvs将不能正常转发访问请求。

2）假如两台VS之间使用的互备关系，那么当一台VS接管LVS服务时，可能会网络不通，这时因为路由器的MAC缓存表里关于vip这个地址的MAC地 址还是被替换的VS的MAC，有两种解决方法，一种是修改新VS的MAC地址，另一种是使用send_arp 命令（piranha软件包里带的一个小工具） 格式如下：
send_arp:
send_arp [-i dev] src_ip_addr src_hw_addr targ_ip_addr tar_hw_addr
这个命令不一定非要在VS上执行，只+要在同一VLAN即可。
/sbin/arping -f -q -c 5 -w 5 -I eth0 -s $WEB_VIP -U $GW

5.Virtual Server via Direct Routing（VS/DR）
VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连在同一物理网段上。

6. LVS 经验:
1). LVS调度的最小单位是“连接”。
2). 当apache的KeepAlive被设置成Off时，“连接”才能被较均衡的调度。
3). 在不指定-p参数时，LVS才真正以“连接”为单位按“权值”调度流量。
4). 在指定了-p参数时，则一个client在一定时间内，将会被调度到同一台RS。
5). 可以通过”ipvsadm ?set tcp tcpfin udp”来调整TCP和UDP的超时，让连接淘汰得快一些。
6). 在NAT模式时，RS的PORT参数才有意义。
7). DR和TUN模式时，InActConn 是没有意义的(Thus the count in the InActConn column for LVS-DR, LVS-Tun is
inferred rather than real.)
/sbin/arping -f -q -c 5 -w 5 -I eth0 -s $WEB_VIP -U $GW

三、LVS 性能调优
Least services in System or Compile kernel.

Performace Tuning base LVS:
LVS self tuning( ipvsadm Timeout (tcp tcpfin udp)).
ipvsadm -Ln --timeout
Timeout (tcp tcpfin udp): 900 120 300
ipvsadm --set tcp tcpfin udp


Improving TCP/IP performance
net.ipv4.tcp_tw_recyle=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_max_syn_backlog=8192
net.ipv4.tcp_keepalive_time=1800
net.ipv4.tcp_fin_timeout=30
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.core.netdev_max_backlog=3000

NetSeek

项目实施案例及经验分享:
1、机房无法实时刷新MAC,LVS+Heartbeat方案无法正常随机切换IP?
假如两台VS之间使用的互备关系，那么当一台VS接管LVS服务时，可能会网络不通，这时因为路由器的MAC缓存表里无法及时刷新MAC.关于vip这个地址的MAC地址还是替换的VS的MAC，有两种解决方法，一种是修改新VS的MAC地址，另一种是使用send_arp /arpiing命令.
以arping命令为例.
/sbin/arping -I eth0 -c 3 -s ${vip}${gateway_ip} > /dev/null 2>&1
Eg:
/sbin/arping -I eth0 -c 3 -s 192.168.1.6192.168.1.1
【注】07年部署某大型商业网站项目时,263机房遇到此问题，最好让机房调整路由
MAC缓存表的刷新频率;同朋公司移动机房实施相关项目时发现切换IP后还是无法
访问VIP,最后利用上面的arping一个命令搞定.
【附】如果采用Piranha/keealived方案切换的时候会内置自动发送send_arp命令. UltraMonkey方案经测试也会自动发送此命令.如用heartbeat方案,需要写一个send_arp或者arping相关的脚本当作heartbeat一个资源切换服务的时候自动发送
相关命令脚本.

2、某台机器down掉以后,IPVS列表中权值已经置0了,为什么还轮询到这台机器上?
配置 ldirectord.conf
quiescent=no或 echo 1 >/proc/sys/net/ipv4/vs/expire_nodest_conn
【注】经如上设置某台Realserver服务down掉以后如何从IPVS列表自动中删除恢复时如何自动添加.

3、为什么做压力测试的时候,LVS不能负载均衡多部分连接只到某一台机器上?
难道是LVS不能实现真正的负载均衡?
这和LVS脚本里指定-p参数有关，如果指定了一个client在一定的时间内，将会被调度到同一台RS上。所以你在从来源来做压力测试的时候大部分连接会调度到同一台机器上，这样就出现了负载不均衡的状况。很多人经常问我这个问题，仍后我叫他们多从几个点去同时向LVS服务器做压力测试的时候就发现负载很均衡了。

gyl4802959

总结的真好……

xzt2009

有学了好东西，佩服版主。

forevercxr

怎么没有一台服务器既担任LVSserver,同时也是realserver节点的实验啊？

Ghost_xia

跟贴，是啊，我现在想做两台物理服务器的HA+lvs，两台服务器同时担任realserver，NAT模式是可以工作，网关的问题不好解决。用DR模式吧，但是总是不知道如何搞定那个 DR 模式的arp 问题。

新创意

DR 模式的arp 问题。
上面已给出了相关的解决切换IP后，不能访问VIP的方法了。可以使用。arping 命令。还有MAC地址表。是这样吗。

bobo9576

好东西，支持一下

coralzd

不错！

scorpion

写的相当详细

1314it

太棒了 .. 学习啊 !

lovejuan007

虽然是09年的资料，但是也很值得一看 ，很有价值！

abu0517

好文章

sunnylinux

学习 了支持一下

叽叽歪歪

看过了，记录一下。留用。。。。。。。。。