作者： 我是咖啡哥 原文来源： https://tidb.net/blog/8e8cca1d
前言
HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。同时，HAproxy部署2个节点，使用KeepAlived来实现高可用。
环境说明
TiDB版本：V7.1.0
haproxy版本：2.6.2
OS环境：Centos 7.9
简易架构：
此文档根据生产实际环境搭建验证后，总结输出，IP经过脱敏。
一、安装HAproxy
主备节点都安装，配置文件全部一致，没有主备之分。
参考： https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices#haproxy-%E5%9C%A8-tidb-%E4%B8%AD%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5
1、下载haproxy
wget https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz
2、编译安装HAproxy
先安装依赖包
yum -y install epel-release gcc systemd-devel
编译安装HAproxy
tar zxf haproxy-2.6.2.tar.gz
cd haproxy-2.6.2
make clean
make -j 8 TARGET=linux-glibc USE_THREAD=1
make PREFIX=/opt/haproxy SBINDIR=/opt/haproxy/bin install
3、配置环境变量
所有用户
echo 'export PATH=/opt/haproxy/bin:$PATH' >> /etc/profile
. /etc/profile
which haproxy
4、haproxy.cfg配置文件
vim /opt/haproxy/haproxy.cfg
global # 全局配置。
log 127.0.0.1 local2 # 定义全局的 syslog 服务器，最多可以定义两个。
chroot /opt/haproxy/var/lib/haproxy # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
pidfile /opt/haproxy/var/run/haproxy.pid # 将 HAProxy 进程的 PID 写入 pidfile。
maxconn 4096 # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 "-n"。
nbthread 48 # 最大线程数。线程数的上限与 CPU 数量相同。
user tidb # 同 UID 参数。
group tidb # 同 GID 参数，建议使用专用用户组。
daemon # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
stats socket /opt/haproxy/var/lib/haproxy/stats # 统计信息保存位置。
defaults # 默认配置。
log global # 日志继承全局配置段的设置。
retries 2 # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
timeout connect 2s # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
timeout client 30000s # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
timeout server 30000s # 服务器端非活动连接的超时时间。
listen admin_stats # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
bind 0.0.0.0:8080 # 监听端口。
mode http # 监控运行的模式，此处为 `http` 模式。
option httplog # 开始启用记录 HTTP 请求的日志功能。
maxconn 10 # 最大并发连接数。
stats refresh 30s # 每隔 30 秒自动刷新监控页面。
stats uri /haproxy # 监控页面的 URL。
stats realm HAProxy # 监控页面的提示信息。
stats auth admin:Pingcap # 监控页面的用户和密码，可设置多个用户名。
stats hide-version # 隐藏监控页面上的 HAProxy 版本信息。
stats admin if TRUE # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。
listen tidb-cluster # 配置 database 负载均衡。
bind 192.168.1.238:4000 # 浮动 IP 和 监听端口。
mode tcp # HAProxy 要使用第 4 层的传输层。
balance leastconn # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
server tidb-192.168.1.217:4000 192.168.1.217:4000 check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
server tidb-192.168.1.237:4000 192.168.1.237:4000 check inter 2000 rise 2 fall 3
5、创建配置文件里面使用到的目录
mkdir -p /opt/haproxy/var/lib/haproxy/
mkdir -p /opt/haproxy/var/run
6、修改系统参数
一定要记得sysctl -p生效
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
sysctl -p
7、启动HAproxy
haproxy -f /opt/haproxy/haproxy.cfg
8、访问HAProxy监控页面
密码见配置文件auth部分配置。
http://192.168.1.214:8080/haproxy
http://192.168.1.215:8080/haproxy
二、keepalived安装、配置
前面已经安装了HAproxy，并且启动。但是VIP并不会自动给你挂上。HAproxy进程挂了也不会给你拉起来，HA也不能做主备切换。这时候就该KP登场拉。
1、安装keepalived
直接yum安装，省时省力。
yum -y install keepalived
2、主节点kp配置文件
vim /etc/keepalived/keepalived.conf
global_defs {
router_id haproxy1 # 虚拟路由名称
script_user root
enable_script_security
}
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
interval 5 # 脚本运行周期，秒
}
# 虚拟路由配置
vrrp_instance VI_cubc_his {
state MASTER # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
interface eth0 # 本机网卡名称，使用ifconfig命令查看
virtual_router_id 238 # 虚拟路由编号，主备机保持一致
priority 101 # 本机初始权重，备机请填写小于主机的值（例如99）
advert_int 1 # 争抢虚地址的周期，秒
authentication {
auth_type PASS
auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证
}
virtual_ipaddress {
192.168.1.238 # 虚地址IP，主备机保持一致
}
track_script {
chk_haproxy # 对应的健康检查配置
}
}
3、备节点kp配置文件
vim /etc/keepalived/keepalived.conf
global_defs {
router_id haproxy2 # 虚拟路由名称
script_user root
enable_script_security
}
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
interval 5 # 脚本运行周期，秒
}
# 虚拟路由配置
vrrp_instance VI_cubc_his {
state BACKUP # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
interface eth0 # 本机网卡名称，使用ifconfig命令查看
virtual_router_id 238 # 虚拟路由编号，主备机保持一致
priority 99 # 本机初始权重，备机请填写小于主机的值（例如99）
advert_int 1 # 争抢虚地址的周期，秒
authentication {
auth_type PASS
auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证
}
virtual_ipaddress {
192.168.1.238 # 虚地址IP，主备机保持一致
}
track_script {
chk_haproxy # 对应的健康检查配置
}
}
注意：
virtual_router_id要保持一致。
不一致的地方：router_id、priority、state
网卡名称interface根据你的实际环境来。
4、脚本检测扩展
kp自动检测haproxy是否启动，如果没有启动会自动启动，启动一次没成功就会自动关闭kp
vim /etc/keepalived/chk_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
/opt/haproxy/bin/haproxy -f /opt/haproxy/haproxy.cfg
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
systemctl stop keepalived
fi
fi
记得修改权限
chmod 744 /etc/keepalived/chk_haproxy.sh
5、设置keepalived自动启动
如果主机重启了就不担心HAproxy不自动启动了。
systemctl list-unit-files |grep keepalived
--设置开机自动启动
systemctl enable keepalived.service
三、环境验证
1、启动备节点KP
systemctl start keepalived
验证相关进程状态和VIP
ps -ef|grep haproxy
systemctl status keepalived
ip a|grep inet
如果进程都在，VIP也已经挂载成功。此时可以使用VIP连接数据库拉。
2、启动主节点kp
systemctl start keepalived
验证相关进程状态和VIP
ps -ef|grep haproxy
systemctl status keepalived
ip a|grep inet
如果前面配置无误，此时VIP会自动漂移到主节点，因为主节点设置的priority更大。备节点的VIP会自动卸载。
3、kill haproxy测试
kill后kp会自动拉起来，如果拉不起来，kp服务也会自动停止。
所有，正常停止HAproxy，直接杀ha的进程是不行的，得手动把kp停掉。
四、测试IP透传功能
上面搭建好的HA环境，SHOW PROCESSLIST看到的客户端IP都是HAproxy节点的IP，如果要查看真实的IP，还需要做2点配置。
1、修改HAproxy的配置文件
如要通过 SHOW PROCESSLIST 查看连接来源 IP，需要配置使用 PROXY 协议连接 TiDB。
tidb配置那行添加 check port 10080 send-proxy
注意：这里把检测端口换成了10080，不是4000，不然tidb会一直刷write: connection reset by peer
server tidb-192.168.1.217:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3
server tidb-192.168.1.237:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3
2、修改tidb集群参数
使用 PROXY 协议时，你需要在 tidb-server 的配置文件中设置 proxy-protocol.networks。
tiup cluster edit-config tidb-test
添加proxy-protocol.networks参数，里面配置的IP为HAproxy节点IP。
server_configs:
tidb:
proxy-protocol.networks: 192.168.1.214,192.168.1.215
重启tidb节点
tiup cluster reload tidb-test -R tidb
3、使用VIP连接tidb验证
使用VIP连接tidb，show processlist验证IP，测试可以看到真实IP拉。
mysql -h192.168.1.238 -P4000 -uroot -p -A
常见报错：
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
五、常见报错、参考文档
1、HAproxy启动报错
haproxy -f /opt/haproxy/haproxy.cfg
[NOTICE] (3526) : haproxy version is 2.6.2-16a3646
[NOTICE] (3526) : path to executable is /opt/haproxy/bin/haproxy
[ALERT] (3526) : Binding [/opt/haproxy/haproxy.cfg:32] for proxy tidb-cluster: cannot bind socket (Cannot assign requested address) for [192.168.1.238:4000]
[ALERT] (3526) : [haproxy.main()] Some protocols failed to start their listeners! Exiting.
没有配置系统参数，或者参数未生效。
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
sysctl -p
2、解决Keepalived脚本启动时warning、Unsafe
https://blog.csdn.net/Kangyucheng/article/details/110122893
3、配置Haproxy透传参数send-proxy后，tidb日志一直报write: connection reset by peer
见： https://asktug.com/t/topic/1007543/1 文章来源：https://www.toymoban.com/news/detail-489271.html
感谢 裤衩儿飞上天 的指点。 文章来源地址https://www.toymoban.com/news/detail-489271.html
到了这里，关于搭建TiDB负载均衡环境-HAproxy+KeepAlived实践的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
