分类: MySQL
Keepalived构建高可用MySQL互为主从自动切换

关于MySQL-HA,目前有多种解决方案,比如heartbeat、drbd、mmm、共享存储,但是它们各有优缺点。heartbeat、drbd配置较为复杂,需要自己写脚本才能实现MySQL自动切换,对于不会脚本语言的人来说,这无疑是一种脑裂问题;对于mmm,生产环境中很少有人用,且mmm管理端需要单独运行一台服务器上,要是想实现高可用,就得对mmm管理端做HA,这样增加了硬件开支;对于共享存储,数据还是放在本地较为安全,存储设备毕竟存在单点隐患。

Keepalived是一个免费开源的,用C编写的类似于layer3, 4 & 7交换机制软件,具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing(负载均衡)和 high-availability(高可用)功能,负载均衡实现需要依赖Linux的虚拟服务内核模块(ipvs),而高可用是通过VRRP协议实现多台机器之间的故障转移服务。
keepalived.jpg
上图是Keepalived的功能体系结构,大致分两层:用户空间(user space)和内核空间(kernel space)。
内核空间:

主要包括IPVS(IP虚拟服务器,用于实现网络服务的负载均衡)和NETLINK(提供高级路由及其他相关的网络功能)两个部份。

用户空间:

WatchDog:负载监控checkers和VRRP进程的状况
VRRP Stack:负载负载均衡器之间的失败切换FailOver,如果只用一个负载均稀器,则VRRP不是必须的。
Checkers:负责真实服务器的健康检查healthchecking,是keepalived最主要的功能。换言之,可以没有VRRP Stack,但健康检查healthchecking是一定要有的。
IPVS wrapper:用户发送设定的规则到内核ipvs代码
Netlink Reflector:用来设定vrrp的vip地址等。

使用MySQL双master+keepalived是一种非常好的解决方案,在MySQL-HA环境 中,MySQL互为主从关系,这样就保证了两台MySQL数据的一致性,然后用keepalived实现虚拟IP,通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。

实现过程如下:
1、机器网络拓扑等信息:

MySQL-VIP:10.10.200.30    
mysqldb1:10.10.200.11    
mysqldb2:10.10.200.12   
   
OS版本:CentOS 7.4    
MySQL版本:5.7.22    
Keepalived版本:1.4.5

2、MySQL配置文件修改:
db1和db2互为主从,需要修改server-id为不同
如上述均正确配置,现在任何一台MySQL上更新数据都会同步到另一台MySQL,即互为主从,MySQL同步在此叙述。
3、keepalived安装及配置

yum install popt popt-devel libnl libnl-devel libnfnetlink-devel -y #安装基础库文件
wget http://www.keepalived.org/software/keepalived-1.4.5.tar.gz
tar xvf keepalived-1.4.5.tar.gz
cd keepalived-1.4.5.tar.gz
./configure --prefix=/usr/local/keepalived --sbindir=/usr/local/keepalived/sbin
make && make install
ln -s /usr/local/sbin/keepalived /usr/sbin/  
ln -s /usr/local/keepalived/etc/keepalived/ /etc/keepalived
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/init.d/  
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
chmod +x /etc/init.d/keepalived  
chkconfig keepalived on   #CentOS6执行
systemctl enable keepalived

配置keepalived
默认情况下keepalived启动时会去/etc/keepalived目录下找配置文件

#vi /etc/keepalived/keepalived.conf  
global_defs {  
     notification_email {  
         xxx@xxx.com
     }  
     notification_email_from xxx@xxx.com  
     smtp_server x.x.x.x
     smtp_connect_timeout 30  
     router_id MySQL-ha  
}  
 
vrrp_instance VI_1 {  
     state BACKUP   #两台配置此处均是BACKUP  
     interface eth0  
     virtual_router_id 51  
     priority 100   #优先级,另一台改为90  
     advert_int 1  
     nopreempt  #不抢占,只在优先级高的机器上设置即可,优先级低的机器不设置  
     authentication {  
         auth_type PASS  
         auth_pass 1111  
     }  
     virtual_ipaddress {  
         10.10.200.30  
     }  
}  
 
virtual_server 10.10.200.30 3306 {  
     delay_loop 2   #每个2秒检查一次real_server状态  
     lb_algo wrr   #LVS算法  
     lb_kind DR    #LVS模式  
     persistence_timeout 60   #会话保持时间  
     protocol TCP  
     real_server 10.10.200.11 3306 {  
         weight 3  
         notify_down /usr/local/mysql/bin/mysql.sh  #检测到服务down后执行的脚本  
         TCP_CHECK {  
             connect_timeout 10    #连接超时时间  
             nb_get_retry 3       #重连次数  
             delay_before_retry 3   #重连间隔时间  
             connect_port 3306   #健康检查端口
         }
     }  
} 

检测服务down后所要执行的脚本

#!/bin/sh    
killall keepalived    

赋予执行权限

chmod +x /usr/local/mysql/bin/mysql.sh  

此脚本是上面配置文件notify_down选项所用到的,keepalived使用notify_down选项来检查real_server 的服务状态,检测到real_server服务故障时,执行强制杀死keepalived进程,从而实现MySQL故障自动转移。
操作完成以后启动keepalived服务

systemctl start keepalived 
或
/usr/local/keepalived/sbin/keepalived –D 

mysqldb2:10.10.200.12 机器上也依此安装keeplaived服务
配置keepalived文件,优先级为90、无抢占设置、real_server为本机IP这三个地方不同:

vi /etc/keepalived/keepalived.conf
global_defs {  
     notification_email {  
         xxx@xxx.com  
     }  
     notification_email_from xxx@xxx.com  
     smtp_server x.x.x.x  
     smtp_connect_timeout 30  
     router_id MySQL-ha  
}  
 
vrrp_instance VI_1 {  
     state BACKUP  
     interface eth0  
     virtual_router_id 51  
     priority 90  
     advert_int 1  
     authentication {  
         auth_type PASS  
         auth_pass 1111  
     }  
     virtual_ipaddress {  
         10.10.200.30
     }  
}  
 
virtual_server 10.10.200.30 3306 {  
     delay_loop 2  
     lb_algo wrr  
     lb_kind DR  
     persistence_timeout 60  
     protocol TCP  
     real_server 10.10.200.12 3306 {  
         weight 3  
         notify_down /usr/local/mysql/bin/mysql.sh  
         TCP_CHECK {  
             connect_timeout 10  
             nb_get_retry 3  
             delay_before_retry 3  
             connect_port 3306  
         }
     }
}

复制mysql.sh脚本、启动keepalived服务
测试
停止MySQL服务,看keepalived健康检查程序是否会触发我们编写的脚本,然后登录VIP,看是否能登录,在登录之两台MySQL服务器都要授权允许从远程登录,在切换时执行了一个MySQL查询命令,从执行show databases到显示出结果时间为2-3秒,会有

ERROR 2006 (HY000): MySQL server has gone away

报错信息,是因为keepalived切换大概为1-3秒左右,这3秒左右VIP是空白期,代码里面最好能实现多次重连数据库,从而规避,keepalived只能做到对3306的健康检查,但是做不到比如像 MySQL复制中的slave-SQL、slave-IO进程的检查,总之Keeplavied+Mysql互为主从是一个低廉的负载均衡解决方案。


相关博文:

发表新评论