Keepalived服务详解

# 全局配置（全局配置有Global definitions和Static routes/address，全局定义和静态路由）
# GLOBAL CONFIGURATION： 
     global_defs                 # Block id
         {
            ...
         }
        
# 配置vrrp实例（VRRP实例和VRRP同步组）
# VRRPD CONFIGURATION：
     vrrp instance               # 虚拟路由器，VRRP实例
         vrrp_instance  NAME {
              ...
         }
     vrrp synchronization group  # VRRP同步组
         vrrp_sync_group  NAME  {
              ...
         }
# ipvs的相关配置
# LVS CONFIGURATION：
      # 集群服务，服务内的RS
      Virtual server groups 
      Virtual server               #ipvs集群的vs和rs

### 全局配置 ###
global_defs {              # 全局部分定义邮件报警系统，可以不用定义
    notification_email {   # 定义邮件发送目标，收件人邮箱地址                
        acassen@firewall.loc
        failover@firewall.loc
    } 
    notification_email_from  hgzerowzh@qq.com # 定义发件人邮箱地址
    smtp_server 192.168.200.1    # 定义邮件发送服务器IP，本地发送写localhost
    smtp_connect_timeout 30      # 定义邮件服务器建立连接的超时时长
    router_id c7_node_03         # 标识keepalived服务器的字符串，物理节点的标识符；建议使用主机名

    vrrp_skip_check_adv_addr     # 如果通告与接收的上一个通告来自相同的master路由器，则不执行检查
    ！vrrp_strict                # 严格遵守VRRP协议，这一项最好关闭（加感叹号），若不关闭，可用vip无法被ping通
    vrrp_garp_interval 0.001     # 在一个接口发送的两个免费ARP之间的延迟，可以精确到毫秒级（默认是0）
    vrrp_mcast_group4 225.0.0.18 # IPV4多播地址，默认224.0.0.18，要改一改
    # 可以在多播地址上抓包来看vrrp报文：tcpdump -i ens33 -nn host 224.0.0.18
}

### VRRP实例配置 ###
vrrp_instance NAME {
    state MASTER          # 定义实例的角色状态是master还是backup，在当前VRRP实例中此节点的初始状态
    interface eth0        # 定义vrrp绑定的接口，即接收或发送心跳通告的接口，即HA监测接口
    virtual_router_id 51  # 虚拟路由标识(VRID)，同一实例该数值必须相同，即master和backup中该值要相同
                               # 同一网卡上的不同vrrp实例，该值一定不能相同，取值范围为0-255，默认为51
    priority 100          # 该vrrp实例中本机的keepalived的优先级，优先级最高的为master（可用范围0-255）
                               # 该选项的优先级高于state选项，
                               # 即若state指定的是backup，但这里设置的值最高，则仍为master
    advert_int 1          # 心跳信息发送和接收时间间隔，单位为秒

    authentication {      # 认证方式，同一实例中这个配置必须完全一样才可通过认证，只建议使用PASS认证
        auth_type PASS         # 使用简单字符认证的方式
        auth_pass 1111         # 最多支持8字符，超过8字符将只取前8字符
    }

    virtual_ipaddress {   # 设置的VIP，当master出现故障后，VIP会故障转移到backup
                               # 这些vip默认配置在interface指定的接口别名上，可使用dev选项来指定配置接口
                               # 使用ip add的方式添加，若要被ifconfig查看，在IP地址后加上label即可
       192.168.200.16 label eth0:1
       192.168.200.17
       192.168.200.19/24 dev eth1
       # 格式：/ brd  dev  scope  label 
    }

    # 使用非抢占模式
    nopreempt   
         
    # 使用延迟抢占模式
    preempt_delay  TIME     
}

### node1:###
    vrrp_instance VI_1 {
            state MASTER
            interface eno16777736
            virtual_router_id 101
            priority 100
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass ZPNnTQ6F
            }
            virtual_ipaddress {
                    172.16.100.9/16
            }
    }
    vrrp_instance VI_2 {
            state BACKUP
            interface eno16777736
            virtual_router_id 102
            priority 99
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass IWyijM5Q
            }
            virtual_ipaddress {
                    172.16.100.10/16
            }
    }                                
            
### node2:###
    vrrp_instance VI_1 {
            state BACKUP
            interface eno16777736
            virtual_router_id 101
            priority 99
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass ZPNnTQ6F
            }
            virtual_ipaddress {
                    172.16.100.9/16
            }
    }
    vrrp_instance VI_2 {
            state MASTER
            interface eno16777736
            virtual_router_id 102
            priority 100
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass IWyijM5Q
            }
            virtual_ipaddress {
                    172.16.100.10/16
            }
    }    

virutal_server  vip  port  {  # 虚拟服务地址和端口，使用空格分隔，其中地址为VIP
       ...
}

virtual_server fwmark int  {  # 可以使用防火墙标记来定义
        ...
}
        
### 常用的参数 ###
    delay_loop                         # 对后端主机做检测，每隔多长时间发一次请求
    lb_algo   rr|wrr|lc|wlc|lblc|sh|dh      # 调度算法
    lb_kind   NAT|DR|TUN                    # 集群类型
    persistence_timeout                # 持久连接时长
    protocol TCP                            # 1.3.0版本之前只支持TCP
    sorry_server              # 当所有的RS都挂掉，则使用这里定义的主机提供服务     

real_server    {
    ### 常用的参数 ###
    weight                           # 权重
    notify_up  |   # 上线脚本
    notify_down  | # 下线脚本
    ...

    ### 健康状态检测机制（web应用层检测）
    HTTP_GET|SSL_GET
    {
         # 检测参数
         url  {     
                 path          # 对哪个url做检测，使用path指明url
                 status_code      # 要获得什么响应码才算正确
                 digest        # 获取内容的校验码跟所期望的一样 
         }
         nb_get_retry             # get请求的重试次数
         delay_before_retry       # 两次重试之间的时间间隔
         connect_timeout      # 连接超时时长，默认为5s
         warmup                   # 健康状态检测延迟
    }
    
    ### 传输层健康状态检测（tcp协议层）
    TCP_CHECK
    {
         # 检测参数
         connect_timeout      # 每次发起连接时的超时时间
         
         nb_get_retry             # get请求的重试次数
         delay_before_retry       # 两次重试之间的时间间隔
         connect_timeout      # 连接超时时长，默认为5s
         warmup                   # 健康状态检测延迟
         
         # 其它参数
         connect_ip        # 向哪个地址的哪个端口做检测
         connect_port 
         bindto            # 自己使用固定的地址当源地址发请求
         bind_port 
    }
}

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_03
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface ens37
    virtual_router_id 66
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {  
       172.168.1.99/24   # 这个虚拟ip是流动网关地址
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface ens33
    virtual_router_id 67
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass taba
    }
    virtual_ipaddress {
       10.0.0.11/24      # 这个虚拟ip是外网访问的浮动ip
    } 
}

# 将VI_1和VI_2做成一个同步组，在这个节点上，VI_1和VI_2同进退
vrrp_sync_group VG_1 {   
    group {
        VI_1
        VI_2
    }
}

# 虚拟服务地址和端口，使用空格分隔，其中地址为外网VIP
virtual_server  10.0.0.11 80 {  
    delay_loop 2              # 健康检查时间间隔
    lb_algo rr                # 定义负载均衡LB的算法，这里使用的是rr轮询调度算法
    lb_kind NAT               # lvs的模型，有NAT、DR、TUN三种
    ! persistence_timeout 3   # 持久会话保持时长
    protocol TCP              # 监控服务的协议类型，1.3.0版本之前只支持tcp，之后还支持udp

    real_server 172.168.1.101 80 {  # 定义后端的real_server部分，地址和端口使用空格分隔
        weight 1              # lvs权重
        HTTP_GET {            # 监控状况检查的检查方式，常见的有HTTP_GET、SSL_GET、TCP_CHECK、MISC_CHECK
            url {
              path /          # 指定http_get健康状况检查的路径，例如检查index.html是否正常
                  status_code 200
                         # 健康状况需要状态码，可以是status_code、digest、或者digest+status_code
                         # digest值用keepalived的genhash命令生成，一般使用status_code即可
                         # curl  -s  http://172.168.0.6 |  md5sum
                         # genhash -s 172.168.0.6 -p 80 -u /index.html
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 172.168.1.102 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2     # 表示3秒无响应就超时，即此realserver不健康，需重试连接
            nb_get_retry 3        # 表示重试3次，3次之后都超时就是宕机，防止误伤（nb=number）
            delay_before_retry 1  # 重试的时间间隔
        }                         # 时间如果太久，应改小
    }
}

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_04
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.18

}

vrrp_instance VI_1 {
    state BACKUP
    interface ens37
    virtual_router_id 66
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       172.168.1.99/24
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface ens33
    virtual_router_id 67
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass taba
    }
    virtual_ipaddress {
       10.0.0.11/24
    }
}

vrrp_sync_group VG_1 {
    group {
        VI_1
        VI_2
    }        
}

virtual_server  10.0.0.11 80 {
    delay_loop 2
    lb_algo rr
    lb_kind NAT
    ! persistence_timeout 3
    protocol TCP

    real_server 172.168.1.101 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 172.168.1.102 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_03
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.16
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 66
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       10.0.0.10
    }
}

virtual_server  10.0.0.10 80 {
    delay_loop 2
    lb_algo wrr
    lb_kind DR
    ! persistence_timeout 3
    protocol TCP

    real_server 10.0.0.205 80 {
        weight 2
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 10.0.0.206 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_04
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.16
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 66
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       10.0.0.10
    }
}

virtual_server  10.0.0.10 80 {
    delay_loop 2
    lb_algo wrr
    lb_kind DR
    ! persistence_timeout 3
    protocol TCP

    real_server 10.0.0.205 80 {
        weight 2
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 10.0.0.206 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

#!/bin/bash

vip=10.0.0.10
mask='255.255.255.255'

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 $vip netmask $mask broadcast $vip up
    route add -host $vip dev lo:0
    ;;
stop)
    ifconfig lo:0 down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
*) 
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

global_defs {
    notification_email {
            root@localhost
    }
    notification_email_from  keepalived@localhost
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id node1
    vrrp_mcast_group4 224.0.100.19
}

# 如果想要调整某个keepalived主机，只需要在keepalived目录下创建一个down文件
# 通过监测这个文件的存在与否，即可将该节点权重降低，从而可以去配置调整它
# 如果不想让它降权了，就将down文件删除
vrrp_script chk_down { 
    # 如果这个文件存在就错误退出，否则就正常退出  
    script  "[[  -f /etc/keepalived/down  ]]  &&  exit 1  ||  exit 0"  
    # 注意，这里最好将脚本写入shell文件中，然后在这里调用shell脚本文件，注意用全路径
        interval 1          
        weight -5           # 一旦上面的文件存在（错误退出），就将这个节点降权
        fall 1
        rise 1
}

vrrp_script chk_nginx {
    script  "killall  -0  nginx  &&  exit 0 ||  exit 1"  # 这里killall -0表示检测nginx进程是否存在
    # 注意，这里最好将脚本写入shell文件中，然后在这里调用shell脚本文件，注意用全路径
    interval  1             # 每隔一秒检测一次上面的脚本是否能成功执行
    weight  -5              # 如果脚本执行失败就将权重-2
    fall  3                 # 如果失败3次失败，才确认为失败
    rise  3                 # 需要成功的次数，如果3次检查都成功，那么就立即将减去的权重加回去
}

vrrp_instance  VI_1 {
    state  MASTER
    interface eno16777736
    virtual_router_id 14
    priority  100
    advert_int  1
    authentication {
            auth_type  PASS
            auth_pass 571f97b2  # 如果有多个vrrp实例，这里的密码一定不能相同
    }
    vritual_ipaddress {
            10.1.0.93/16  dev  eno16777736
    }
    track_script {              # 在这里来调用之前的脚本
            chk_down
            chk_nginx
    }

    notify_master  "/etc/keepalived/notify.sh  master"
    notify_backup  "/etc/keepalived/notify.sh  backup"
    notify_fault   "/etc/keepalived/notify.sh  fault"
}

#!/bin/bash
#
contact='root@localhost'
notify() {
        local  mailsubject="$(hostname) to be $1,  vip floating"
        local  mailbody="$(date  + '%F  %T' ): vrrp  transition, $(hostname)  changed  to  be  $1"
        echo "$mailbody"  |  mail  -s  "$mailsubject"  $contact
}

case  $1  in
master)
        # 当当前节点变成主节点的时候，就启用nginx服务
        systemctl  start  nginx.service  
        notify  master
        ;;
backup)
        # 当当前节点变成备用节点的时候，要启用nginx，防止备节点也被降权，导致vip没有被转移
        systemctl  start  nginx.service   
    notify  backup
        ;;
fault)
        # 当当前节点出错时，就停掉nginx服务（但是如果做nginx的双主，即使fault也不能停掉nginx）
        systemctl  stop  nginx.service  
        notify  fault
        ;;
*)
        echo  "Usage: $(basename  $0) { master|backup|fault}"
        exit  1
        ;;
esac

# 监控关注的网络接口
    track_interface {
            IFACE_NAME_1
        IFACE_NAME_2
    }

# 在nginx上配置反向代理：
    upstream  websrvs  {
            server  192.168.10.11:80;
            server  192.168.10.12:80;
    }
    location  /  {
            proxy_pass  http:/websrvs;
    }