方案背景介紹
根據公司業務需求，需要保證對外提供服務的web服務具有高可用及負載均衡的特性。
此方案省略部署web服務相關步驟。
環境介紹
| 名稱 | IP地址 | 操作系統 |
|---|---|---|
| web1 | 192.168.1.231 | CentOS 6.5 |
| web2 | 192.168.1.239 | CentOS 6.5 |
| nginx1（主） | 192.168.1.233 | CentOS 6.5 |
| nginx2（備） | 192.168.1.241 | CentOS 6.5 |
nginx版本：1.10.2
keepalived版本：1.2.20
VIP（虛擬IP）：192.168.1.230
實施步驟
前期準備
每臺Nginx服務器安裝相關服務
yum install gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel
安裝并配置Nginx
安裝Nginx
兩臺Nginx服務器均安裝Nginx 1.10.2
[root@nginx1 ~]# mkdir /usr/local/nginx
[root@nginx1 ~]# cd /usr/local/src/
[root@nginx1 src]# ls
nginx-1.10.2.tar.gz
[root@nginx1 src]# tar zxvf nginx-1.10.2.tar.gz
[root@nginx1 src]# cd nginx-1.10.2
[root@nginx1 nginx-1.10.2]# ./configure --prefix=/usr/local/nginx --with-http_ssl_module
[root@nginx1 nginx-1.10.2]# make
[root@nginx1 nginx-1.10.2]# make install
配置Nginx負載均衡
兩臺Nginx均如下配置，進行負載均衡。
注：根據實際情況，可以不進行負載均衡，而僅進行反向代理。
[root@nginx1 ~]# cd /usr/local/nginx/conf/
[root@nginx1 conf]# vi nginx.conf
http {
... ...
# 將需要負載均衡服務放入域中
upstream zone_test {
ip_hash;
server 192.168.1.231:8888;
server 192.168.1.239:7777;
}
server {
listen 80;
server_name localhost;
... ...
# 此處'http://'后需跟之前創建的域
location / {
proxy_pass http://zone_test;
}
... ...
}
安裝并配置keepalived
安裝keepalived
兩臺Nginx服務器均安裝keepalived 1.2.20
[root@nginx1 ~]# mkdir /usr/local/keepalived
[root@nginx1 ~]# cd /usr/local/src/
[root@nginx1 src]# tar zxvf keepalived-1.2.20.tar.gz
[root@nginx1 src]# cd keepalived-1.2.20
[root@nginx1 keepalived-1.2.20]# ./configure --prefix=/usr/local/keepalived/
[root@nginx1 keepalived-1.2.20]# make && make install
做成服務模式，方便啟動和關閉
將相應文件拷貝至系統目錄，做成服務模式；并將keepalived設置成開機自啟
# 源碼安裝
[root@nginx1 ~]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
[root@nginx1 ~]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@nginx1 ~]# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[root@nginx1 ~]# cp -r /usr/local/keepalived/etc/keepalived/ /etc/
# 設置開機自啟
[root@nginx1 ~]# chkconfig --add keepalived
[root@nginx1 ~]# chkconfig keepalived on
[root@nginx1 ~]# chkconfig --list keepalived
keepalived 0:off 1:off 2:on 3:on 4:on 5:on 6:off
編寫檢查Nginx是否存活腳本
兩臺Nginx服務器上均需編寫
[root@nginx1 ~]# mkdir /root/bin
[root@nginx1 ~]# cd /root/bin/
[root@nginx1 bin]# vi check_nginx.sh
以下是腳本內容
#!/bin/sh
# Filename: check_nginx.sh
# Edited By Yiji Kong
# This script checks nginx process which is alived or not
# 定義別名
alias PS='ps aux | grep nginx | grep -v grep | grep -v check_nginx | wc -l'
# 將nginx的絕對路徑定義為NGINX
NGINX=/usr/local/nginx/sbin/nginx
if [ `PS` -gt 0 ]; then # 如果命令執行結果大于0，說明Nginx正在運行，則返回正常(0)
exit 0
# 否則重啟一次Nginx后再次檢測，還啟動不了則關閉keepalived
else
${NGINX}
sleep 3
if [ `PS` -eq 0 ]; then
killall -9 keepalived
fi
fi
為腳本添加執行權限
[root@nginx1 bin]# chmod +x check_nginx.sh
修改兩臺Nginx服務器上keepalived的配置文件
配置文件位置：
/etc/keepalived/keepalived.conf
- 主Nginx服務器的keepalived配置文件如下：
! Configuration File for keepalived
global_defs {
notification_email {
#acassen@firewall.loc
#failover@firewall.loc
#sysadmin@firewall.loc
}
#notification_email_from Alexandre.Cassen@firewall.loc
#smtp_server 192.168.200.1
#smtp_connect_timeout 30
router_id LVS_DEVEL # router_id可以不同
#vrrp_skip_check_adv_addr
#vrrp_strict
}
# 定義檢測腳本
vrrp_script check_nginx {
script "/root/bin/check_nginx.sh" # 腳本位置
interval 2 # 間隔，單位為秒
weight -2 # 權重-2
}
vrrp_instance VI_1 {
state MASTER # 實例的初始狀態
interface eth0 # 監控VIP綁定的實際網卡
virtual_router_id 51 # 相同組的VRID需相同
priority 100 # 初始權重值
advert_int 1 # 組播信息發送間隔，單位為秒
authentication {
auth_type PASS # 啟用密碼驗證
auth_pass 1111 # 密碼，相同組的需要一致
}
# 執行檢測腳本
track_script {
check_nginx
}
# 設置VIP地址，可以多個
virtual_ipaddress {
192.168.1.230
}
}
- 備Nginx服務器的keepalived配置文件如下：
! Configuration File for keepalived
global_defs {
notification_email {
#acassen@firewall.loc
#failover@firewall.loc
#sysadmin@firewall.loc
}
#notification_email_from Alexandre.Cassen@firewall.loc
#smtp_server 192.168.200.1
#smtp_connect_timeout 30
router_id LVS_DEVEL # router_id可以不同
#vrrp_skip_check_adv_addr
#vrrp_strict
}
# 定義檢測腳本
vrrp_script check_nginx {
script "/root/bin/check_nginx.sh" # 腳本位置
interval 2 # 間隔，單位為秒
weight -2 # 權重-2
}
vrrp_instance VI_1 {
state BACKUP # 實例的初始狀態
interface eth0 # 監控VIP綁定的實際網卡
virtual_router_id 51 # 相同組的VRID需相同
priority 99 # 初始權重值
advert_int 1 # 組播信息發送間隔，單位為秒
authentication {
auth_type PASS # 啟用密碼驗證
auth_pass 1111 # 密碼，相同組的需要一致
}
# 執行檢測腳本
track_script {
check_nginx
}
# 設置VIP地址，可以多個
virtual_ipaddress {
192.168.1.230
}
}
至此，Nginx和keepalived的部署已經完成
綁定虛擬IP（VIP）
在啟動keepalived前，需先在兩臺Nginx服務器上綁定VIP，否則無法對外提供服務。
有兩種方法可以綁定，分別為臨時和永久
- 第一種方法（臨時）：
[root@nginx1 ~]# ifconfig eth0:1 192.168.1.230 broadcast 192.168.1.255 netmask 255.255.255.0 up
[root@nginx1 ~]# route add -host 192.168.1.230 dev eth0:1
- 第二種方法（永久）：
[root@nginx1 ~]# cd /etc/sysconfig/network-scripts/
[root@nginx1 network-scripts]# vi ifcfg-eth0:0
# 以下是"ifcfg-eth0:0"的詳細配置
DEVICE=eth0:0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.230
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
# 重啟網絡服務
[root@nginx1 network-scripts]# service network restart
Shutting down interface eth0: Device state: 3 (disconnected)
[ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Active connection state: activated
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/2
[ OK ]
# 查看VIP是否生效
[root@nginx1 network-scripts]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:15:5D:01:CA:11
inet addr:192.168.1.233 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::215:5dff:fe01:ca11/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:4025628 errors:0 dropped:0 overruns:0 frame:0
TX packets:4960923 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:4762501119 (4.4 GiB) TX bytes:4820676229 (4.4 GiB)
eth0:0 Link encap:Ethernet HWaddr 00:15:5D:01:CA:11
inet addr:192.168.1.230 Bcast:192.168.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:3554 errors:0 dropped:0 overruns:0 frame:0
TX packets:3554 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:285168 (278.4 KiB) TX bytes:285168 (278.4 KiB)
啟動keepalived
至此，可以啟動keepalived了。
另外，無需事先啟動Nginx，因為檢查Nginx的腳本已經自帶拉起的功能
[root@nginx2 sbin]# service keepalived start
Starting keepalived: [ OK ]
驗證
- 模擬其中一臺的Nginx突然關閉，看是否能自動拉起
- 模擬其中一臺的keepalived突然關閉，看是否能自動切換
- 模擬其中一臺網卡突然失效，看是否能夠自動切換
- 模擬其中一臺突然宕機，看是否能自動切換
具體步驟略
