一、前言

上一文《從零開(kāi)始搭建Kubernetes集群（五、搭建K8S Ingress）》主要介紹了如何在K8S上搭建Ingress，以及如何通過(guò)Ingress訪問(wèn)后端服務(wù)。本篇將介紹如何在K8S上部署Redis集群。注意，這里所說(shuō)的Redis 集群，指Redis Cluster而非Sentinel模式集群。

下圖為Redis集群的架構(gòu)圖，每個(gè)Master都可以擁有多個(gè)Slave。當(dāng)Master下線后，Redis集群會(huì)從多個(gè)Slave中選舉出一個(gè)新的Master作為替代，而舊Master重新上線后變成新Master的Slave。

image.png

二、準(zhǔn)備操作

本次部署主要基于該項(xiàng)目：

https://github.com/zuxqoj/kubernetes-redis-cluster

其包含了兩種部署Redis集群的方式：

StatefulSet
Service&Deployment

兩種方式各有優(yōu)劣，對(duì)于像Redis、Mongodb、Zookeeper等有狀態(tài)的服務(wù)，使用StatefulSet是首選方式。本文將主要介紹如何使用StatefulSet進(jìn)行Redis集群的部署。

三、StatefulSet簡(jiǎn)介

StatefulSet的概念非常重要，簡(jiǎn)單來(lái)說(shuō)，其就是為了解決Pod重啟、遷移后，Pod的IP、主機(jī)名等網(wǎng)絡(luò)標(biāo)識(shí)會(huì)改變而帶來(lái)的問(wèn)題。IP變化對(duì)于有狀態(tài)的服務(wù)是難以接受的，如在Zookeeper集群的配置文件中，每個(gè)ZK節(jié)點(diǎn)都會(huì)記錄其他節(jié)點(diǎn)的地址信息：

tickTime=2000
dataDir=/home/myname/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.229.160:2888:3888
server.2=192.168.229.161:2888:3888
server.3=192.168.229.162:2888:3888

但若某個(gè)ZK節(jié)點(diǎn)的Pod重啟后改變了IP，那么就會(huì)導(dǎo)致該節(jié)點(diǎn)脫離集群，而如果該配置文件中不使用IP而使用IP對(duì)應(yīng)的域名，則可避免該問(wèn)題：

server.1=zk-node1:2888:3888
server.2=zk-node2:2888:3888
server.3=zk-node3:2888:3888

也即是說(shuō)，對(duì)于有狀態(tài)服務(wù)，我們最好使用固定的網(wǎng)絡(luò)標(biāo)識(shí)（如域名信息）來(lái)標(biāo)記節(jié)點(diǎn)，當(dāng)然這也需要應(yīng)用程序的支持（如Zookeeper就支持在配置文件中寫(xiě)入主機(jī)域名）。

StatefulSet基于Headless Service（即沒(méi)有Cluster IP的Service）為Pod實(shí)現(xiàn)了穩(wěn)定的網(wǎng)絡(luò)標(biāo)志（包括Pod的hostname和DNS Records），在Pod重新調(diào)度后也保持不變。同時(shí)，結(jié)合PV/PVC，StatefulSet可以實(shí)現(xiàn)穩(wěn)定的持久化存儲(chǔ)，就算Pod重新調(diào)度后，還是能訪問(wèn)到原先的持久化數(shù)據(jù)。

下圖為使用StatefulSet部署Redis的架構(gòu)，無(wú)論是Master還是Slave，都作為StatefulSet的一個(gè)副本，并且數(shù)據(jù)通過(guò)PV進(jìn)行持久化，對(duì)外暴露為一個(gè)Service，接受客戶端請(qǐng)求。

image.png

四、部署過(guò)程

本文參考項(xiàng)目的README中，簡(jiǎn)要介紹了基于StatefulSet的Redis創(chuàng)建步驟：

創(chuàng)建NFS存儲(chǔ)
創(chuàng)建PV
創(chuàng)建PVC
創(chuàng)建Configmap
創(chuàng)建headless服務(wù)
創(chuàng)建Redis StatefulSet
初始化Redis集群

這里，我們將參考如上步驟，實(shí)踐操作并詳細(xì)介紹Redis集群的部署過(guò)程。文中會(huì)涉及到很多K8S的概念，希望大家能提前了解學(xué)習(xí)。

1.創(chuàng)建NFS存儲(chǔ)

創(chuàng)建NFS存儲(chǔ)主要是為了給Redis提供穩(wěn)定的后端存儲(chǔ)，當(dāng)Redis的Pod重啟或遷移后，依然能獲得原先的數(shù)據(jù)。這里，我們先要?jiǎng)?chuàng)建NFS，然后通過(guò)使用PV為Redis掛載一個(gè)遠(yuǎn)程的NFS路徑。

安裝NFS

由于硬件資源有限，我們可以在k8s-node2上搭建。執(zhí)行如下命令安裝NFS和rpcbind：

yum -y install nfs-utils rpcbind

其中，NFS依靠遠(yuǎn)程過(guò)程調(diào)用(RPC)在客戶端和服務(wù)器端路由請(qǐng)求，因此需要安裝rpcbind服務(wù)。

然后，新增/etc/exports文件，用于設(shè)置需要共享的路徑：

/usr/local/k8s/redis/pv1 *(rw,all_squash)
/usr/local/k8s/redis/pv2 *(rw,all_squash)
/usr/local/k8s/redis/pv3 *(rw,all_squash)
/usr/local/k8s/redis/pv4 *(rw,all_squash)
/usr/local/k8s/redis/pv5 *(rw,all_squash)
/usr/local/k8s/redis/pv6 *(rw,all_squash)

如上，rw表示讀寫(xiě)權(quán)限；all_squash 表示客戶機(jī)上的任何用戶訪問(wèn)該共享目錄時(shí)都映射成服務(wù)器上的匿名用戶（默認(rèn)為nfsnobody）；*表示任意主機(jī)都可以訪問(wèn)該共享目錄，也可以填寫(xiě)指定主機(jī)地址，同時(shí)支持正則，如：

/root/share/ 192.168.1.20 (rw,all_squash)
/home/ljm/ *.gdfs.edu.cn (rw,all_squash)

由于我們打算創(chuàng)建一個(gè)6節(jié)點(diǎn)的Redis集群，所以共享了6個(gè)目錄。當(dāng)然，我們需要在k8s-node2上創(chuàng)建這些路徑，并且為每個(gè)路徑修改權(quán)限：

chmod 777 /usr/local/k8s/redis/pv*

這一步必不可少，否則掛載時(shí)會(huì)出現(xiàn)mount.nfs: access denied by server while mounting的權(quán)限錯(cuò)誤。

接著，啟動(dòng)NFS和rpcbind服務(wù)：

systemctl start rpcbind
systemctl start nfs

我們?cè)趉8s-node1上測(cè)試一下，執(zhí)行：

mount -t nfs 192.168.56.102:/usr/local/k8s/redis/pv1 /mnt

表示將k8s-node2上的共享目錄/usr/local/k8s/redis/pv1映射為k8s-node1的/mnt目錄，我們?cè)?mnt中創(chuàng)建文件：

touch haha

既可以在k8s-node2上看到該文件：

[root@k8s-node2 redis]# ll pv1
總用量 0
-rw-r--r--. 1 nfsnobody nfsnobody 0 5月   2 21:35 haha

可以看到用戶和組為nfsnobody。

創(chuàng)建PV

每一個(gè)Redis Pod都需要一個(gè)獨(dú)立的PV來(lái)存儲(chǔ)自己的數(shù)據(jù)，因此可以創(chuàng)建一個(gè)pv.yaml文件，包含6個(gè)PV：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv1"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vp2
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv2"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv3
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv3"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv4
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv4"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv5
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv5"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv6
spec:
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.56.102
    path: "/usr/local/k8s/redis/pv6"

如上，可以看到所有PV除了名稱(chēng)和掛載的路徑外都基本一致。執(zhí)行創(chuàng)建即可：

[root@k8s-node1 redis]# kubectl create -f pv.yaml 
persistentvolume "nfs-pv1" created
persistentvolume "nfs-pv2" created
persistentvolume "nfs-pv3" created
persistentvolume "nfs-pv4" created
persistentvolume "nfs-pv5" created
persistentvolume "nfs-pv6" created

2.創(chuàng)建Configmap

這里，我們可以直接將Redis的配置文件轉(zhuǎn)化為Configmap，這是一種更方便的配置讀取方式。配置文件redis.conf如下：

appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379

創(chuàng)建名為redis-conf的Configmap：

kubectl create configmap redis-conf --from-file=redis.conf

查看：

[root@k8s-node1 redis]# kubectl describe cm redis-conf
Name:         redis-conf
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
redis.conf:
----
appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379

Events:  <none>

如上，redis.conf中的所有配置項(xiàng)都保存到redis-conf這個(gè)Configmap中。

3.創(chuàng)建Headless service

Headless service是StatefulSet實(shí)現(xiàn)穩(wěn)定網(wǎng)絡(luò)標(biāo)識(shí)的基礎(chǔ)，我們需要提前創(chuàng)建。準(zhǔn)備文件headless-service.yml如下：

apiVersion: v1
kind: Service
metadata:
  name: redis-service
  labels:
    app: redis
spec:
  ports:
  - name: redis-port
    port: 6379
  clusterIP: None
  selector:
    app: redis
    appCluster: redis-cluster

創(chuàng)建：

kubectl create -f headless-service.yml

查看：

[root@k8s-node1 redis]# kubectl get svc redis-service
NAME            TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
redis-service   ClusterIP   None         <none>        6379/TCP   53s

可以看到，服務(wù)名稱(chēng)為redis-service，其CLUSTER-IP為None，表示這是一個(gè)“無(wú)頭”服務(wù)。

4.創(chuàng)建Redis 集群節(jié)點(diǎn)

創(chuàng)建好Headless service后，就可以利用StatefulSet創(chuàng)建Redis 集群節(jié)點(diǎn)，這也是本文的核心內(nèi)容。我們先創(chuàng)建redis.yml文件：

apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: redis-app
spec:
  serviceName: "redis-service"
  replicas: 6
  template:
    metadata:
      labels:
        app: redis
        appCluster: redis-cluster
    spec:
      terminationGracePeriodSeconds: 20
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - redis
              topologyKey: kubernetes.io/hostname
      containers:
      - name: redis
        image: "redis"
        command:
          - "redis-server"
        args:
          - "/etc/redis/redis.conf"
          - "--protected-mode"
          - "no"
        resources:
          requests:
            cpu: "100m"
            memory: "100Mi"
        ports:
            - name: redis
              containerPort: 6379
              protocol: "TCP"
            - name: cluster
              containerPort: 16379
              protocol: "TCP"
        volumeMounts:
          - name: "redis-conf"
            mountPath: "/etc/redis"
          - name: "redis-data"
            mountPath: "/var/lib/redis"
      volumes:
      - name: "redis-conf"
        configMap:
          name: "redis-conf"
          items:
            - key: "redis.conf"
              path: "redis.conf"
  volumeClaimTemplates:
  - metadata:
      name: redis-data
    spec:
      accessModes: [ "ReadWriteMany" ]
      resources:
        requests:
          storage: 200M

如上，總共創(chuàng)建了6個(gè)Redis節(jié)點(diǎn)(Pod)，其中3個(gè)將用于master，另外3個(gè)分別作為master的slave；Redis的配置通過(guò)volume將之前生成的redis-conf這個(gè)Configmap，掛載到了容器的/etc/redis/redis.conf；Redis的數(shù)據(jù)存儲(chǔ)路徑使用volumeClaimTemplates聲明（也就是PVC），其會(huì)綁定到我們先前創(chuàng)建的PV上。

這里有一個(gè)關(guān)鍵概念——Affinity，請(qǐng)參考官方文檔詳細(xì)了解。其中，podAntiAffinity表示反親和性，其決定了某個(gè)pod不可以和哪些Pod部署在同一拓?fù)溆颍梢杂糜趯⒁粋€(gè)服務(wù)的POD分散在不同的主機(jī)或者拓?fù)溆蛑校岣叻?wù)本身的穩(wěn)定性。

而PreferredDuringSchedulingIgnoredDuringExecution 則表示，在調(diào)度期間盡量滿足親和性或者反親和性規(guī)則，如果不能滿足規(guī)則，POD也有可能被調(diào)度到對(duì)應(yīng)的主機(jī)上。在之后的運(yùn)行過(guò)程中，系統(tǒng)不會(huì)再檢查這些規(guī)則是否滿足。

在這里，matchExpressions規(guī)定了Redis Pod要盡量不要調(diào)度到包含app為redis的Node上，也即是說(shuō)已經(jīng)存在Redis的Node上盡量不要再分配Redis Pod了。但是，由于我們只有三個(gè)Node，而副本有6個(gè)，因此根據(jù)PreferredDuringSchedulingIgnoredDuringExecution，這些豌豆不得不得擠一擠，擠擠更健康~

另外，根據(jù)StatefulSet的規(guī)則，我們生成的Redis的6個(gè)Pod的hostname會(huì)被依次命名為 $(statefulset名稱(chēng))-$ (序號(hào))，如下圖所示：

[root@k8s-node1 redis]# kubectl get pods -o wide
NAME          READY     STATUS      RESTARTS   AGE       IP                NODE
dns-test      0/1       Completed   0          52m       192.168.169.208   k8s-node2
redis-app-0   1/1       Running     0          1h        192.168.169.207   k8s-node2
redis-app-1   1/1       Running     0          1h        192.168.169.197   k8s-node2
redis-app-2   1/1       Running     0          1h        192.168.169.198   k8s-node2
redis-app-3   1/1       Running     0          1h        192.168.169.205   k8s-node2
redis-app-4   1/1       Running     0          1h        192.168.169.200   k8s-node2
redis-app-5   1/1       Running     0          1h        192.168.169.201   k8s-node2

如上，可以看到這些Pods在部署時(shí)是以{0..N-1}的順序依次創(chuàng)建的。注意，直到redis-app-0狀態(tài)啟動(dòng)后達(dá)到Running狀態(tài)之后，redis-app-1 才開(kāi)始啟動(dòng)。

同時(shí)，每個(gè)Pod都會(huì)得到集群內(nèi)的一個(gè)DNS域名，格式為$(podname).$(service name).$(namespace).svc.cluster.local，也即是：

redis-app-0.redis-service.default.svc.cluster.local
redis-app-1.redis-service.default.svc.cluster.local
...以此類(lèi)推...

在K8S集群內(nèi)部，這些Pod就可以利用該域名互相通信。我們可以使用busybox鏡像的nslookup檢驗(yàn)這些域名：

[root@k8s-node1 ~]# kubectl run -i --tty --image busybox dns-test --restart=Never --rm /bin/sh 
If you don't see a command prompt, try pressing enter.
/ # nslookup redis-app-0.redis-service
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      redis-app-0.redis-service
Address 1: 192.168.169.207 redis-app-0.redis-service.default.svc.cluster.local

可以看到， redis-app-0的IP為192.168.169.207。當(dāng)然，若Redis Pod遷移或是重啟（我們可以手動(dòng)刪除掉一個(gè)Redis Pod來(lái)測(cè)試），則IP是會(huì)改變的，但Pod的域名、SRV records、A record都不會(huì)改變。

另外可以發(fā)現(xiàn)，我們之前創(chuàng)建的pv都被成功綁定了：

[root@k8s-node1 ~]# kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM                            STORAGECLASS   REASON    AGE
nfs-pv1   200M       RWX            Retain           Bound     default/redis-data-redis-app-2                            1h
nfs-pv2   200M       RWX            Retain           Bound     default/redis-data-redis-app-3                            1h
nfs-pv3   200M       RWX            Retain           Bound     default/redis-data-redis-app-4                            1h
nfs-pv4   200M       RWX            Retain           Bound     default/redis-data-redis-app-5                            1h
nfs-pv5   200M       RWX            Retain           Bound     default/redis-data-redis-app-0                            1h
nfs-pv6   200M       RWX            Retain           Bound     default/redis-data-redis-app-1                            1h

5.初始化Redis集群

創(chuàng)建好6個(gè)Redis Pod后，我們還需要利用常用的Redis-tribe工具進(jìn)行集群的初始化。

創(chuàng)建Ubuntu容器

由于Redis集群必須在所有節(jié)點(diǎn)啟動(dòng)后才能進(jìn)行初始化，而如果將初始化邏輯寫(xiě)入Statefulset中，則是一件非常復(fù)雜而且低效的行為。這里，本人不得不稱(chēng)贊一下原項(xiàng)目作者的思路，值得學(xué)習(xí)。也就是說(shuō)，我們可以在K8S上創(chuàng)建一個(gè)額外的容器，專(zhuān)門(mén)用于進(jìn)行K8S集群內(nèi)部某些服務(wù)的管理控制。

這里，我們專(zhuān)門(mén)啟動(dòng)一個(gè)Ubuntu的容器，可以在該容器中安裝Redis-tribe，進(jìn)而初始化Redis集群，執(zhí)行：

kubectl run -i --tty ubuntu --image=ubuntu --restart=Never /bin/bash

成功后，我們可以進(jìn)入ubuntu容器中，原項(xiàng)目要求執(zhí)行如下命令安裝基本的軟件環(huán)境：

apt-get update
apt-get install -y vim wget python2.7 python-pip redis-tools dnsutils

但是，需要注意的是，在我們天朝，執(zhí)行上述命令前需要提前做一件必要的工作——換源，否則你懂得。我們使用阿里云的Ubuntu源，執(zhí)行：

root@ubuntu:/# cat > /etc/apt/sources.list << EOF
> deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> 
> deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> 
> deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> 
> deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> 
> deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
> EOF

源修改完畢后，就可以執(zhí)行上面的兩個(gè)命令。

初始化集群

首先，我們需要安裝redis-trib：

pip install redis-trib

然后，創(chuàng)建只有Master節(jié)點(diǎn)的集群：

redis-trib.py create \
  `dig +short redis-app-0.redis-service.default.svc.cluster.local`:6379 \
  `dig +short redis-app-1.redis-service.default.svc.cluster.local`:6379 \
  `dig +short redis-app-2.redis-service.default.svc.cluster.local`:6379

如上，命令dig +short redis-app-0.redis-service.default.svc.cluster.local用于將Pod的域名轉(zhuǎn)化為IP，這是因?yàn)?code>redis-trib不支持域名來(lái)創(chuàng)建集群。

其次，為每個(gè)Master添加Slave：

redis-trib.py replicate \
  --master-addr `dig +short redis-app-0.redis-service.default.svc.cluster.local`:6379 \
  --slave-addr `dig +short redis-app-3.redis-service.default.svc.cluster.local`:6379

redis-trib.py replicate \
  --master-addr `dig +short redis-app-1.redis-service.default.svc.cluster.local`:6379 \
  --slave-addr `dig +short redis-app-4.redis-service.default.svc.cluster.local`:6379

redis-trib.py replicate \
  --master-addr `dig +short redis-app-2.redis-service.default.svc.cluster.local`:6379 \
  --slave-addr `dig +short redis-app-5.redis-service.default.svc.cluster.local`:6379

至此，我們的Redis集群就真正創(chuàng)建完畢了，連到任意一個(gè)Redis Pod中檢驗(yàn)一下：

root@k8s-node1 ~]# kubectl exec -it redis-app-2 /bin/bash
root@redis-app-2:/data# /usr/local/bin/redis-cli -c
127.0.0.1:6379> cluster nodes
c15f378a604ee5b200f06cc23e9371cbc04f4559 192.168.169.197:6379@16379 master - 0 1526454835084 1 connected 10923-16383
96689f2018089173e528d3a71c4ef10af68ee462 192.168.169.204:6379@16379 slave d884c4971de9748f99b10d14678d864187a9e5d3 0 1526454836491 4 connected
d884c4971de9748f99b10d14678d864187a9e5d3 192.168.169.199:6379@16379 master - 0 1526454835487 4 connected 5462-10922
c3b4ae23c80ffe31b7b34ef29dd6f8d73beaf85f 192.168.169.198:6379@16379 myself,master - 0 1526454835000 3 connected 0-5461
c8a8f70b4c29333de6039c47b2f3453ed11fb5c2 192.168.169.201:6379@16379 slave c3b4ae23c80ffe31b7b34ef29dd6f8d73beaf85f 0 1526454836000 3 connected
237d46046d9b75a6822f02523ab894928e2300e6 192.168.169.200:6379@16379 slave c15f378a604ee5b200f06cc23e9371cbc04f4559 0 1526454835000 1 connected
127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:4
...省略...

另外，還可以在NFS上查看Redis掛載的數(shù)據(jù)：

[root@k8s-node2 ~]# ll /usr/local/k8s/redis/pv3/
總用量 8
-rw-r--r--. 1 nfsnobody nfsnobody   0 5月  16 15:07 appendonly.aof
-rw-r--r--. 1 nfsnobody nfsnobody 175 5月  16 15:07 dump.rdb
-rw-r--r--. 1 nfsnobody nfsnobody 817 5月  16 16:55 nodes.conf

6.創(chuàng)建用于訪問(wèn)Service

前面我們創(chuàng)建了用于實(shí)現(xiàn)StatefulSet的Headless Service，但該Service沒(méi)有Cluster Ip，因此不能用于外界訪問(wèn)。所以，我們還需要?jiǎng)?chuàng)建一個(gè)Service，專(zhuān)用于為Redis集群提供訪問(wèn)和負(fù)載均：

piVersion: v1
kind: Service
metadata:
  name: redis-access-service
  labels:
    app: redis
spec:
  ports:
  - name: redis-port
    protocol: "TCP"
    port: 6379
    targetPort: 6379
  selector:
    app: redis
    appCluster: redis-cluster

如上，該Service名稱(chēng)為 redis-access-service，在K8S集群中暴露6379端口，并且會(huì)對(duì)labels name為app: redis或appCluster: redis-cluster的pod進(jìn)行負(fù)載均衡。

創(chuàng)建后查看：

[root@k8s-node1 redis]# kubectl get svc redis-access-service -o wide
NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE       SELECTOR
redis-access-service   ClusterIP   10.105.11.209   <none>        6379/TCP   41m       app=redis,appCluster=redis-cluster

如上，在K8S集群中，所有應(yīng)用都可以通過(guò)10.105.11.209:6379來(lái)訪問(wèn)Redis集群。當(dāng)然，為了方便測(cè)試，我們也可以為Service添加一個(gè)NodePort映射到物理機(jī)上，這里不再詳細(xì)介紹。

五、測(cè)試主從切換

在K8S上搭建完好Redis集群后，我們最關(guān)心的就是其原有的高可用機(jī)制是否正常。這里，我們可以任意挑選一個(gè)Master的Pod來(lái)測(cè)試集群的主從切換機(jī)制，如redis-app-2：

[root@k8s-node1 redis]# kubectl get pods redis-app-2 -o wide
NAME          READY     STATUS    RESTARTS   AGE       IP                NODE
redis-app-2   1/1       Running   0          2h        192.168.169.198   k8s-node2

進(jìn)入redis-app-2查看：

[root@k8s-node1 redis]#  kubectl exec -it redis-app-2 /bin/bash
root@redis-app-2:/data# /usr/local/bin/redis-cli -c
127.0.0.1:6379> role
1) "master"
2) (integer) 8666
3) 1) 1) "192.168.169.201"
      2) "6379"
      3) "8666"
127.0.0.1:6379>

如上可以看到，其為master，slave為192.168.169.201即redis-app-5`。

接著，我們手動(dòng)刪除redis-app-2：

[root@k8s-node1 redis]# kubectl delete pods redis-app-2
pod "redis-app-2" deleted

[root@k8s-node1 redis]# kubectl get pods redis-app-2 -o wide
NAME          READY     STATUS    RESTARTS   AGE       IP                NODE
redis-app-2   1/1       Running   0          20s       192.168.169.210   k8s-node2

如上，IP改變?yōu)?code>192.168.169.210。我們?cè)龠M(jìn)入redis-app-2內(nèi)部查看：

[root@k8s-node1 redis]# kubectl exec -it redis-app-2 /bin/bash
root@redis-app-2:/data# /usr/local/bin/redis-cli -c
127.0.0.1:6379> role
1) "slave"
2) "192.168.169.201"
3) (integer) 6379
4) "connected"
5) (integer) 8960
127.0.0.1:6379>

如上，redis-app-2變成了slave，從屬于它之前的從節(jié)點(diǎn)192.168.169.201即redis-app-5。

六、疑問(wèn)

至此，大家可能會(huì)疑惑，前面講了這么多似乎并沒(méi)有體現(xiàn)出StatefulSet的作用，其提供的穩(wěn)定標(biāo)志redis-app-*僅在初始化集群的時(shí)候用到，而后續(xù)Redis Pod的通信或配置文件中并沒(méi)有使用該標(biāo)志。我想說(shuō)，是的，本文使用StatefulSet部署Redis確實(shí)沒(méi)有體現(xiàn)出其優(yōu)勢(shì)，還不如介紹Zookeeper集群來(lái)的明顯，不過(guò)沒(méi)關(guān)系，學(xué)到知識(shí)就好。

那為什么沒(méi)有使用穩(wěn)定的標(biāo)志，Redis Pod也能正常進(jìn)行故障轉(zhuǎn)移呢？這涉及了Redis本身的機(jī)制。因?yàn)椋琑edis集群中每個(gè)節(jié)點(diǎn)都有自己的NodeId（保存在自動(dòng)生成的nodes.conf中），并且該NodeId不會(huì)隨著IP的變化和變化，這其實(shí)也是一種固定的網(wǎng)絡(luò)標(biāo)志。也就是說(shuō)，就算某個(gè)Redis Pod重啟了，該P(yáng)od依然會(huì)加載保存的NodeId來(lái)維持自己的身份。我們可以在NFS上查看redis-app-1的nodes.conf文件：

[root@k8s-node2 ~]# cat /usr/local/k8s/redis/pv1/nodes.conf 
96689f2018089173e528d3a71c4ef10af68ee462 192.168.169.209:6379@16379 slave d884c4971de9748f99b10d14678d864187a9e5d3 0 1526460952651 4 connected
237d46046d9b75a6822f02523ab894928e2300e6 192.168.169.200:6379@16379 slave c15f378a604ee5b200f06cc23e9371cbc04f4559 0 1526460952651 1 connected
c15f378a604ee5b200f06cc23e9371cbc04f4559 192.168.169.197:6379@16379 master - 0 1526460952651 1 connected 10923-16383
d884c4971de9748f99b10d14678d864187a9e5d3 192.168.169.205:6379@16379 master - 0 1526460952651 4 connected 5462-10922
c3b4ae23c80ffe31b7b34ef29dd6f8d73beaf85f 192.168.169.198:6379@16379 myself,slave c8a8f70b4c29333de6039c47b2f3453ed11fb5c2 0 1526460952565 3 connected
c8a8f70b4c29333de6039c47b2f3453ed11fb5c2 192.168.169.201:6379@16379 master - 0 1526460952651 6 connected 0-5461
vars currentEpoch 6 lastVoteEpoch 4

如上，第一列為NodeId，穩(wěn)定不變；第二列為IP和端口信息，可能會(huì)改變。

這里，我們介紹NodeId的兩種使用場(chǎng)景：

當(dāng)某個(gè)Slave Pod斷線重連后IP改變，但是Master發(fā)現(xiàn)其N(xiāo)odeId依舊，就認(rèn)為該Slave還是之前的Slave。
當(dāng)某個(gè)Master Pod下線后，集群在其Slave中選舉重新的Master。待舊Master上線后，集群發(fā)現(xiàn)其N(xiāo)odeId依舊，會(huì)讓舊Master變成新Master的slave。

對(duì)于這兩種場(chǎng)景，大家有興趣的話還可以自行測(cè)試，注意要觀察Redis的日志。

七、廢話

至此，我們的Redis集群就搭建完畢了。如果大家有興趣，可以嘗試使用Service配合Deployment方式來(lái)部署Redis集群，該方式相對(duì)來(lái)說(shuō)更容易理解。下一章節(jié)《從零開(kāi)始搭建Kubernetes集群（七、如何監(jiān)控K8S集群的日志）》，敬請(qǐng)期待。

本人水平有限，難免有錯(cuò)誤或遺漏之處，望大家指正和諒解，歡迎評(píng)論留言。

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

從零開(kāi)始搭建Kubernetes集群（六、在K8S上部署Redis 集群）

從零開(kāi)始搭建Kubernetes集群（六、在K8S上部署Redis 集群）

一、前言

二、準(zhǔn)備操作

三、StatefulSet簡(jiǎn)介

四、部署過(guò)程

1.創(chuàng)建NFS存儲(chǔ)

安裝NFS

創(chuàng)建PV

2.創(chuàng)建Configmap

3.創(chuàng)建Headless service

4.創(chuàng)建Redis 集群節(jié)點(diǎn)

5.初始化Redis集群

創(chuàng)建Ubuntu容器

初始化集群

6.創(chuàng)建用于訪問(wèn)Service

五、測(cè)試主從切換

六、疑問(wèn)

七、廢話

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

從零開(kāi)始搭建Kubernetes集群（六、在K8S上部署Redis 集群）

一、前言

二、準(zhǔn)備操作

三、StatefulSet簡(jiǎn)介

四、部署過(guò)程

1.創(chuàng)建NFS存儲(chǔ)

安裝NFS

創(chuàng)建PV

2.創(chuàng)建Configmap

3.創(chuàng)建Headless service

4.創(chuàng)建Redis 集群節(jié)點(diǎn)

5.初始化Redis集群

創(chuàng)建Ubuntu容器

初始化集群

6.創(chuàng)建用于訪問(wèn)Service

五、測(cè)試主從切換

六、疑問(wèn)

七、廢話

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频