上一篇我們的基本工作已經準備完成，這篇我們說重要的安裝過程。
kubernetes 相關服務安裝
- 在 kubernetes 所有節點上驗證 SELINUX 模式，必須保證 SELINUX 為 permissive 模式，否則 kubernetes 啟動會出現各種異常。
[root@k8s-master1 yaml]# getenforcePermissive
- 在 kubernetes 所有節點上安裝并啟動 kubernetes 和 docker
yum install -y kubernetes-cni-0.6.0-0.x86_64 kubelet-1.10.3-0.x86_64 kubectl-1.10.3-0.x86_64 kubeadm-1.10.3-0.x86_64systemctl enable docker && systemctl start dockersystemctl enable kubelet && systemctl start kubelet
- 獨立 etcd 集群部署
- 在 k8s-master1 節點上以 docker 方式啟動 etcd 集群
$ docker stop etcd && docker rm etcd$ rm -rf /var/lib/etcd-cluster$ mkdir -p /var/lib/etcd-cluster$ docker run -d \--restart always \-v /etc/ssl/certs:/etc/ssl/certs \-v /var/lib/etcd-cluster:/var/lib/etcd \-p 4001:4001 \-p 2380:2380 \-p 2379:2379 \--name etcd \k8s.gcr.io/etcd-amd64:3.2.17 \etcd --name=etcd0 \--advertise-client-urls=http://172.24.12.32:2379,http://172.24.12.32:4001 \--listen-client-urls=http://0.0.0.0:2379,http://0.0.0.0:4001 \--initial-advertise-peer-urls=http://172.24.12.32:2380 \--listen-peer-urls=http://0.0.0.0:2380 \--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd \--initial-cluster=etcd0=http://172.24.12.32:2380,etcd1=http://172.24.12.33:2380,etcd2=http://172.24.12.34:2380 \--initial-cluster-state=new \--auto-tls \--peer-auto-tls \--data-dir=/var/lib/etcd
- 在 k8s-master2 節點上以 docker 方式啟動 etcd 集群
$ docker stop etcd && docker rm etcd$ rm -rf /var/lib/etcd-cluster$ mkdir -p /var/lib/etcd-cluster$ docker run -d \--restart always \-v /etc/ssl/certs:/etc/ssl/certs \-v /var/lib/etcd-cluster:/var/lib/etcd \-p 4001:4001 \-p 2380:2380 \-p 2379:2379 \--name etcd \k8s.gcr.io/etcd-amd64:3.2.17 \etcd --name=etcd1 \--advertise-client-urls=http://172.24.12.33:2379,http://172.24.12.33:4001 \--listen-client-urls=http://0.0.0.0:2379,http://0.0.0.0:4001 \--initial-advertise-peer-urls=http://172.24.12.33:2380 \--listen-peer-urls=http://0.0.0.0:2380 \--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd \--initial-cluster=etcd0=http://172.24.12.32:2380,etcd1=http://172.24.12.33:2380,etcd2=http://172.24.12.34:2380 \--initial-cluster-state=new \--auto-tls \--peer-auto-tls \--data-dir=/var/lib/etcd
- 在 k8s-master3 節點上以 docker 方式啟動 etcd 集群
$ docker stop etcd && docker rm etcd$ rm -rf /var/lib/etcd-cluster$ mkdir -p /var/lib/etcd-cluster$ docker run -d \--restart always \-v /etc/ssl/certs:/etc/ssl/certs \-v /var/lib/etcd-cluster:/var/lib/etcd \-p 4001:4001 \-p 2380:2380 \-p 2379:2379 \--name etcd \k8s.gcr.io/etcd-amd64:3.2.17 \etcd --name=etcd2 \--advertise-client-urls=http://172.24.12.34:2379,http://172.24.12.34:4001 \--listen-client-urls=http://0.0.0.0:2379,http://0.0.0.0:4001 \--initial-advertise-peer-urls=http://172.24.12.34:2380 \--listen-peer-urls=http://0.0.0.0:2380 \--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd \--initial-cluster=etcd0=http://172.24.12.32:2380,etcd1=http://172.24.12.33:2380,etcd2=http://172.24.12.34:2380 \--initial-cluster-state=new \--auto-tls \--peer-auto-tls \--data-dir=/var/lib/etcd
- 在 k8s-master1、k8s-master2、k8s-master3 上檢查 etcd 啟動狀態
[root@k8s-master1 yaml]# docker exec -ti etcd ash/ # etcdctl member list7952c466eeed1e71: name=etcd0 peerURLs=http://172.24.12.32:2380 clientURLs=http://172.24.12.32:2379,http://172.24.12.32:4001 isLeader=falseea0f9c89ab07d1c2: name=etcd2 peerURLs=http://172.24.12.34:2380 clientURLs=http://172.24.12.34:2379,http://172.24.12.34:4001 isLeader=truefd15cb75a309af35: name=etcd1 peerURLs=http://172.24.12.33:2380 clientURLs=http://172.24.12.33:2379,http://172.24.12.33:4001 isLeader=false/ # etcdctl cluster-healthmember 7952c466eeed1e71 is healthy: got healthy result from http://172.24.12.32:2379member ea0f9c89ab07d1c2 is healthy: got healthy result from http://172.24.12.34:2379member fd15cb75a309af35 is healthy: got healthy result from http://172.24.12.33:2379cluster is healthy/ # exit
- kubeadm 初始化
- 在 k8s-master1 上修改 kubeadm-init.yaml 文件，設置 etcd.endpoints 的
${HOST_IP}為 k8s-master1、k8s-master2、k8s-master3 的 IP 地址
[root@k8s-master1 yaml]# cat kubeadm-init.yamlapiVersion: kubeadm.k8s.io/v1alpha1kind: MasterConfigurationkubernetesVersion: v1.10.3networking: podSubnet: 10.244.0.0/16apiServerCertSANs:- k8s-master1- k8s-master2- k8s-master3- 172.24.12.32- 172.24.12.33- 172.24.12.34- 172.24.12.80etcd: endpoints: - http://172.24.12.32:2379 - http://172.24.12.33:2379 - http://172.24.12.34:2379
注：如果使用kubeadm初始化集群，啟動過程可能會卡在以下位置，那么可能是因為 cgroup-driver 參數與 docker 的不一致引起，如下：
[apiclient] Created API client, waiting for the control plane to become ready$ journalctl -t kubelet -S '2017-06-08' #查看日志，發現如下錯誤error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "systemd"
需要修改 KUBELET_CGROUP_ARGS=--cgroup-driver=systemd 為 KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs
$ vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf#Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"
- 在 k8s-master1 上使用 kubeadm 初始化 kubernetes 集群，連接外部 etcd 集群
$ kubeadm init --config=/home/yaml/kubeadm-init.yaml
- 在 k8s-master1 上設置 kubectl 的環境變量 KUBECONFIG，連接 kubelet
$ vi ~/.bashrc export KUBECONFIG=/etc/kubernetes/admin.conf$ source ~/.bashrc
- flannel 網絡組件安裝
$ kubectl create -f /home/yaml/kube-flannel.yml
在 k8s-master1 上驗證 kube-dns 成功啟動，大概等待3分鐘，驗證所有 pods 的狀態為 Running，驗證方式見 k8s-測試dns
$ kubectl get pods --all-namespaces -o wide
- dashboard 和 heapster 組件安裝
kubectl create -f /home/yaml/kubernetes-dashboard-admin.rbac.yamlkubectl create -f /home/yaml/kubernetes-dashboard.yaml
注：在 k8s-master1 上允許在 master 上部署 pod，否則 heapster 會無法部署，執行以下命令：
$ kubectl taint nodes --all node-role.kubernetes.io/master-node "k8s-master1" taintedkubectl create -f /home/yaml/heapster-rbac.yamlkubectl create -f /home/yaml/heapster.yaml
在本機上訪問 dashboard 地址 http://172.24.12.32:30090，驗證 heapster 成功啟動，查看 Pods 的 CPU 以及 Memory 信息是否正常呈現，如下：
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">dashboard</figcaption>
至此，第一臺 master 成功安裝，并已經完成 flannel、dashboard、heapster 的部署。
master 集群高可用設置
- 在 k8s-master1 上把 /etc/kubernetes/ 復制到 k8s-master2、k8s-master3
- 在 k8s-master2、k8s-master3 上重啟 kubelet 服務，并檢查 kubelet 服務狀態為 active (running)
systemctl daemon-reload && systemctl restart kubelet
- 在 k8s-master2、k8s-master3 上設置 kubectl 的環境變量 KUBECONFIG，連接 kubelet
$ vi ~/.bashrcexport KUBECONFIG=/etc/kubernetes/admin.conf$ source ~/.bashrc
- 在 k8s-master2、k8s-master3 檢測節點狀態，發現節點已經加進來
[root@k8s-master1 yaml]# kubectl get nodes -o wide
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">nodes</figcaption>
- 在 k8s-master2、k8s-master3 上修改 kube-apiserver.yaml 的配置，
${HOST_IP}改為本機 IP
$ vi /etc/kubernetes/manifests/kube-apiserver.yaml- --advertise-address=${HOST_IP}
- 在 k8s-master2 和 k8s-master3 上的修改 kubelet.conf 設置，
${HOST_IP}改為本機 IP
$ vi /etc/kubernetes/kubelet.confserver: https://${HOST_IP}:6443
- 在 k8s-master2 和 k8s-master3 上的重啟服務
$ systemctl daemon-reload && systemctl restart docker kubelet
- 創建證書
(1)在 k8s-master2 和 k8s-master3 上修改 kubelet.conf 后，由于 kubelet.conf 配置的 crt 和 key 與本機 IP 地址不一致的情況，kubelet 服務會異常退出，crt 和 key 必須重新制作。查看 apiserver.crt 的簽名信息，發現 IP Address 以及 DNS 綁定了 k8s-master1，必須進行相應修改。
$ openssl x509 -noout -text -in /etc/kubernetes/pki/apiserver.crt
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">k8s-apiserver.crt</figcaption>
(2)在 k8s-master1、k8s-master2、k8s-master3 上使用 ca.key 和 ca.crt 制作 apiserver.crt 和
apiserver.key
$ mkdir -p /etc/kubernetes/pki-local$ cd /etc/kubernetes/pki-local
(3)在 k8s-master1、k8s-master2、k8s-master3 上生成 2048 位的密鑰對
$ openssl genrsa -out apiserver.key 2048
(4)在 k8s-master1、k8s-master2、k8s-master3 上生成證書簽署請求文件
$ openssl req -new -key apiserver.key -subj "/CN=kube-apiserver," -out apiserver.csr
(5)在 k8s-master1、k8s-master2、k8s-master3 上編輯 apiserver.ext 文件，${HOST_NAME}修改為本機主機名，${HOST_IP}修改為本機 IP 地址，${VIRTUAL_IP}修改為 keepalived 的虛擬 IP（172.24.12.80）
$ vi apiserver.extsubjectAltName = DNS:${HOST_NAME},DNS:kubernetes,DNS:kubernetes.default,DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP:10.96.0.1, IP:${HOST_IP}, IP:${VIRTUAL_IP}
(6)在 k8s-master1、k8s-master2、k8s-master3 上使用 ca.key 和 ca.crt 簽署上述請求
$ openssl x509 -req -in apiserver.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out apiserver.crt -days 365 -extfile /etc/kubernetes/pki-local/apiserver.ext
(7)在 k8s-master1、k8s-master2、k8s-master3 上查看新生成的證書：
$ openssl x509 -noout -text -in apiserver.crt
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">k8s-apiserver.crt2</figcaption>
(8)在 k8s-master1、k8s-master2、k8s-master3 上把 apiserver.crt 和 apiserver.key 文件復制到 /etc/kubernetes/pki 目錄
cp apiserver.crt apiserver.key /etc/kubernetes/pki/
- 在 k8s-master2 和 k8s-master3 上修改 admin.conf，
${HOST_IP}修改為本機 IP 地址
$ vi /etc/kubernetes/admin.confserver: https://${HOST_IP}:6443
- 在 k8s-master2 和 k8s-master3 上修改 controller-manager.conf，
${HOST_IP}修改為本機 IP 地址
$ vi /etc/kubernetes/controller-manager.confserver: https://${HOST_IP}:6443
- 在 k8s-master2 和 k8s-master3 上修改 scheduler.conf，
${HOST_IP}修改為本機 IP 地址
$ vi /etc/kubernetes/scheduler.confserver: https://${HOST_IP}:6443
- 在 k8s-master1、k8s-master2、k8s-master3 上重啟所有服務
$ systemctl daemon-reload && systemctl restart docker kubelet
驗證高可用安裝
- 在 k8s-master1、k8s-master2、k8s-master3 任意節點上檢測服務啟動情況，發現 apiserver、controller-manager、kube-scheduler、proxy、flannel 已經在 k8s-master1、k8s-master2、k8s-master3 成功啟動
$ kubectl get pod --all-namespaces -o wide | grep k8s-master1$ kubectl get pod --all-namespaces -o wide | grep k8s-master2$ kubectl get pod --all-namespaces -o wide | grep k8s-master3
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">服務啟動情況</figcaption>
- 在 k8s-master1、k8s-master2、k8s-master3 任意節點上通過 kubectl logs 檢查各個 controller-manager 和 scheduler 的 leader election 結果，可以發現只有一個節點有效表示選舉正常
$ kubectl logs -n kube-system kube-controller-manager-k8s-master1$ kubectl logs -n kube-system kube-controller-manager-k8s-master2$ kubectl logs -n kube-system kube-controller-manager-k8s-master3$ kubectl logs -n kube-system kube-scheduler-k8s-master1$ kubectl logs -n kube-system kube-scheduler-k8s-master2$ kubectl logs -n kube-system kube-scheduler-k8s-master3
- 在 k8s-master1、k8s-master2、k8s-master3 任意節點上查看 deployment 的情況
$ kubectl get deploy --all-namespaces
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">deployment的情況</figcaption>
- 在 k8s-master1、k8s-master2、k8s-master3 任意節點上把 kubernetes-dashboard、kube-dns、 scale up 擴成 replicas=3，保證各個 master 節點上都有運行
$ kubectl scale --replicas=3 -n kube-system deployment/kube-dns$ kubectl get pods --all-namespaces -o wide| grep kube-dns$ kubectl scale --replicas=3 -n kube-system deployment/kubernetes-dashboard$ kubectl get pods --all-namespaces -o wide| grep kubernetes-dashboard$ kubectl scale --replicas=3 -n kube-system deployment/heapster$ kubectl get pods --all-namespaces -o wide| grep heapster
keepalived 安裝配置
- 在 k8s-master、k8s-master2、k8s-master3 上安裝 keepalived
$ yum install -y keepalived$ systemctl enable keepalived && systemctl restart keepalived
- 在 k8s-master1、k8s-master2、k8s-master3 上備份 keepalived 配置文件
$ mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
- 在 k8s-master1、k8s-master2、k8s-master3 上設置 apiserver 監控腳本，當 apiserver 檢測失敗的時候關閉 keepalived 服務，轉移虛擬 IP 地址
$ vi /etc/keepalived/check_apiserver.sh#!/bin/bash err=0 for k in $( seq 1 10 ) do check_code=$(ps -ef|grep kube-apiserver | wc -l) if [ "$check_code" = "1" ]; then err=$(expr $err + 1) sleep 5 continue else err=0 break fi done if [ "$err" != "0" ]; then echo "systemctl stop keepalived" /usr/bin/systemctl stop keepalived exit 1 else exit 0 fi$ chmod a+x /etc/keepalived/check_apiserver.sh
- 在 k8s-master1、k8s-master2、k8s-master3 上查看接口名字
$ ip a | grep 172.24.12
- 在 k8s-master1、k8s-master2、k8s-master3 上設置 keepalived，參數說明如下：
state${STATE}：為 MASTER 或者 BACKUP，只能有一個 MASTER
interface${INTERFACE_NAME}：為本機的需要綁定的接口名字（通過上邊的 ip a 命令查看）
mcast_src_ip${HOST_IP}：為本機的IP地址
priority${PRIORITY}：為優先級，例如 102、101、100，優先級越高越容易選擇為 MASTER，優先級不能一樣， master設置應高于 backup
${VIRTUAL_IP}：為虛擬的 IP 地址，這里設置為 172.24.12.80
$ vi /etc/keepalived/keepalived.conf
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">keepalived參數設置</figcaption>
- 在 k8s-master1、k8s-master2、k8s-master3 上重啟 keepalived 服務，檢測虛擬 IP 地址是否生效
$ systemctl restart keepalived$ ping 172.24.12.80
nginx負載均衡配置
- 在 k8s-master1、k8s-master2、k8s-master3 上修改 nginx-default.conf設置，
${HOST_IP}對應 k8s-master1、k8s-master2、k8s-master3 的地址。通過 nginx 把訪問 apiserver 的 6443 端口負載均衡到 8433 端口上
$ vi /home/yaml/nginx-default.confstream { upstream apiserver { server ${HOST_IP}:6443 weight=5 max_fails=3 fail_timeout=30s; server ${HOST_IP}:6443 weight=5 max_fails=3 fail_timeout=30s; server ${HOST_IP}:6443 weight=5 max_fails=3 fail_timeout=30s; } server { listen 8443; proxy_connect_timeout 1s; proxy_timeout 3s; proxy_pass apiserver; } }
- 在 k8s-master1、k8s-master2、k8s-master3 上啟動 nginx 容器
$ docker run -d -p 8443:8443 \ --name nginx-lb \ --restart always \ -v /home/yaml/nginx-default.conf:/etc/nginx/nginx.conf \ nginx
- 在 k8s-master1、k8s-master2、k8s-master3 上檢測 keepalived 服務的虛擬 IP 地址指向
$ curl -L 192.168.60.80:8443 | wc -l% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 14 0 14 0 0 18324 0 --:--:-- --:--:-- --:--:-- 14000 1
- 業務恢復后務必重啟 keepalived，否則 keepalived 會處于關閉狀態
$ systemctl restart keepalived
- 在 k8s-master1、k8s-master2、k8s-master3 上查看 keeplived 日志，有以下輸出表示當前虛擬 IP 地址綁定的主機
$ systemctl status keepalived -lVRRP_Instance(VI_1) Sending gratuitous ARPs on ens160 for 172.24.12.80
kube-proxy配置
- 在 k8s-master1 上設置 kube-proxy 使用 keepalived 的虛擬IP地址，避免 k8s-master1 異常的時候所有節點的 kube-proxy 連接不上
$ kubectl get -n kube-system configmap NAME DATA AGE extension-apiserver-authentication 6 4h kube-flannel-cfg 2 4h kube-proxy 1 4h
- 在 k8s-master1 上修改 configmap/kube-proxy 的 server 指向 keepalived 的虛擬IP地址
$ kubectl edit -n kube-system configmap/kube-proxy server: https://172.24.12.80:8443
- 在 k8s-master1 上查看 configmap/kube-proxy 設置情況
$ kubectl get -n kube-system configmap/kube-proxy -o yaml
- 在 k8s-master1 上刪除所有 kube-proxy 的 pod，讓 proxy 重建
kubectl get pods --all-namespaces -o wide | grep proxy
- 在 k8s-master1、k8s-master2、k8s-master3 上重啟 docker kubelet keepalived 服務
systemctl restart docker kubelet keepalived
驗證 master 集群高可用
在 k8s-master1 上檢查各個節點 pod 的啟動狀態，每個上都成功啟動 heapster、kube-apiserver、kube-controller-manager、kube-dns、kube-flannel、kube-proxy、kube-scheduler、kubernetes-dashboard、monitoring-grafana、monitoring-influxdb。并且所有 pod 都處于 Running 狀態表示正常
$ kubectl get pods --all-namespaces -o wide | grep k8s-master1$ kubectl get pods --all-namespaces -o wide | grep k8s-master2$ kubectl get pods --all-namespaces -o wide | grep k8s-master3
node 節點加入高可用集群設置
- 在 k8s-master1 上查看集群的 token
$ kubeadm token list
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">kubeadm token</figcaption>
- 在 k8s-node1~k8s-node8 上，
${TOKEN}為 k8s-master1 上顯示的 token，${VIRTUAL_IP}為 keepalived 的虛擬 IP 地址 172.24.12.80
$ kubeadm join --token ${TOKEN} ${VIRTUAL_IP}:8443
- 查看 kubelet status,確保 activing
[root@k8s-node1 ~]# systemctl start kubelet[root@k8s-node1 ~]# journalctl -xeu kubelet
注：如果有不必要的報錯，使用下面 join 方法：
[root@k8s-node1 ~]# kubeadm join --token efeayj.qa8q6c0ojo72crsn 172.24.12.80:8443 --ignore-preflight-errors 'all' --discovery-token-unsafe-skip-ca-verification
部署應用驗證集群
- 在 k8s-node1 ~ k8s-node8 上查看 kubelet 狀態，kubelet 狀態為 active (running) 表示 kubelet 服務正常啟動
systemctl status keepalived
- 在 k8s-master1 上檢查各個節點狀態，發現所有 k8s-nodes 節點成功加入
[root@k8s-master1 yaml]# kubectl get nodes -o wide
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">kubectl get nodes</figcaption>
- 在 k8s-master1 上測試部署 nginx 服務，nginx 服務成功部署到 k8s-node1 上
[root@k8s-master1 yaml]# kubectl run nginx --image=nginx --port=80[root@k8s-master1 yaml]# kubectl get pod -o wide -l=run=nginx
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">run nginx</figcaption>
- 在 k8s-master1 讓 nginx 服務外部可見
[root@k8s-master1 yaml]# kubectl expose deployment nginx --port=80 --target-port=80 --type=NodePort[root@k8s-master1 yaml]# kubectl get svc -l=run=nginx
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">nginx服務外部可見</figcaption>
- 訪問測試
[root@k8s-master1 yaml]# curl 172.24.12.35:31012
或者使用瀏覽器訪問，如下：
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">curl nginx</figcaption>
<figcaption style="line-height: inherit; margin: 0px; padding: 0px; margin-top: 10px; text-align: center; color: rgb(153, 153, 153); font-size: 0.7em;">瀏覽器訪問nginx</figcaption>
至此，kubernetes 高可用集群成功部署！
