集群恢復
小強維護著一套生成的OpenShift集群，突然有一天集群的master1節點出現異常，自動關機了。他嘗試了多次，都無法開機，怎么辦？
他需要趕快恢復master1節點，來滿足集群的高可用性。
原來的masters在ansible/hosts中的順序如下
[masters]
master1 ## 重要主節點，安裝完后單獨保存/etc/etcd/ca中的證書
master2
master3
[etcd]
master1
master2
master3
[nodes]
master1
master2
master3
恢復過程如下：
- 新建一臺 master1節點，hostname 與 IP 都和原 master1 節點一致
- 在master2上恢復master主節點的證書、ca.serial.txt及openshift軟件。
- 通過新增 master 的方式將這個節點重新加回集群
- 通過新增 etcd 的方法，恢復了這臺 master 節點 etcd 的狀況
以下是恢復的具體步驟。
一、初始化Master節點
- 與部署機互信
- 開啟selinux
- 關閉firewalld
- DNS配置或者/etc/hosts
- HostName設置
- NTP
- ETCD盤與docker盤，如果需要提前準備的話
- Yum源設置
二、刪除問題Master節點
oc delete node master1
三、在master2節點上準備好相關證書及軟件
- 恢復master主節點的證書
在/etc/ansible/hosts的[masters]/[etcd]/[nodes]組中注釋掉master1節點，后執行
$ ansible-playbook playbooks/openshift-etcd/redeploy-ca.yml
- 恢復ca.serial.txt文件
在備份的配置中將ca.serial.txt文件拷貝到/etc/origin/master/ca.serial.txt
$ scp ca.serial.txt master2:/etc/origin/master/ca.serial.txt
- 安裝openshift命令
$ yum install openshift
如果顯示找不到該包，請查看/etc/yum.conf的配置，將openshift包從exclude中刪除
四、恢復Master節點
- /etc/ansible/hosts中將需要恢復的節點從[masters]/[etcd]/[nodes]組移到[new_masters]、[new_nodes]組，并將三個組添加到[OSEv3:children]
[OSEv3:children]
masters
etcd
nodes
new_masters
new_etcd
new_nodes
[masters]
master2
master3
[etcd]
master2
master3
[nodes]
master2
master3
[new_masters]
master1
[new_etcd]
master1
[new_nodes]
master1
- 執行master節點的scale_up.yaml
ansible-playbook playbooks/openshift-master/scaleup.yaml
- 檢查master1的恢復狀態
$ oc get node
$ oc get pod -n kube-system
- 將master1節點從[new_masters]/[new_nodes]中移到[masters]/[nodes]中，并將它放到各個組的最后面。
[OSEv3:children]
masters
etcd
nodes
new_etcd
[masters]
master2
master3
master1
[etcd]
master2
master3
[nodes]
master2
master3
master1
[new_etcd]
master1
五、恢復ETCD服務
- 在正常的master節點，如master2上移除有問題的etcd節點
$ etcdctl2 member list
23868989e8af989: name=master1 isLeader=false
45f23429e8af943: name=master2 isLeader=false
5323823fadaf989: name=master3 isLeader=true
$ etcdctl2 member remove 23868989e8af989
- 執行etcd的擴容操作etcd scaleup.yaml
ansible-playbook playbooks/openshift-etcd/scaleup.yaml
- 待執行完成后，檢查etcd pod狀態
$ oc get pod -n kube-system
$ etcdctl2 cluster-health
- 將master1節點從[new_etcd]組移到[etcd]組的最后面。
[OSEv3:children]
masters
etcd
nodes
[masters]
master2
master3
[etcd]
master2
master3
[nodes]
master2
master3
- 恢復master1節點的etcdctl命令
將/etc/profile.d/etcdctl.sh文件拷貝到master1節點的/etc/profile.d/etcdctl.sh，并執行source /etc/profile.d/etcdctl.sh
總結
- 多Master節點的集群具有高可用性，任一節點出現問題都不會影響到集群的服務，但是我們必須盡快恢復它，以免再出現一臺主節點出現異常，這將會導致集群故障。
- 多臺Master節點中，第一臺Master節點是特殊的節點，有些證書、配置文件只放在這臺節點上，但是擴容時會需要用到。（詳情可看openshift-ansible中的代碼，很多證書都是從openshift_ca_host主機復制，而openshift_ca_host={{ groups.oo_first_master.0 }}）。
- 在完成恢復后，需要及時恢復ansible/hosts中的內容，將恢復的節點加到對應組的后面，方便下次主機的擴容與維護。
