本文將在虛擬機(jī)上通過kubeadm和相關(guān)工具安裝Kubernetes集群v1.13.2。以下為環(huán)境配置：
Win10 1803(OS: 17134.523); VMware 14.1.3
集群 虛擬機(jī)配置：
Kubernetes-Master: CentOS7 - 192.168.1.120 - root@k8s-master
Kubernetes-Node1: CentOS7 - 192.168.1.130 - root@k8s-node1
Kubernetes-Node2: CentOS7 - 192.168.1.131 - root@k8s-node2
添加yum.repo源：我這里使用阿里云的鏡像源： :
[root@k8s-master ~]# vi /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
更新yum，安裝docker和kubeadm以及相關(guān)工具。
[root@k8s-master ~]# yum clean all && yum makecache
[root@k8s-master ~]# yum install -y docker kubelet kubeadm kubectl kubernetes-cni
在我們啟動(dòng)docker服務(wù)和kubelet服務(wù)前，我們需要對(duì)環(huán)境做出相關(guān)配置，否則可能會(huì)產(chǎn)生錯(cuò)誤：需要關(guān)閉防火墻服務(wù)并安裝iptables；禁用SELinux；關(guān)閉swap分區(qū)；打開bridge-nf-call-iptables；設(shè)置靜態(tài)IP以供SSH連接使用；最重要的一點(diǎn)，如果你的主機(jī)名是默認(rèn)的localhost.domain，請(qǐng)將其修改為其他名字。當(dāng)Node主機(jī)與Master主機(jī)的hostname一致時(shí)，Master節(jié)點(diǎn)無(wú)法正確顯示加入的Node節(jié)點(diǎn)：
# systemctl disable firewalld && systemctl stop firewalld
# vi /etc/selinux/config 并修改項(xiàng) SELINUX=disabled
--->setenforce 0只能暫時(shí)將SELINUX設(shè)為不工作，當(dāng)系統(tǒng)重啟后，SELINUX將重新返回工作狀態(tài)。
# swapoff -a
# vim /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
//以下步驟非必要：
# vi /etc/sysconfig/network-scripts/ifcfg-ens32
BOOTPROTO="static"
BROADCAST=...
IPADDR=...
NETMASK=...
GATEWAY=...
#hostnamectl --static set-hostname k8s-Master
#vi /etc/hosts
將localhost.domain 修改為 k8s-Master
#vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=k8s-Master
隨后我們啟動(dòng)docker與kubelet服務(wù)：
[root@k8s-master ~]# systemctl enable docker && systemctl start docker
[root@k8s-master ~]# systemctl enable kubelet
下載kubernetes的相關(guān)鏡像：如果無(wú)法訪問到gcr.io下載相關(guān)鏡像，我們需要從國(guó)內(nèi)鏡像托管站點(diǎn)下載鏡像：查看Master節(jié)點(diǎn)所需鏡像可用命令 $ kubeadm config images list.
docker.io倉(cāng)庫(kù)對(duì)google的容器做了鏡像，可以通過下列命令下拉取相關(guān)鏡像：Master節(jié)點(diǎn)與Node節(jié)點(diǎn)所需的鏡像可能略微有些不同。在后文我列出了Node節(jié)點(diǎn)所需的鏡像。
DockerHub for mirrorgooglecontainer
[root@k8s-master ~]# docker pull mirrorgooglecontainers/kube-apiserver-amd64:v1.11.3（版本號(hào)自行修改）
[root@k8s-master ~]# docker tag mirrorgooglecontainer/kube-apiserver-amd64:v1.11.3 k8s.gcr.io/kube-apiserver:v1.11.3
以上部分對(duì)于Node節(jié)點(diǎn)和Master節(jié)點(diǎn)而言都是必須要完成的，至此可以將該虛擬機(jī)保存命名為linux-k8s-basic并克隆出新虛擬機(jī)運(yùn)行Master和Node節(jié)點(diǎn)：
運(yùn)行kubeadm init 安裝master：
這里需要指定兩個(gè)參數(shù)：--kubernetes-version：與手動(dòng)拉取的docker images版本號(hào)相同；--pod-network-cidr：隨后我們需要給Master節(jié)點(diǎn)安裝CNI網(wǎng)絡(luò)插件:當(dāng)我們選擇Calico（flannel）網(wǎng)絡(luò)插件時(shí)，需要指定其pod-network-cidr=10.244.0.0/16。
[root@k8s-master ~]# kubeadm init --kubernetes-version=1.13.2 --pod-network-cidr=10.244.0.0/16
安裝成功后就會(huì)得到如下信息：
Your Kubernetes master has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
** mkdir -p $HOME/.kube**
** sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config**
** sudo chown
(id -g) $HOME/.kube/config**
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of machines by running the following on each node
as root:
kubeadm join 192.168.1.120:6443 --token oe50fb.0pt36rwvz2utey4d --discovery-toke****n-ca-cert-hash sha256:60bd336002b8f5xxxxxxxxxxxxxxxxxxx17ddeddd6
這里我們選擇Calico插件calico - Github：
[root@k8s-master ~]# kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml
[root@k8s-master ~]# kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
PS:選擇flannel插件也可行，他的github地址為flannel - Github，其pod-cidr與calico一致：--pod-network-cidr=10.244.0.0/16。下拉至Deploying flannel manually，按照提示安裝flannel。如果長(zhǎng)時(shí)間都沒有拉取完鏡像，可嘗試手動(dòng)拉取，打開kube-flannel.yml并查看其container image（如我這里的版本為quay.io/coreos/flannel:v0.11.0-amd64）。
驗(yàn)證Kuberletes Master節(jié)點(diǎn)的相關(guān)Pod是否都正常創(chuàng)建并運(yùn)行：
[root@k8s-master ~]# kubectl get pods --all-namespaces && kubectl get no
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-node-2mzjg 2/2 Running 0 21h
kube-system calico-node-9c6md 2/2 Running 2 20h
kube-system calico-node-clc9p 2/2 Running 0 21h
kube-system coredns-86c58d9df4-n77bm 1/1 Running 0 21h
kube-system coredns-86c58d9df4-t4fns 1/1 Running 0 21h
kube-system etcd-k8s-master 1/1 Running 0 21h
kube-system kube-apiserver-k8s-master 1/1 Running 0 21h
kube-system kube-controller-manager-k8s-master 1/1 Running 0 21h
kube-system kube-proxy-ck72v 1/1 Running 1 20h
kube-system kube-proxy-n2rvf 1/1 Running 0 21h
kube-system kube-proxy-nzfvg 1/1 Running 0 21h
kube-system kube-scheduler-k8s-master 1/1 Running 0 21h
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 21h v1.13.2
創(chuàng)建Node節(jié)點(diǎn)：
Node端需要下載的鏡像
[root@k8s-master ~]# docker pull mirrorgooglecontainers/kube-proxy-amd64:v1.13.2
[root@k8s-master ~]# docker pull mirrorgooglecontainers/pause-amd64:3.1
[root@k8s-master ~]# docker pull carlziess/coredns-1.2.6
[root@k8s-master ~]# docker tag ...
在沒有執(zhí)行kubeadm join命令之前，kubelet.service是無(wú)法正常啟動(dòng)的。可以通過命令
[root@k8s-master ~]# journalctl -xefu kubelet
來查看出錯(cuò)原因。我們執(zhí)行kubeadm join命令。該命令與Master節(jié)點(diǎn)安裝成功后提供的命令相一致。加入節(jié)點(diǎn)成功后，可以發(fā)現(xiàn)kubelet.service正常啟動(dòng)，在Node節(jié)點(diǎn)與Master節(jié)點(diǎn)的主機(jī)名不同的情況下，Master節(jié)點(diǎn)會(huì)顯示新加入的Node。
[root@k8s-master ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 167m v1.13.2
k8s-node1 Ready <none> 154m v1.13.2
k8s-node2 Ready <none> 134m v1.13.2
更多在安裝過程的排錯(cuò)日志參考：k8s v1.13.2 安裝排錯(cuò)日志 - 簡(jiǎn)書
[root@k8s-master ~]$ rpm -ql kubelet
/etc/kubernetes/manifests //static pods yaml
/etc/sysconfig/kubelet //KUBELET_EXTRA_ARGS
/etc/systemd/system/kubelet.service //kubelet.service (./kubelet.service.d/10-kubeadm.conf)
/usr/bin/kubelet
KUBELET_KUBEADM_ARGS：/var/lib/kubelet/kubeadm-flags.env
KUBELET_EXTRA_ARGS：/etc/sysconfig/kubelet
參考：
Unable to update cni config: No networks found in /etc/cni/net.d · Issue #54918 · kubernetes/kubernetes · GitHub //事實(shí)上，我在這一步卡了很久，報(bào)錯(cuò)內(nèi)容也與該Issus大致相同。但最后是因?yàn)闄C(jī)器重啟后SELinux又重新開啟導(dǎo)致的。
Creating a single master cluster with kubeadm - Kubernetes //官方文檔：使用kubeadm安裝Master節(jié)點(diǎn)。//好像可以把語(yǔ)言換成中文？？
docker - Kubernetes api server is not starting on a single kubeadm cluster - Stack Overflow //最終我是使用該方法完成Master節(jié)點(diǎn)的組件的。
Installing Addons - Kubernetes //官方文檔：CNI網(wǎng)絡(luò)插件。//同上？？
kubeadm 生成的token過期后，集群增加節(jié)點(diǎn) - discsthnew的博客 - CSDN博客 //token的有效期為24h。
《Kubernetes 權(quán)威指南——從Docker到Kubernetes實(shí)踐全接觸》紀(jì)念版
