部署環境

• vmware15
• 三臺虛擬機(使用靜態 IP)

• 保證集群中每個節點間的網絡連通性
• 每個節點擁有唯一的 MAC 地址，hostname 和 product_uuid
• 保證所需端口的打開，這里我選擇直接關閉防火墻。參考
• 關閉 swap，官方建議必須禁用swap 以使 kubelet 正常工作

安裝 kubeadm,kubelet,kubectl(當前版本 1.17.3)

可使用虛擬機克隆進行三臺機器的安裝，要修改克隆節點的 ip

關閉防火墻

根據當前的防火墻配置(SELinux、Netfilter、iptables、firewall 和 UFW)選擇關閉或配置相應的防火墻策略

# 如果存在firewalld:
sudo systemctl stop firewalld && sudo systemctl disable firewalld

# 如果存在ufw：
sudo ufw disable

關閉 swap

# 刪除swap的所有內容
swapoff -a

# 刪除swap掛載，保證永久關閉
# 注釋swap所在的行
vim /etc/fstab

安裝 docker(當前版本 19.03.4)

采用 k8s 官方的安裝步驟

# Install Docker CE
## Set up the repository:
### Install packages to allow apt to use a repository over HTTPS
apt-get update && apt-get install -y \
  apt-transport-https ca-certificates curl software-properties-common gnupg2

### Add Docker’s official GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -

### Add Docker apt repository.
add-apt-repository \
  "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) \
  stable"

## Install Docker CE.
apt-get update && apt-get install -y \
  containerd.io=1.2.10-3 \
  docker-ce=5:19.03.4~3-0~ubuntu-$(lsb_release -cs) \
  docker-ce-cli=5:19.03.4~3-0~ubuntu-$(lsb_release -cs)

# Setup daemon.
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

mkdir -p /etc/systemd/system/docker.service.d

# Restart docker.
systemctl daemon-reload
systemctl restart docker

安裝方法

方法1-官方安裝步驟(配置代理)

配置 apt 代理

參考ubuntu apt 代理設置

# 新建或修改apt.conf
vim /etc/apt/apt.conf

# 加入代理規則(http或socks5),當前http
Acquire::http::proxy "http://ip:port/";
Acquire::ftp::proxy "http://ip:port/";
Acquire::https::proxy "http://ip:port/";

更新源并安裝

sudo apt-get update && sudo apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

方法2-使用阿里云鏡像站

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl

配置 cgroup-driver

在/etc/systemd/system/kubelet.service.d/10-kubeadm.conf文件中追加--cgroup-driver=systemd

10-kubeadm.conf.png

改為：Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd"

保存重啟

systemctl daemon-reload
systemctl restart kubelet

同時要保證 docker 的 cgroup 為 systemd，可以使用docker info | grep -i cgroup查看

部署集群

docker拉取鏡像配置

由于集群所需的 docker 鏡像無法從國內直接獲取，可配置代理或使用國內的倉庫

方法1-使用 docker 代理

docker 官方配置方法

# 創建文件夾和文件
sudo mkdir -p /etc/systemd/system/docker.service.d
touch /etc/systemd/system/docker.service.d/http-proxy.conf

# 向文件添加代理配置
[Service]
Environment="HTTP_PROXY=http://ip:port/"

# 保存配置并重啟
sudo systemctl daemon-reload
sudo systemctl restart docker

方法2-拉取阿里云鏡像

參考：基于阿里云鏡像站安裝Kubernetes

# 編寫腳本
for i in `kubeadm config images list`; do
  imageName=${i#k8s.gcr.io/}
  docker pull registry.aliyuncs.com/google_containers/$imageName
  docker tag registry.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
  docker rmi registry.aliyuncs.com/google_containers/$imageName
done;

配置 Master 節點

init

kubeadm init --pod-network-cidr=10.20.0.0/16 --apiserver-advertise-address=192.168.1.201

• --pod-network-cidr：用于第三方網絡插件提供的子網范圍。
  • 必須部署基于容器網絡接口（CNI）的 Pod 網絡附加組件，以便 Pod 可以相互通信。
  • 確保您的 Pod 網絡一定不能與任何主機網絡重疊。我選擇的是 calico，默認是 192.168.0.0/16，所以修改了 cidr。
  • 參考Installing a Pod network add-on
• --apiserver-advertise-address，(可選)，此處是為了保證多網卡下使用正確的 ip 地址

init 的相關內容可參考Initializing your control-plane node

init 輸出內容如下

[init] Using Kubernetes version: vX.Y.Z
[preflight] Running pre-flight checks

...

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a Pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  /docs/concepts/cluster-administration/addons/

You can now join any number of machines by running the following on each node
as root:

  kubeadm join <control-plane-host>:<control-plane-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>

確保記錄 kubeadm join <control-plane-host>:<control-plane-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>，該命令用于從節點加入集群。

為了使 kubectl 適用于您的非 root 用戶，運行以下命令，它們也是 kubeadm init 輸出的一部分

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安裝 Pod 網絡附加組件

命名為：kubectl apply -f <add-on.yaml>，此處選擇使用Calico。由于init修改了默認子網

下載 calico.yaml，地址：https://docs.projectcalico.org/v3.11/manifests/calico.yaml

編輯 calico.yaml，搜索并修改默認配置(192.168.0.0/16)

calico.yaml.png

使用kubectl apply -f calico.yaml 開始安裝插件。

使用watch kubectl get pods --all-namespaces查看安裝情況

配置 Slave 節點

當前虛擬機環境下，需要保證每個節點的 hostname 不一樣，否則不能加入集群

參考：How to Install Kubernetes on Ubuntu 18?

配置 hostname

# 在master上設置hostname
sudo hostnamectl set-hostname k8s-m
#在兩個slave上分別設置hostname
sudo hostnamectl set-hostname k8s-w1
sudo hostnamectl set-hostname k8s-w2

當安裝完 master，且 slave 也有對應的 kube 環境時，將之前保存的那個命令在當前節點運行。

kubeadm join <control-plane-host>:<control-plane-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>

注意：從節點也會有 kubelet 運行，所以依舊要保持 docker 和 kubeadm 的cgroup-driver都為systemd

正常加入后，顯示如下：

[preflight] Running pre-flight checks

... (log output of join workflow) ...

Node join complete:
* Certificate signing request sent to control-plane and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on control-plane to see this machine join.

在 master 查看節點

get-nodes.png

其他

kubeadm 集群的高可用

在 init 時配置 --control-plane-endpoint

單機集群

默認情況下，出于安全原因，您的群集不會在控制平面節點上調度 Pod。如果您希望能夠在控制平面節點上調度 Pod，例如用于單機 Kubernetes 集群進行開發，請運行：

kubectl taint nodes --all node-role.kubernetes.io/master-

輸出看起來像這樣：

node "test-01" untainted
taint "node-role.kubernetes.io/master:" not found
taint "node-role.kubernetes.io/master:" not found

將 API 服務器代理到本地主機

kubectl proxy

清理

如果您在群集中使用了一次性服務器進行測試，則可以關閉這些服務器，而無需進一步清理。您可以使用kubectl config delete-cluster刪除對集群的本地引用。

但是，如果您想更干凈地清理群集，首先排空該節點并確保該節點為空，然后取消配置該節點。

刪除節點

kubectl drain <node name> --delete-local-data --force --ignore-daemonsets
kubectl delete node <node name>

通過 在需要清除的節點上運行kubeadm reset，進行重置

重置過程不會重置或清除 iptables 規則或 IPVS 表。如果您希望重置 iptables，則必須手動進行。

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

如果要重置 IPVS 表，則必須運行命令：ipvsadm -C

參考

• Installing kubeadm
• SELinux、Netfilter、iptables、firewall 和 UFW 五者關系
• Control Docker with systemd - HTTP/HTTPS proxy
• How to Install Kubernetes on Ubuntu 18?
• 從零開始搭建 Kubernetes 集群（三、搭建 K8S 集群）
• 阿里云官方鏡像站