組件版本和配置策略

組件版本

• Kubernetes 1.17 https://github.com/kubernetes/kubernetes/releases
• Etcd 3.3.18 https://github.com/etcd-io/etcd/releases/
• Docker 19.03-ce

核心插件：

• CNI : 二選一
  flannel --> yaml文件部署 https://github.com/coreos/flannel/releases/
  calico --> yaml文件部署
• coredns --> yaml文件部署

主要配置策略

• kube-apiserver：
  使用 keepalived 和 haproxy 實(shí)現(xiàn) 3 節(jié)點(diǎn)高可用；
  在安全端口 6443 接收 https 請求；
  嚴(yán)格的認(rèn)證和授權(quán)策略 (x509、token、RBAC)；
  開啟 bootstrap token 認(rèn)證，支持 kubelet TLS bootstrapping；
  手動(dòng)生成token.csv
  使用 https 訪問 kubelet、etcd，加密通信；

• kube-controller-manager：
  3 節(jié)點(diǎn)高可用；主備備
  使用 kubeconfig 訪問 apiserver 的安全端口；
  自動(dòng) approve kubelet 證書簽名請求 (CSR)，證書過期后自動(dòng)輪轉(zhuǎn)；
  各 controller 使用自己的 ServiceAccount 訪問 apiserver；

• kube-scheduler：
  3 節(jié)點(diǎn)高可用；主備備
  使用 kubeconfig 訪問 apiserver 的安全端口；

• kubelet：
  使用 kubeconfig 訪問 apiserver 的安全端口；
  使用 kubeadm 動(dòng)態(tài)創(chuàng)建 bootstrap token，也可以在 apiserver 中靜態(tài)配置；
  使用 TLS bootstrap 機(jī)制自動(dòng)生成 client 和 server 證書，過期后自動(dòng)輪轉(zhuǎn)；
  在 KubeletConfiguration 類型的 JSON 文件配置主要參數(shù)；
  關(guān)閉只讀端口，在安全端口 10250 接收 https 請求，對請求進(jìn)行認(rèn)證和授權(quán)，拒絕匿名訪問和非授權(quán)訪問；

• kube-proxy：
  使用 kubeconfig 訪問 apiserver 的安全端口；
  在 KubeProxyConfiguration 類型的 JSON 文件配置主要參數(shù)；
  使用 ipvs 代理模式；

1. K8S系統(tǒng)初始化

1.1 系統(tǒng)環(huán)境

[root@localhost ~]# cat /etc/redhat-release 
CentOS Linux release 8.0.1905 (Core) 

1.2 修改各個(gè)節(jié)點(diǎn)的對應(yīng)hostname, 并分別寫入/etc/hosts

# 對應(yīng)主機(jī)修改
hostnamectl set-hostname k8s-master01

# 寫入hosts--> 注意是 >> 表示不改變原有內(nèi)容追加!
cat>> /etc/hosts <<EOF
192.168.2.201 k8s-master01
192.168.2.202 k8s-master02
192.168.2.203 k8s-master03
192.168.2.11 k8s-node01
192.168.2.12 k8s-node02
EOF

1.3 所有節(jié)點(diǎn)安裝常用工具和依賴包

yum install wget yum-utils net-tools tar curl jq ipvsadm ipset conntrack iptables sysstat libseccomp -y

1.4 所有節(jié)點(diǎn)關(guān)閉 firewalld, selinux 以及 swap

# 關(guān)閉防火墻并清空防火墻規(guī)則
systemctl disable firewalld && systemctl stop firewalld && systemctl status firewalld
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat
iptables -P FORWARD ACCEP

# 關(guān)閉selinux  --->selinux=disabled 需重啟生效!
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

# 關(guān)閉swap --->注釋掉swap那一行, 需重啟生效!
swapoff -a && sed -i '/ swap / s/^\(.*\)$/# \1/g' /etc/fstab

1.5 所有節(jié)點(diǎn)設(shè)置時(shí)間同步

timedatectl set-timezone Asia/Shanghai
timedatectl set-local-rtc 0

yum install chrony -y
systemctl enable chronyd && systemctl start chronyd && systemctl status chronyd

1.6 所有節(jié)點(diǎn)調(diào)整內(nèi)核參數(shù), k8s必備參數(shù)!

# 先加載模塊
modprobe br_netfilter

# 直接寫入對應(yīng)位置
cat> /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max = 6553500
net.nf_conntrack_max = 6553500
net.ipv4.tcp_max_tw_buckets = 4096
EOF

# 生效配置
sysctl -p /etc/sysctl.d/kubernetes.conf

• net.bridge.bridge-nf-call-iptables=1 二層的網(wǎng)橋在轉(zhuǎn)發(fā)包時(shí)也會(huì)被iptables的FORWARD規(guī)則所過濾
• net.ipv6.conf.all.disable_ipv6=1 禁用整個(gè)系統(tǒng)所有的ipv6接口, 預(yù)防觸發(fā)docker的bug
• net.netfilter.nf_conntrack_max 這個(gè)默認(rèn)值是65535，當(dāng)服務(wù)器上的連接超過這個(gè)數(shù)的時(shí)候，系統(tǒng)會(huì)將數(shù)據(jù)包丟掉，直到小于這個(gè)值或達(dá)到過期時(shí)間net.netfilter.nf_conntrack_tcp_timeout_established，默認(rèn)值432000，5天。期間的數(shù)據(jù)包都會(huì)丟掉。
• net.ipv4.tcp_max_tw_buckets 這個(gè)默認(rèn)值18000，服務(wù)器TIME-WAIT狀態(tài)套接字的數(shù)量限制，如果超過這個(gè)數(shù)量， 新來的TIME-WAIT套接字會(huì)直接釋放。過多的TIME-WAIT影響服務(wù)器性能，根據(jù)服務(wù)自行設(shè)置.

1.7 所有節(jié)點(diǎn)創(chuàng)建k8s工作目錄并設(shè)置環(huán)境變量!

# 在每臺(tái)機(jī)器上創(chuàng)建目錄：
mkdir -p /opt/k8s/{bin,cert,script}
mkdir -p /opt/etcd/{bin,cert}
mkdir -p /opt/lib/etcd
mkdir -p /root/.kube
mkdir -p /opt/log/kubernetes

# 在每臺(tái)機(jī)器上添加環(huán)境變量：
sh -c "echo 'PATH=/opt/k8s/bin:/opt/etcd/bin:/opt/flanneld/bin:$PATH:$HOME/bin:$JAVA_HOME/bin' >> /etc/profile.d/k8s.sh"
# 生效配置
source /etc/profile.d/k8s.sh

1.8 無密碼 ssh 登錄其它節(jié)點(diǎn)

# 生成秘鑰對 ( 在操作節(jié)點(diǎn)上生成)
ssh-keygen

# 將自己的公鑰發(fā)給其他服務(wù)器
ssh-copy-id root@k8s-master01
ssh-copy-id root@k8s-master02
ssh-copy-id root@k8s-master03

# 重啟機(jī)器, 最好做一下! 并驗(yàn)證檢查各項(xiàng)初始化設(shè)置
reboot

2. 創(chuàng)建CA根證書和密鑰

• kubernetes 系統(tǒng)各組件需要使用 x509 證書對通信進(jìn)行加密和認(rèn)證。
• 使用證書的組件如下：
  etcd：使用 ca.pem、etcd.pem、etcd-key.pem(etcd對外提供服務(wù)、節(jié)點(diǎn)間通信（etcd peer）用同一套證書)
  kubectl：使用 ca.pem、admin.pem、admin-key.pem
  kube-apiserver：使用 ca.pem、ca-key.pem、kube-apiserver-key.pem、kube-apiserver.pem
  kube-controller-manager：使用 ca.pem、ca-key.pem、kube-controller-manager.pem、kube-controller-manager-key.pem
  kube-scheduler：使用ca.pem、ca-key.pem、kube-scheduler-key.pem、kube-scheduler.pem
  kubelet：使用 ca.pem 、ca-key.pem
  kube-proxy：使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem

2.1 安裝cfssl工具集

[root@k8s-master01 ~]# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
[root@k8s-master01 ~]# mv cfssl_linux-amd64 /opt/k8s/bin/cfssl

[root@k8s-master01 ~]# wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
[root@k8s-master01 ~]# mv cfssljson_linux-amd64 /opt/k8s/bin/cfssljson

[root@k8s-master01 ~]# wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
[root@k8s-master01 ~]# mv cfssl-certinfo_linux-amd64 /opt/k8s/bin/cfssl-certinfo

[root@k8s-master01 ~]# chmod +x /opt/k8s/bin/*

2.2 創(chuàng)建根證書CA

• CA 證書是集群所有節(jié)點(diǎn)共享的，只需要?jiǎng)?chuàng)建一個(gè)CA證書，后續(xù)創(chuàng)建的所有證書都由它簽名。
• CA (Certificate Authority) 是自簽名的根證書，用來簽名后續(xù)創(chuàng)建的其它證書。

2.03 創(chuàng)建配置文件

• 這個(gè)文件中包含后面簽署其它證書用到的配置

[root@k8s-master01 ~]# cat> /opt/k8s/cert/ca-config.json <<EOF
{
    "signing": {
        "default": {
            "expiry": "876000h"
        },
        "profiles": {
            "kubernetes": {
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ],
                "expiry": "876000h"
            }
        }
    }
}
EOF

• ca-config.json：可以定義多個(gè) profiles，分別指定不同的過期時(shí)間、使用場景等參數(shù)；后續(xù)在簽名證書時(shí)使用某個(gè) profile;
• signing：表示該證書可用于簽名其它證書；生成的 ca.pem 證書中 CA=TRUE;
• server auth：表示client可以用該 CA 對server提供的證書進(jìn)行驗(yàn)證;
• client auth：表示server可以用該CA對client提供的證書進(jìn)行驗(yàn)證;
• expiry: 表示證書過期時(shí)間，我們設(shè)置10年，當(dāng)然你如果比較在意安全性，可以適當(dāng)減少

2.4 創(chuàng)建 CA 證書簽名請求模板

[root@k8s-master01 ~]# cat > /opt/k8s/cert/ca-csr.json <<EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "k8s",
            "OU": "steams"
        }
    ]
}
EOF

• CN： Common Name ，kube-apiserver 從證書中提取該字段作為請求的用戶名(User Name)，瀏覽器使用該字段驗(yàn)證網(wǎng)站是否合法；
• O： Organization ，kube-apiserver 從證書中提取該字段作為請求用戶所屬的組(Group)；
• kube-apiserver 將提取的 User、Group 作為 RBAC 授權(quán)的用戶標(biāo)識(shí)；

2.5 生成CA證書、私鑰和csr證書簽名請求

[root@k8s-master01 ~]## cfssl gencert -initca /opt/k8s/cert/ca-csr.json | cfssljson -bare /opt/k8s/cert/ca

# 查看是否生成!
[root@k8s-master01 ~]# ls /opt/k8s/cert/
ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem

2.6 分發(fā)證書文件

• 簡單腳本, 注意傳參! 后期想寫整合腳本的話可以拿來參考!
• 將生成的 CA 證書、秘鑰文件、配置文件拷貝到所有節(jié)點(diǎn)的/opt/k8s/cert 目錄下：

# 創(chuàng)建分發(fā)腳本
[root@k8s-master01 cert]# vi /opt/k8s/script/scp_k8s_cacert.sh 
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
    echo ">>> ${master_ip}"
    scp /opt/k8s/cert/ca*.pem /opt/k8s/cert/ca-config.json root@${master_ip}:/opt/k8s/cert
done

# 執(zhí)行腳本, 注意傳參!
[root@k8s-master01 cert]# bash /opt/k8s/script/scp_k8s_cacert.sh 192.168.2.201 192.168.2.202 192.168.2.203

3. 部署etcd集群

• etcd 是基于Raft的分布式key-value存儲(chǔ)系統(tǒng)，常用于服務(wù)發(fā)現(xiàn)、共享配置以及并發(fā)控制(如leader選舉、分布式鎖等)
• kubernetes 使用 etcd 存儲(chǔ)所有運(yùn)行數(shù)據(jù)。這里把etcd部署在master三臺(tái)節(jié)點(diǎn)上做高可用，etcd集群采用raft算法選舉Leader， 由于Raft算法在做決策時(shí)需要多數(shù)節(jié)點(diǎn)的投票，所以etcd一般部署集群推薦奇數(shù)個(gè)節(jié)點(diǎn)，推薦的數(shù)量為3、5或者7個(gè)節(jié)點(diǎn)構(gòu)成一個(gè)集群。

3.1 下載二進(jìn)制文件

[root@k8s-master01 ~]# wget https://github.com/etcd-io/etcd/releases/download/v3.3.18/etcd-v3.3.18-linux-amd64.tar.gz
[root@k8s-master01 ~]# tar -xvf etcd-v3.3.18-linux-amd64.tar.gz 

3.2 創(chuàng)建etcd證書請求模板文件

• etcd集群要與k8s-->apiserver通信, 所以需要用證書簽名驗(yàn)證!
• hosts 字段指定授權(quán)使用該證書的 etcd 節(jié)點(diǎn) IP 或域名列表，這里將 etcd 集群的三個(gè)節(jié)點(diǎn) IP 都列在其中

[root@k8s-master01 cert]# cat > /opt/etcd/cert/etcd-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
        "127.0.0.1",
        "192.168.2.201",
        "192.168.2.202",
        "192.168.2.203"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "k8s",
            "OU": "steams"
        }
    ]
}
EOF

3.3 生成證書和私鑰

[root@k8s-master01 ~]# cfssl gencert \
-ca=/opt/k8s/cert/ca.pem \
-ca-key=/opt/k8s/cert/ca-key.pem \
-config=/opt/k8s/cert/ca-config.json \
-profile=kubernetes /opt/etcd/cert/etcd-csr.json | cfssljson -bare /opt/etcd/cert/etcd

# 查看是否生成!
[root@k8s-master01 ~]# ls /opt/etcd/cert/*
etcd.csr       etcd-csr.json  etcd-key.pem   etcd.pem  

3.4 分發(fā)生成的證書, 私鑰和etcd安裝文件到各etcd節(jié)點(diǎn)

# 創(chuàng)建分發(fā) etcd 以及證書私鑰
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_etcd.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
        echo ">>> ${master_ip}"
        scp /root/etcd-v3.3.18-linux-amd64/etcd* root@${master_ip}:/opt/etcd/bin
        ssh root@${master_ip} "chmod +x /opt/etcd/bin/*"
        scp /opt/etcd/cert/etcd*.pem root@${master_ip}:/opt/etcd/cert/
done

# 執(zhí)行腳本, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_etcd.sh 192.168.2.201 192.168.2.202 192.168.2.203

3.5 為所有 etcd 節(jié)點(diǎn)(共用master節(jié)點(diǎn))創(chuàng)建 etcd 的 systemd unit 文件

[root@k8s-master01 ~]# vi /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
Documentation=https://github.com/coreos
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
User=root
Type=notify
WorkingDirectory=/opt/lib/etcd/
ExecStart=/opt/etcd/bin/etcd \
--client-cert-auth=true \
--trusted-ca-file=/opt/k8s/cert/ca.pem \
--cert-file=/opt/etcd/cert/etcd.pem \
--key-file=/opt/etcd/cert/etcd-key.pem \
--peer-client-cert-auth=true \
--peer-trusted-ca-file=/opt/k8s/cert/ca.pem \
--peer-cert-file=/opt/etcd/cert/etcd.pem \
--peer-key-file=/opt/etcd/cert/etcd-key.pem \
--name=##ETCD_NAME## \
--data-dir=/opt/lib/etcd \
--listen-client-urls=https://##MASTER_IP##:2379 \
--listen-peer-urls=https://##MASTER_IP##:2380 \
--initial-cluster-state=new \
--initial-cluster-token=k8s-etcd-cluster  \
--advertise-client-urls=https://##MASTER_IP##:2379 \
--initial-advertise-peer-urls=https://##MASTER_IP##:2380 \
--initial-cluster=etcd0=https://192.168.2.201:2380,etcd1=https://192.168.2.202:2380,etcd2=https://192.168.2.203:2380 
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

• 修改 ##ETCD_NAME## 為當(dāng)前etcd節(jié)點(diǎn)的名稱!
• 修改 ##MASTER_IP## 為當(dāng)前etcd節(jié)點(diǎn)對應(yīng)的IP!
• WorkingDirectory 、 --data-dir：指定工作目錄和數(shù)據(jù)目錄為/opt/lib/etcd ，需在啟動(dòng)服務(wù)前創(chuàng)建這個(gè)目錄；
• --name ：指定各個(gè)節(jié)點(diǎn)名稱，當(dāng) --initial-cluster-state 值為new時(shí)， --name的參數(shù)值必須位于--initial-cluster 列表中；
• --trusted-ca-file：簽名 client 證書的 CA 證書，用于驗(yàn)證 client 證書；
• --cert-file 、 --key-file：etcd server 與 client 通信時(shí)使用的證書和私鑰；
• --peer-trusted-ca-file：簽名 peer 證書的 CA 證書，用于驗(yàn)證 peer 證書；
• --peer-cert-file 、 --peer-key-file：etcd 與 peer 通信使用的證書和私鑰；

3.6 在所有節(jié)點(diǎn)為 etcd 服務(wù)設(shè)置開機(jī)啟動(dòng), 并啟動(dòng)檢查服務(wù)

• etcd集群需要三臺(tái)etcd服務(wù)同時(shí)啟動(dòng)，啟動(dòng)一臺(tái)后，服務(wù)暫停等待，直到集群中所有etcd節(jié)點(diǎn)都已啟動(dòng)。

systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd && systemctl status etcd

3.7 驗(yàn)證集群

• etcd3版本，默認(rèn)API=v3, 如需使用v2版本命令在命令前加環(huán)境變量! ETCDCTL_API=2

# 查看集群健康狀態(tài)
etcdctl --endpoints=https://192.168.2.201:2379,https://192.168.2.202:2379,https://192.168.2.203:2379 \
--cert-file=/opt/etcd/cert/etcd.pem \
--ca-file=/opt/k8s/cert/ca.pem \
--key-file=/opt/etcd/cert/etcd-key.pem \
cluster-health

# 查看集群成員列表
etcdctl --endpoints=https://192.168.2.201:2379,https://192.168.2.202:2379,https://192.168.2.203:2379 \
--cert-file=/opt/etcd/cert/etcd.pem \
--ca-file=/opt/k8s/cert/ca.pem \
--key-file=/opt/etcd/cert/etcd-key.pem \
member list

4. 部署kubectl命令行工具

• kubectl 是 kubernetes 集群的命令行管理工具
• kubectl 默認(rèn)從 ~/.kube/config 文件讀取 kube-apiserver 地址、證書、用戶名等信息，如果沒有配置，執(zhí)行 kubectl 命令時(shí)可能會(huì)出錯(cuò)：
• 本文檔只需要部署一次，生成的 kubeconfig 文件與機(jī)器無關(guān)。

4.1 下載kubectl二進(jìn)制文件

• kubernetes-server-linux-amd64.tar.gz包含所有組件!

# 下載二進(jìn)制文件(直連無法下載!)
[root@k8s-master01 ~]# wget https://dl.k8s.io/v1.17/kubernetes-server-linux-amd64.tar.gz
# 解壓, 復(fù)制到相應(yīng)目錄以及增加執(zhí)行權(quán)限
[root@k8s-master01 ~]# tar -zxvf kubernetes-server-linux-amd64.tar.gz
[root@k8s-master01 ~]# cp ./kubernetes/server/bin/kubectl /opt/k8s/bin/ && chmod +x /opt/k8s/bin/*

4.2 創(chuàng)建 admin 證書和私鑰

• kubectl用于日常直接管理K8S集群，kubectl要進(jìn)行管理k8s，就需要和k8s的組件進(jìn)行通信
• kubectl 作為集群的管理工具，需要被授予最高權(quán)限。這里創(chuàng)建具有最高權(quán)限的admin 證書

創(chuàng)建證書簽名請求

[root@k8s-master01 ~]# cat > /opt/k8s/cert/admin-csr.json <<EOF
{
    "CN": "admin",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:masters",
            "OU": "steams"
        }
    ]
}
EOF

• O 為 system:masters ，kube-apiserver 收到該證書后將請求的 Group 設(shè)置為system:masters；
• 該證書只會(huì)被 kubectl 當(dāng)做 client 證書使用，所以 hosts 字段為空；

生成證書和私鑰

[root@k8s-master01 ~]# cfssl gencert \
-ca=/opt/k8s/cert/ca.pem \
-ca-key=/opt/k8s/cert/ca-key.pem \
-config=/opt/k8s/cert/ca-config.json \
-profile=kubernetes /opt/k8s/cert/admin-csr.json | cfssljson -bare /opt/k8s/cert/admin

# 查看生成的證書和私鑰
[root@k8s-master01 ~]# ls /opt/k8s/cert/admin*
admin.csr       admin-csr.json  admin-key.pem   admin.pem  

4.3 創(chuàng)建 kubectl 的 kubeconfig 配置文件

• 下面幾個(gè)步驟會(huì)在家目錄下的.kube生成config文件，之后kubectl和api通信就需要用到該文件，也就是說如果在其他節(jié)點(diǎn)上操作集群需要用到這個(gè)kubectl，就需要將該配置文件拷貝到其他節(jié)點(diǎn)。
• 未指定情況下默認(rèn)文件名和位置: ~/.kube/config

# step.1 設(shè)置集群參數(shù)
# --server=${KUBE_APISERVER}, 指定IP和端口; 本文使用的是haproxy的VIP和端口；
[root@k8s-master01 ~]# kubectl config set-cluster kubernetes \
--certificate-authority=/opt/k8s/cert/ca.pem \
--embed-certs=true \
--server=https://192.168.2.210:8443 

# step.2 設(shè)置客戶端認(rèn)證參數(shù)
[root@k8s-master01 ~]# kubectl config set-credentials kube-admin \
--client-certificate=/opt/k8s/cert/admin.pem \
--client-key=/opt/k8s/cert/admin-key.pem \
--embed-certs=true 

# step.3 設(shè)置上下文參數(shù)
[root@k8s-master01 ~]#  kubectl config set-context kube-admin@kubernetes \
--cluster=kubernetes \
--user=kube-admin 

# step.4設(shè)置默認(rèn)上下文
[root@k8s-master01 ~]# kubectl config use-context kube-admin@kubernetes

--certificate-authority ：驗(yàn)證 kube-apiserver 證書的根證書；
--client-certificate 、 --client-key ：剛生成的 admin 證書和私鑰，連接 kube-apiserver 時(shí)使用；
--embed-certs=true ：將 ca.pem 和 admin.pem 證書內(nèi)容嵌入到生成的kubectl.kubeconfig 文件中(不加時(shí)，寫入的是證書文件路徑)；

4.4 分發(fā) kubeclt , 證書私鑰和kubeconfig 文件

# 編寫分發(fā)腳本
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_kubectl_config.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
    echo ">>> ${master_ip}"
    scp /root/kubernetes/server/bin/kubectl root@${master_ip}:/opt/k8s/bin/
    ssh root@${master_ip} "chmod +x /opt/k8s/bin/*"
    scp /opt/k8s/cert/admin*.pem root@${master_ip}:/opt/k8s/cert/
    scp /root/.kube/config root@${master_ip}:/root/.kube/config
done

# 執(zhí)行腳本, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_kubectl_config.sh 192.168.2.201 192.168.2.202 192.168.2.203

5. 部署master節(jié)點(diǎn)

• kubernetes master 節(jié)點(diǎn)運(yùn)行如下K8S組件：
  kube-apiserver
  kube-scheduler
  kube-controller-manager

• kube-scheduler 和 kube-controller-manager 可以以集群模式運(yùn)行，通過 leader 選舉產(chǎn)生一個(gè)工作進(jìn)程，其它進(jìn)程處于阻塞模式。

• 對于 kube-apiserver，可以運(yùn)行多個(gè)實(shí)例, 但對其它組件需要提供統(tǒng)一的訪問地址，該地址需要高可用。本文檔使用 keepalived 和 haproxy 實(shí)現(xiàn) kube-apiserver VIP 高可用和負(fù)載均衡。

• 因?yàn)閷aster做了keepalived高可用，所以3臺(tái)服務(wù)器都有可能會(huì)升成master服務(wù)器（主master宕機(jī)，會(huì)有從升級(jí)為主）；因此所有的master操作，在3個(gè)服務(wù)器上都要進(jìn)行。

下載二進(jìn)制文件, 想辦法!!!

# 下載二進(jìn)制文件
[root@k8s-master01 ~]# wget https://dl.k8s.io/v1.17/kubernetes-server-linux-amd64.tar.gz
# 解壓
[root@k8s-master01 ~]# tar -xvf kubernetes-server-linux-amd64.tar.gz

將二進(jìn)制文件拷貝到所有 master 節(jié)點(diǎn)

# 編寫腳本
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_master.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
    echo ">>> ${master_ip}"
    scp /root/kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler} root@${master_ip}:/opt/k8s/bin/
    ssh root@${master_ip} "chmod +x /opt/k8s/bin/*"
done

# 執(zhí)行, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_master.sh 192.168.2.201 192.168.2.202 192.168.2.203

5.1 部署高可用組件

• 本文檔講解使用 keepalived 和 haproxy 實(shí)現(xiàn) kube-apiserver 高可用的步驟：
  keepalived 提供 kube-apiserver 對外服務(wù)的 VIP；
  haproxy 監(jiān)聽 VIP，后端連接所有 kube-apiserver 實(shí)例，提供健康檢查和負(fù)載均衡功能；
• 運(yùn)行 keepalived 和 haproxy 的節(jié)點(diǎn)稱為 LB 節(jié)點(diǎn)。由于 keepalived 是一主多備運(yùn)行模式，故至少兩個(gè) LB 節(jié)點(diǎn)。
• 本文檔復(fù)用 master 節(jié)點(diǎn)的三臺(tái)機(jī)器，haproxy 監(jiān)聽的端口(8443) 需要與 kube-apiserver的端口 6443 不同，避免沖突。
• keepalived 在運(yùn)行過程中周期檢查本機(jī)的 haproxy 進(jìn)程狀態(tài)，如果檢測到 haproxy 進(jìn)程異常，則觸發(fā)重新選主的過程，VIP 將飄移到新選出來的主節(jié)點(diǎn)，從而實(shí)現(xiàn) VIP 的高可用。
• 所有組件（如 kubeclt、apiserver、controller-manager、scheduler 等）都通過 VIP 和haproxy 監(jiān)聽的 8443 端口訪問 kube-apiserver 服務(wù)。

5.1.1 在 master 節(jié)點(diǎn)分別安裝haproxy, keepalived，并配置haproxy 配置文件

• haproxy 配置文件相同可以復(fù)用, 以下步驟在各個(gè) master 節(jié)點(diǎn)分別執(zhí)行一次!

# 安裝haproxy, keepalived
[root@k8s-master01 ~]# yum install keepalived haproxy -y

# 配置haproxy 配置文件
[root@k8s-master01 ~]# vi /etc/haproxy/haproxy.cfg 
global
    log /dev/log local0
    log /dev/log local1 notice
    chroot /var/lib/haproxy
    stats socket /var/run/haproxy-admin.sock mode 660 level admin
    stats timeout 30s
    user haproxy
    group haproxy
    daemon
    nbproc 1
defaults
    log global
    timeout connect 5000
    timeout client 10m
    timeout server 10m
listen admin_stats
    bind 0.0.0.0:10080
    mode http
    log 127.0.0.1 local0 err
    stats refresh 30s
    stats uri /status
    stats realm welcome login\ Haproxy
    stats auth haproxy:123456
    stats hide-version
    stats admin if TRUE
listen k8s-master
    bind 0.0.0.0:8443
    mode tcp
    option tcplog
    balance source
    server 192.168.2.201 192.168.2.201:6443 check inter 2000 fall 2 rise 2 weight 1
    server 192.168.2.202 192.168.2.202:6443 check inter 2000 fall 2 rise 2 weight 1
    server 192.168.2.203 192.168.2.203:6443 check inter 2000 fall 2 rise 2 weight 1

• haproxy 在 10080 端口輸出 status 信息；
• haproxy 監(jiān)聽所有接口的 8443 端口，該端口與環(huán)境變量 ${KUBE_APISERVER} 指定的端口必須一致；
• server 字段列出所有kube-apiserver監(jiān)聽的 IP 和端口；

設(shè)置開機(jī)啟動(dòng)服務(wù), 并開啟三個(gè) master 節(jié)點(diǎn)的 haproxy 服務(wù)

systemctl enable haproxy && systemctl restart haproxy && systemctl status haproxy

# 檢查運(yùn)行是否正常, 任意master節(jié)點(diǎn)執(zhí)行!
[root@k8s-master01 ~]# netstat -lnpt | grep haproxy
# 輸出類似:
Active: active (running) since Tue 2019-11-12 01:54:41 CST; 543ms ago
tcp        0      0 0.0.0.0:8443            0.0.0.0:*               LISTEN      4995/haproxy        
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      4995/haproxy   

5.1.2 配置和啟動(dòng) keepalived 服務(wù)

• keepalived 是一主（master）多備（backup）運(yùn)行模式，故有兩種類型的配置文件。
• master 配置文件只有一份，backup 配置文件視節(jié)點(diǎn)數(shù)目而定，對于本文檔而言，規(guī)劃如下：
  master: 192.168.2.201
  backup：192.168.2.202、192.168.2.203

在192.168.2.201 master主服務(wù)的配置文件：

[root@k8s-master01 ~]# vi /etc/keepalived/keepalived.conf
global_defs {
    router_id keepalived_201  # ......
}
vrrp_script check-haproxy {
    script "killall -0 haproxy"
    interval 5
    weight -30
}
vrrp_instance VI-k8s-master {
    state MASTER
    priority 120    # 第一臺(tái)從數(shù)值 -10, 以此類推!
    dont_track_primary
    interface eth0
    virtual_router_id 201  # ......
    advert_int 3
    track_script {
        check-haproxy
    }
    virtual_ipaddress {
        192.168.2.210
    }
}

• 我的VIP 所在的接口nterface 為 eth0；根據(jù)自己的情況改變
• 使用 killall -0 haproxy 命令檢查所在節(jié)點(diǎn)的 haproxy 進(jìn)程是否正常。如果異常則將權(quán)重減少（-30）,從而觸發(fā)重新選主過程；
• router_id、virtual_router_id 用于標(biāo)識(shí)屬于該 HA 的 keepalived 實(shí)例，如果有多套keepalived HA，則必須各不相同；

在192.168.2.202, 192.168.2.203兩臺(tái)backup 服務(wù)的配置文件：

[root@k8s-master02 ~]# vi /etc/keepalived/keepalived.conf

global_defs {
        router_id keepalived_202    # 對應(yīng)設(shè)置
}
vrrp_script check-haproxy {
        script "killall -0 haproxy"
        interval 5
        weight -30
}
vrrp_instance VI-k8s-master {
        state BACKUP
        priority 110   # 第2臺(tái)從數(shù)值 -10
        dont_track_primary
        interface eth0
        virtual_router_id 202  # 對應(yīng)設(shè)置
        advert_int 3
        track_script {
        check-haproxy
        }
        virtual_ipaddress {
            192.168.2.210
        }
}

• priority 的值必須小于 master 的值；兩個(gè)從的值也需要不一樣；

設(shè)置開機(jī)啟動(dòng)服務(wù), 并開啟三個(gè) master 節(jié)點(diǎn)的 keepalived 服務(wù)

systemctl enable keepalived && systemctl restart keepalived && systemctl status keepalived

• 在各個(gè) master 節(jié)點(diǎn)上檢查 eth0 網(wǎng)卡是否有VIP的IP地址存在

[root@k8s-master01 ~]# ip addr
...
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:15:5d:00:68:05 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.201/24 brd 192.168.2.255 scope global noprefixroute eth0
       valid_lft forever preferred_lft forever
    inet 192.168.2.210/32 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::f726:9d22:2b89:694c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
...

5.1.6 查看 haproxy 狀態(tài)頁面

• 瀏覽器訪問 192.168.2.210:10080/status 地址

5.2 部署 kube-apiserver 組件

• kube-apiserver 是整個(gè)k8s集群中的數(shù)據(jù)總線和數(shù)據(jù)中心，提供增刪改查及watch等HTTP Rest接口
• kube-apiserver 是無狀態(tài)的, 客戶端如kubelet可通過啟動(dòng)參數(shù)"--api-servers"指定多個(gè)api-server，但只有第一個(gè)生效

下載二進(jìn)制文件

• kubernetes_server 包里有, 已經(jīng)解壓并分發(fā)到/opt/k8s/bin下

5.2.1 創(chuàng)建 kube-apiserver證書和私鑰

創(chuàng)建證書簽名請求

• host地址可以多預(yù)留幾個(gè)備用!

[root@k8s-master01 ~]# cat > /opt/k8s/cert/kube-apiserver-csr.json <<EOF
{
    "CN": "kubernetes",
    "hosts": [
        "127.0.0.1",
        "10.96.0.1",
        "192.168.2.210",
        "192.168.2.201",
        "192.168.2.202",
        "192.168.2.203",
        "kubernetes",
        "kubernetes.default",
        "kubernetes.default.svc",
        "kubernetes.default.svc.cluster",
        "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
          "C": "CN",
          "ST": "BeiJing",
          "L": "BeiJing",
          "O": "k8s",
          "OU": "steams"
        }
    ]
}
EOF

• hosts 字段指定授權(quán)使用該證書的 IP 或域名列表，這里列出了service IP , VIP , apiserver節(jié)點(diǎn) IP和域名；
• 域名最后字符不能是 . (如不能為kubernetes.default.svc.cluster.local. )，否則解析時(shí)失敗，提示： x509:cannot parse dnsName "kubernetes.default.svc.cluster.local." ；
• 如果使用非 cluster.local 域名，如 opsnull.com ，則需要修改域名列表中的最后兩個(gè)域名為： kubernetes.default.svc.opsnull 、 kubernetes.default.svc.opsnull.com
• service IP 是 apiserver 自動(dòng)創(chuàng)建的，一般是 --service-cluster-ip-range 參數(shù)指定的網(wǎng)段的第一個(gè)IP，后續(xù)可以通過如下命令獲取：kubectl get svc kubernetes

生成證書和私鑰

[root@k8s-master01 ~]# cfssl gencert \
-ca=/opt/k8s/cert/ca.pem \
-ca-key=/opt/k8s/cert/ca-key.pem \
-config=/opt/k8s/cert/ca-config.json \
-profile=kubernetes /opt/k8s/cert/kube-apiserver-csr.json | cfssljson -bare /opt/k8s/cert/kube-apiserver

[root@k8s-master01 ~]# ls /opt/k8s/cert/kube-apiserver*
kube-apiserver.csr      kube-apiserver-csr.json  kube-apiserver-key.pem  kube-apiserver.pem 

5.2.2 手動(dòng)生成 token 并保存在 /opt/k8s/bootstrap-token.csv 里

• kubelet 啟動(dòng)時(shí)向 kube-apiserver發(fā)送注冊信息，在雙向的TLS加密通信環(huán)境中需要認(rèn)證，采用TLS Bootstrapping 機(jī)制，可使大量的node節(jié)點(diǎn)自動(dòng)完成向kube-apiserver的注冊請求。
  原理：kubelet 首次啟動(dòng)時(shí)向 kube-apiserver 發(fā)送 TLS Bootstrapping 請求，kube-apiserver 驗(yàn)證 kubelet 請求中的 token 是否與它配置的 token.csv 一致，如果一致則自動(dòng)為 kubelet生成證書和秘鑰。

# 生成 token
[root@k8s-master01 ~]# head -c 16 /dev/urandom | od -An -t x | tr -d ' '
fb8f04963e38858eab0867e8d2296d6b

# 保存
[root@k8s-master01 ~]# vi /opt/k8s/bootstrap-token.csv
fb8f04963e38858eab0867e8d2296d6b,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

或者:

# 生成, 并寫入文件
[root@k8s-master01 ~]# echo "`head -c 16 /dev/urandom | od -An -t x | tr -d ' '`,kubelet-bootstrap,10001,\"system:kubelet-bootstrap\"" > /opt/k8s/bootstrap-token.csv

# 查看
[root@k8s-master01 ~]# cat /opt/k8s/bootstrap-token.csv

5.2.3 將生成的證書和私鑰、加密配置文件和 bootstrap-token.csv 傳送到 所有 master 節(jié)點(diǎn)的 /opt/k8s 目錄下

# 編寫傳送腳本
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_apiserver.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
    echo  ">>> ${master_ip}"
    scp /opt/k8s/cert/kube-apiserver*.pem root@${master_ip}:/opt/k8s/cert/
    scp /opt/k8s/bootstrap-token.csv root@${master_ip}:/opt/k8s/
done 

# 執(zhí)行腳本, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_apiserver.sh 192.168.2.201 192.168.2.202 192.168.2.203

5.2.4 為所有 master 節(jié)點(diǎn)分別創(chuàng)建 kube-apiserver 的 systemd unit 文件

• 注意變量 ##MASTER_IP## 的修改!

[root@k8s-master01 ~]# vi /etc/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
After=etcd.service

[Service]
ExecStart=/opt/k8s/bin/kube-apiserver \
--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,ResourceQuota,DefaultTolerationSeconds  \
--allow-privileged=true \
--anonymous-auth=false \
--authorization-mode=Node,RBAC \
--advertise-address=##MASTER_IP## \
--bind-address=##MASTER_IP## \
--secure-port=6443 \
--service-cluster-ip-range=10.96.0.0/16 \
--service-node-port-range=30000-50000 \
--enable-bootstrap-token-auth=true \
--token-auth-file=/opt/k8s/bootstrap-token.csv \
--client-ca-file=/opt/k8s/cert/ca.pem \
--runtime-config=api/all=true \
--service-account-key-file=/opt/k8s/cert/ca-key.pem \
--tls-cert-file=/opt/k8s/cert/kube-apiserver.pem \
--tls-private-key-file=/opt/k8s/cert/kube-apiserver-key.pem \
--kubelet-https=true \
--kubelet-certificate-authority=/opt/k8s/cert/ca.pem \
--kubelet-client-certificate=/opt/k8s/cert/kube-apiserver.pem \
--kubelet-client-key=/opt/k8s/cert/kube-apiserver-key.pem \
--etcd-cafile=/opt/k8s/cert/ca.pem \
--etcd-certfile=/opt/k8s/cert/kube-apiserver.pem \
--etcd-keyfile=/opt/k8s/cert/kube-apiserver-key.pem \
--etcd-servers=https://192.168.2.201:2379,https://192.168.2.202:2379,https://192.168.2.203:2379 \
--apiserver-count=3 \
--audit-log-maxage=30 \
--audit-log-maxbackup=3 \
--audit-log-maxsize=100 \
--audit-log-path=/opt/log/kube-apiserver-audit.log \
--alsologtostderr=true \
--logtostderr=false \
--log-dir=/opt/log/kubernetes \
--v=2
Restart=on-failure
RestartSec=5
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

• --authorization-mode=Node,RBAC ： 開啟 Node 和 RBAC 授權(quán)模式，拒絕未授權(quán)的請求；
• --enable-admission-plugins ：啟用 ServiceAccount 和NodeRestriction ；
• --service-account-key-file ：簽名 ServiceAccount Token 的公鑰文件，kube-controller-manager 的 --service-account-private-key-file 指定私鑰文件，兩者配對使用；
• --tls-*-file ：指定 apiserver 使用的證書、私鑰和 CA 文件。 --client-ca-file 用于驗(yàn)證 client (kue-controller-manager、kube-scheduler、kubelet、kube-proxy 等)請求所帶的證書；
• --kubelet-client-certificate 、 --kubelet-client-key ：如果指定，則使用 https 訪問 kubelet APIs；需要為證書對應(yīng)的用戶定義 RBAC 規(guī)則，否則訪問 kubelet API 時(shí)提示未授權(quán)；
• --bind-address ： 不能為 127.0.0.1 ，否則外界不能訪問它的安全端口6443；
• --service-cluster-ip-range ： 指定 Service Cluster IP 地址段；
• --service-node-port-range ： 指定 NodePort 的端口范圍；
• --runtime-config=api/all=true ： 啟用所有版本的 APIs，如autoscaling/v2alpha1；
• --enable-bootstrap-token-auth ：啟用 kubelet bootstrap 的 token 認(rèn)證；
• --apiserver-count=3 ：指定集群有三個(gè)節(jié)點(diǎn)

5.2.5 各個(gè) master 節(jié)點(diǎn)啟動(dòng)并檢查 kube-apiserver 服務(wù)

# 啟動(dòng)
systemctl daemon-reload && systemctl enable kube-apiserver && systemctl restart kube-apiserver && systemctl status kube-apiserver

5.2.6 授予 kubernetes 證書訪問 kubelet API 的權(quán)限 (待定!!!)

[root@k8s-master01 ~]# kubectl create clusterrolebinding kube-apiserver:kubelet-apis \
--clusterrole=system:kubelet-api-admin \
--user=kubernetes

• 后面部署好集群，在執(zhí)行 kubectl exec、run、logs 等命令時(shí)，apiserver 會(huì)轉(zhuǎn)發(fā)到 kubelet。這里定義RBAC 規(guī)則，授權(quán) apiserver 調(diào)用 kubelet API，否則會(huì)報(bào)類似以下錯(cuò)誤：
  Error from server (Forbidden): Forbidden (user=kubernetes, verb=get, resource=nodes, subresource=proxy) ( pods/log nginx-8477bdff5d-2lf7k)

5.2.7 檢查, 驗(yàn)證集群

[root@k8s-master01 ~]# kubectl cluster-info
Kubernetes master is running at https://192.168.2.210:8443

[root@k8s-master01 ~]# kubectl get all --all-namespaces
NAMESPACE   NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
default     service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   49m

# 6443: 接收 https 請求的安全端口，對所有請求做認(rèn)證和授權(quán)；
[root@k8s-master01 ~]# ss -nutlp | grep apiserver
tcp    LISTEN   0        128         192.168.2.201:6443           0.0.0.0:*      users:(("kube-apiserver",pid=3342,fd=8))                                       
tcp    LISTEN   0        128             127.0.0.1:8080           0.0.0.0:*      users:(("kube-apiserver",pid=3342,fd=7))  

5.3 部署高可用kube-controller-manager 集群

• 該集群包含 3 個(gè)節(jié)點(diǎn)，kube-controller-manager是有狀態(tài)的服務(wù)，會(huì)修改集群的狀態(tài)信息。如果多個(gè)master節(jié)點(diǎn)上的相關(guān)服務(wù)同時(shí)生效，則會(huì)有同步與一致性問題，所以多master節(jié)點(diǎn)中的kube-controller-manager服務(wù)只能是主備的關(guān)系
• 為保證通信安全，使用 x509 證書和私鑰，kube-controller-manager 在如下兩種情況下使用該證書：
  與 kube-apiserver 的安全端口通信時(shí);
  在安全端口(https，10252) 輸出 prometheus 格式的 metrics；

準(zhǔn)備工作：下載kube-controller-manager二進(jìn)制文件(包含在kubernetes-server包里, 已解壓發(fā)送)

5.3.1 創(chuàng)建 kube-controller-manager 的證書和私鑰

創(chuàng)建證書簽名請求：

[root@k8s-master01 ~]# cat > /opt/k8s/cert/kube-controller-manager-csr.json <<EOF
{
    "CN": "system:kube-controller-manager",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
        "127.0.0.1",
        "192.168.2.201",
        "192.168.2.202",
        "192.168.2.203",
        "localhost"
    ],
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:kube-controller-manager",
            "OU": "steams"
        }
    ]
}
EOF

• hosts 列表包含所有 kube-controller-manager 節(jié)點(diǎn) IP；
• CN 為 system:kube-controller-manager;
  O 為 system:kube-controller-manager;
  kube-apiserver預(yù)定義的 RBAC使用的ClusterRoleBindings system:kube-controller-manager將用戶system:kube-controller-manager與ClusterRole system:kube-controller-manager綁定。

生成證書和私鑰

[root@k8s-master01 ~]# cfssl gencert \
-ca=/opt/k8s/cert/ca.pem \
-ca-key=/opt/k8s/cert/ca-key.pem \
-config=/opt/k8s/cert/ca-config.json \
-profile=kubernetes /opt/k8s/cert/kube-controller-manager-csr.json | cfssljson -bare /opt/k8s/cert/kube-controller-manager

# 查看證書
[root@k8s-master01 ~]# ls /opt/k8s/cert/kube-controller-manager*
kube-controller-manager.csr       kube-controller-manager-csr.json  kube-controller-manager-key.pem   kube-controller-manager.pem  

5.3.2 創(chuàng)建 kube-controller-manager.kubeconfig 文件

• kubeconfig 文件包含訪問 apiserver 的所有信息，如 apiserver 地址、CA 證書和自身使用的證書；

### --kubeconfig：指定kubeconfig文件路徑與文件名；如果不設(shè)置，默認(rèn)生成在~/.kube/config文件。
### 后面需要用到此文件，所以我們把配置信息單獨(dú)指向到指定文件中
# step.1 設(shè)置集群參數(shù):
[root@k8s-master01 ~]# kubectl config set-cluster kubernetes \
--certificate-authority=/opt/k8s/cert/ca.pem \
--embed-certs=true \
--server=https://192.168.2.210:8443 \
--kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig

# step.2 設(shè)置客戶端認(rèn)證參數(shù)
[root@k8s-master01 ~]# kubectl config set-credentials system:kube-controller-manager \
--client-certificate=/opt/k8s/cert/kube-controller-manager.pem \
--client-key=/opt/k8s/cert/kube-controller-manager-key.pem \
--embed-certs=true \
--kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig

# step.3 設(shè)置上下文參數(shù)
[root@k8s-master01 ~]# kubectl config set-context system:kube-controller-manager@kubernetes \
--cluster=kubernetes \
--user=system:kube-controller-manager \
--kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig

# tep.4 設(shè)置默認(rèn)上下文
[root@k8s-master01 ~]# kubectl config use-context system:kube-controller-manager@kubernetes \
--kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig

5.3.3 分發(fā)生成的證書和私鑰、kubeconfig 到所有 master 節(jié)點(diǎn)

# 編寫分發(fā)腳本
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_controller-manager.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
    echo ">>> ${master_ip}"
    scp /opt/k8s/cert/kube-controller-manager*.pem root@${master_ip}:/opt/k8s/cert/
    scp /opt/k8s/kube-controller-manager.kubeconfig root@${master_ip}:/opt/k8s/
done

# 執(zhí)行, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_controller-manager.sh 192.168.2.201 192.168.2.202 192.168.2.203

5.3.4 為所有 master 節(jié)點(diǎn)分別創(chuàng)建 kube-controller-manager 的 systemd unit 文件

• 一樣的配置, 可復(fù)用!
• --bind-address=0.0.0.0 目前這樣設(shè)置!

[root@k8s-master01 ~]# vi /etc/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service

[Service]
ExecStart=/opt/k8s/bin/kube-controller-manager \
--address=127.0.0.1 \
--port=10252 \
--bind-address=0.0.0.0 \
--secure-port=10257 \
--cluster-name=kubernetes \
--allocate-node-cidrs=true \
--service-cluster-ip-range=10.96.0.0/16 \
--authentication-kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig \
--authorization-kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig \
--kubeconfig=/opt/k8s/kube-controller-manager.kubeconfig \
--root-ca-file=/opt/k8s/cert/ca.pem \
--use-service-account-credentials=true \
--service-account-private-key-file=/opt/k8s/cert/ca-key.pem \
--cluster-signing-cert-file=/opt/k8s/cert/ca.pem \
--cluster-signing-key-file=/opt/k8s/cert/ca-key.pem \
--experimental-cluster-signing-duration=876000h \
--client-ca-file=/opt/k8s/cert/ca.pem \
--requestheader-client-ca-file=/opt/k8s/cert/ca.pem \
--leader-elect=true \
--feature-gates=RotateKubeletServerCertificate=true \
--controllers=*,bootstrapsigner,tokencleaner \
--horizontal-pod-autoscaler-use-rest-clients=true \
--horizontal-pod-autoscaler-sync-period=10s \
--tls-cert-file=/opt/k8s/cert/kube-controller-manager.pem \
--tls-private-key-file=/opt/k8s/cert/kube-controller-manager-key.pem \
--alsologtostderr=true \
--logtostderr=false \
--log-dir=/opt/log/kubernetes \
--v=2
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

• --port=10252, --address=127.0.0.1:將不安全端口 10252 綁定到 127.0.0.1 確保 kuebctl get cs 有正確返回
• --secure-port=10257、--bind-address=0.0.0.0: 在所有網(wǎng)絡(luò)接口監(jiān)聽 10257 端口的 https /metrics 請求；
• --kubeconfig：指定 kubeconfig 文件路徑，kube-controller-manager 使用它連接和驗(yàn)證 kube-apiserver；
• --cluster-signing-*-file：簽名 TLS Bootstrap 創(chuàng)建的證書；
• --experimental-cluster-signing-duration：指定 TLS Bootstrap 證書的有效期；
• --root-ca-file：放置到容器 ServiceAccount 中的 CA 證書，用來對 kube-apiserver 的證書進(jìn)行校驗(yàn)；
• --service-account-private-key-file：簽名 ServiceAccount 中 Token 的私鑰文件，必須和 kube-apiserver 的 --service-account-key-file 指定的公鑰文件配對使用；
• --service-cluster-ip-range ：指定 Service Cluster IP 網(wǎng)段，必須和 kube-apiserver 中的同名參數(shù)一致；
• --leader-elect=true：集群運(yùn)行模式，啟用選舉功能；被選為 leader 的節(jié)點(diǎn)負(fù)責(zé)處理工作，其它節(jié)點(diǎn)為阻塞狀態(tài)；
• --feature-gates=RotateKubeletServerCertificate=true：開啟 kublet server 證書的自動(dòng)更新特性；
• --controllers=*,bootstrapsigner,tokencleaner：啟用的控制器列表，tokencleaner 用于自動(dòng)清理過期的 Bootstrap token；
• --horizontal-pod-autoscaler-*：custom metrics 相關(guān)參數(shù)，支持 autoscaling/v2alpha1；
• --tls-cert-file、--tls-private-key-file：使用 https 輸出 metrics 時(shí)使用的 Server 證書和秘鑰；
• --use-service-account-credentials=true:
• --authentication-kubeconfig:
• --authorization-kubeconfig:

5.3.5 為各 master 節(jié)點(diǎn)設(shè)置開機(jī)啟動(dòng), 并檢查啟動(dòng) kube-controller-manager

systemctl daemon-reload && systemctl enable kube-controller-manager && systemctl start kube-controller-manager && systemctl status kube-controller-manager

# 查看輸出的 metric
[root@k8s-master03 ~]# ss -nutlp |grep kube-controll
tcp    LISTEN   0        128             127.0.0.1:10252          0.0.0.0:*      users:(("kube-controller",pid=3951,fd=6))                                      
tcp    LISTEN   0        128                     *:10257                *:*      users:(("kube-controller",pid=3951,fd=7)) 

# 停掉一個(gè)或兩個(gè)節(jié)點(diǎn)的 kube-controller-manager 服務(wù)，觀察其它節(jié)點(diǎn)的日志，看是否獲取了 leader 權(quán)限。
# 查看當(dāng)前的 leader 
[root@k8s-master02 ~]# kubectl get endpoints kube-controller-manager --namespace=kube-system -o yaml

6.4 部署高可用 kube-scheduler 集群

• 該集群包含 3 個(gè)節(jié)點(diǎn)，啟動(dòng)后將通過競爭選舉機(jī)制產(chǎn)生一個(gè) leader 節(jié)點(diǎn)，其它節(jié)點(diǎn)為阻塞狀態(tài)。當(dāng) leader 節(jié)點(diǎn)不可用后，剩余節(jié)點(diǎn)將再次進(jìn)行選舉產(chǎn)生新的 leader 節(jié)點(diǎn)，從而保證服務(wù)的可用性。
• 為保證通信安全，生成 x509 證書和私鑰，kube-scheduler 在如下兩種情況下使用該證書：
  與 kube-apiserver 的安全端口通信;
  在安全端口(https，10251) 輸出 prometheus 格式的 metrics；

準(zhǔn)備工作：下載kube-scheduler 的二進(jìn)制文件---^^^

6.4.1 創(chuàng)建 kube-scheduler 證書和私鑰

創(chuàng)建證書簽名請求：

[root@k8s-master01 ~]# cat > /opt/k8s/cert/kube-scheduler-csr.json <<EOF
{
    "CN": "system:kube-scheduler",
    "hosts": [
      "127.0.0.1",
      "192.168.2.201",
      "192.168.2.202",
      "192.168.2.203",
      "localhost"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
      {
        "C": "CN",
        "ST": "BeiJing",
        "L": "BeiJing",
        "O": "system:kube-scheduler",
        "OU": "steams"
      }
    ]
}
EOF

• hosts 列表包含所有 kube-scheduler 節(jié)點(diǎn) IP；
• CN 為 system:kube-scheduler、O 為 system:kube-scheduler (kubernetes 內(nèi)置的 ClusterRoleBindings system:kube-scheduler 將賦予 kube-scheduler 工作所需的權(quán)限.)

生成證書和私鑰

[root@k8s-master01 ~]# cfssl gencert \
-ca=/opt/k8s/cert/ca.pem \
-ca-key=/opt/k8s/cert/ca-key.pem \
-config=/opt/k8s/cert/ca-config.json \
-profile=kubernetes /opt/k8s/cert/kube-scheduler-csr.json | cfssljson -bare /opt/k8s/cert/kube-scheduler

# 查看證書
[root@k8s-master01 ~]# ls /opt/k8s/cert/kube-scheduler*
kube-scheduler.csr       kube-scheduler-csr.json  kube-scheduler-key.pem   kube-scheduler.pem  

5.4.2 創(chuàng)建 kube-scheduler.kubeconfig 文件

• kubeconfig 文件包含訪問 apiserver 的所有信息，如 apiserver 地址、CA 證書和自身使用的證書；

# step.1 設(shè)置集群參數(shù)
[root@k8s-master01 ~]# kubectl config set-cluster kubernetes \
--certificate-authority=/opt/k8s/cert/ca.pem \
--embed-certs=true \
--server=https://192.168.2.210:8443 \
--kubeconfig=/opt/k8s/kube-scheduler.kubeconfig

# step.2 設(shè)置客戶端認(rèn)證參數(shù)
[root@k8s-master01 ~]# kubectl config set-credentials system:kube-scheduler \
--client-certificate=/opt/k8s/cert/kube-scheduler.pem \
--client-key=/opt/k8s/cert/kube-scheduler-key.pem \
--embed-certs=true  \
--kubeconfig=/opt/k8s/kube-scheduler.kubeconfig

# step.3 設(shè)置上下文參數(shù)
[root@k8s-master01 ~]# kubectl config set-context system:kube-scheduler@kubernetes \
--cluster=kubernetes \
--user=system:kube-scheduler \
--kubeconfig=/opt/k8s/kube-scheduler.kubeconfig

# step.4設(shè)置默認(rèn)上下文
[root@k8s-master01 ~]# kubectl config use-context system:kube-scheduler@kubernetes \
--kubeconfig=/opt/k8s/kube-scheduler.kubeconfig

5.4.3 分發(fā)生成的證書和私鑰、kubeconfig 到所有 master 節(jié)點(diǎn)

# 編寫分發(fā)腳本
[root@k8s-master01 ~]# vi /opt/k8s/script/scp_scheduler.sh
MASTER_IPS=("$1" "$2" "$3")
for master_ip in ${MASTER_IPS[@]};do
        echo ">>> ${master_ip}"
        scp /opt/k8s/cert/kube-scheduler*.pem root@${master_ip}:/opt/k8s/cert/
        scp /opt/k8s/kube-scheduler.kubeconfig root@${master_ip}:/opt/k8s/
done

# 執(zhí)行腳本, 注意傳參!
[root@k8s-master01 ~]# bash /opt/k8s/script/scp_scheduler.sh 192.168.2.201 192.168.2.202 192.168.2.203

5.4.4 為各個(gè) master 節(jié)點(diǎn)分別創(chuàng)建kube-scheduler 的 systemd unit 文件

[root@k8s-master01 ~]# vi /etc/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service

[Service]
ExecStart=/opt/k8s/bin/kube-scheduler \
--address=127.0.0.1 \
--port=10251 \
--bind-address=0.0.0.0 \
--secure-port=10259 \
--kubeconfig=/opt/k8s/kube-scheduler.kubeconfig \
--client-ca-file=/opt/k8s/cert/ca.pem \
--requestheader-client-ca-file=/opt/k8s/cert/ca.pem \
--tls-cert-file=/opt/k8s/cert/kube-scheduler.pem \
--tls-private-key-file=/opt/k8s/cert/kube-scheduler-key.pem \
--leader-elect=true \
--alsologtostderr=true \
--logtostderr=false \
--log-dir=/opt/log/kubernetes \
--v=2
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

• --address：在 127.0.0.1:10251 端口接收 http /metrics 請求；10259 接收 https 請求!
• --kubeconfig：指定 kubeconfig 文件路徑，kube-scheduler 使用它連接和驗(yàn)證 kube-apiserver；
• --leader-elect=true：集群運(yùn)行模式，啟用選舉功能；被選為 leader 的節(jié)點(diǎn)負(fù)責(zé)處理工作，其它節(jié)點(diǎn)為阻塞狀態(tài)；

5.4.5 為所有 master 節(jié)點(diǎn)設(shè)置開機(jī)啟動(dòng), 并啟動(dòng)檢查 kube-scheduler 服務(wù)

systemctl daemon-reload && systemctl enable kube-scheduler && systemctl start kube-scheduler && systemctl status kube-scheduler

# 查看輸出的 metric
[root@k8s-master01 ~]# ss -nutlp |grep kube-scheduler
tcp    LISTEN   0        128             127.0.0.1:10251          0.0.0.0:*      users:(("kube-scheduler",pid=8584,fd=6))                                       
tcp    LISTEN   0        128                     *:10259                *:*      users:(("kube-scheduler",pid=8584,fd=7))   
                                    
[root@k8s-master01 ~]# curl -s http://127.0.0.1:10251/metrics |head
# HELP apiserver_audit_event_total [ALPHA] Counter of audit events generated and sent to the audit backend.
# TYPE apiserver_audit_event_total counter
apiserver_audit_event_total 0
# HELP apiserver_audit_requests_rejected_total [ALPHA] Counter of apiserver requests rejected due to an error in audit logging backend.
# TYPE apiserver_audit_requests_rejected_total counter
apiserver_audit_requests_rejected_total 0
# HELP apiserver_client_certificate_expiration_seconds [ALPHA] Distribution of the remaining lifetime on the certificate used to authenticate a request.
# TYPE apiserver_client_certificate_expiration_seconds histogram
apiserver_client_certificate_expiration_seconds_bucket{le="0"} 0
apiserver_client_certificate_expiration_seconds_bucket{le="1800"} 0

# 停掉一個(gè)或兩個(gè)節(jié)點(diǎn)的 kube-scheduler 服務(wù)，觀察其它節(jié)點(diǎn)的日志，看是否獲取了 leader 權(quán)限。
# 查看當(dāng)前的 leader 
[root@k8s-master02 ~]# kubectl get endpoints kube-scheduler --namespace=kube-system -o yaml

master 節(jié)點(diǎn)基本組件已部署完畢!

# 集群健康檢查
kubectl get cs

: