一、Kubernetes的基本知識

Pod
Pod是若干個相關容器的組合，是一個邏輯概念，Pod包含的容器運行在同一個宿主機上，這些容器使用相同的網絡命名空間、IP地址和端口，相互之間能通過localhost來發現和通信，共享一塊存儲卷空間。在Kubernetes中創建、調度和管理的最小單位是Pod。一個Pod一般只放一個業務容器和一個用于統一網絡管理的網絡容器。
Replication Controller
Replication Controller是用來控制管理Pod副本(Replica，或者稱實例)，Replication Controller確保任何時候Kubernetes集群中有指定數量的Pod副本在運行，如果少于指定數量的Pod副本，Replication Controller會啟動新的Pod副本，反之會殺死多余的以保證數量不變。另外Replication Controller是彈性伸縮、滾動升級的實現核心。
Service
Service是真實應用服務的抽象，定義了Pod的邏輯集合和訪問這個Pod集合的策略，Service將代理Pod對外表現為一個單一訪問接口，外部不需要了解后端Pod如何運行，這給擴展或維護帶來很大的好處，提供了一套簡化的服務代理和發現機制。
Label
Label是用于區分Pod、Service、Replication Controller的Key/Value鍵值對，實際上Kubernetes中的任意API對象都可以通過Label進行標識。每個API對象可以有多個Label，但是每個Label的Key只能對應一個Value。Label是Service和Replication Controller運行的基礎，它們都通過Label來關聯Pod，相比于強綁定模型，這是一種非常好的松耦合關系。
Node
Kubernets屬于主從的分布式集群架構，Kubernets Node（簡稱為Node，早期版本叫做Minion）運行并管理容器。Node作為Kubernetes的操作單元，將用來分配給Pod（或者說容器）進行綁定，Pod最終運行在Node上，Node可以認為是Pod的宿主機。

需求

目前生產部署Kubernetes集群主要有兩種方式：

kubeadm

Kubeadm是一個K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。

二進制包

從github下載發行版的二進制包，手動部署每個組件，組成Kubernetes集群。

Kubeadm降低部署門檻，但屏蔽了很多細節，遇到問題很難排查。如果想更容易可控，推薦使用二進制包部署Kubernetes集群，雖然手動部署麻煩點，期間可以學習很多工作原理，也利于后期維護。

1. 安裝要求

部署Kubernetes集群服務器需要滿足以下幾個條件：

一臺或多臺機器，操作系統 CentOS7.x-86_x64
硬件配置：2GB或更多RAM，2個CPU或更多CPU，硬盤30GB或更多
集群中所有機器之間網絡互通
可以訪問外網，需要拉取鏡像
禁止swap分區

軟件環境：

軟件	版本
操作系統	CentOS7.6.1810
Docker	docker-ce 19.03.11
Kubernetes	1.18

服務器整體規劃：

角色	IP	組件
k8s-master1	192.168.0.10	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-master2	192.168.0.11	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.0.20	kubelet，kube-proxy，docker，etcd
k8s-node2	192.168.0.30	kubelet，kube-proxy，docker，etcd
Load Balancer (master)	192.168.0.40	nginx L4 ，master節點的高可用 192.168.0.41(VIP)
Load Balancer (Backup)	192.168.0.41	nginx L4

須知：考慮電腦配置環境較低，這么多虛擬機跑不動，所以這一套高可用集群分兩部分實施，先部署一套單Master架構（192.168.0.10/20/30），再擴容為多Master架構（上述規劃）。

單Master節點服務器規劃：

角色	IP	組件
k8s-master	192.168.0.10	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.0.20	kubelet，kube-proxy，docker etcd
k8s-node2	192.168.0.30	kubelet，kube-proxy，docker，etcd

kubernetes架構圖

2. 系統初始化配置

# 關閉防火墻
systemctl stop firewalld
systemctl disable firewalld

# 關閉selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

# 關閉swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 根據規劃設置主機名
hostnamectl set-hostname < name >

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.0.10 k8s-master
192.168.0.20 k8s-node1
192.168.0.30 k8s-node2
EOF

# 將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效
sysctl -p /etc/sysctl.d/k8s.conf

# 時間同步
yum install ntpdate -y
ntpdate time.windows.com

組件	使用的證書
etcd	ca.pem，server.pem，server-key.pem
flannel	ca.pem，server.pem，server-key.pem
kube-apiserver	ca.pem，server.pem，server-key.pem
kubelet(自動頒發)	ca.pem，ca-key.pem
kube-proxy	ca.pem，kube-proxy.pem，kube-proxy-key.pem
kubectl	ca.pem，admin.pem，admin-key.pem

二、部署Etcd集群

Etcd 是一個分布式鍵值存儲系統，Kubernetes使用Etcd進行數據存儲，所以先準備一個Etcd數據庫，為解決Etcd單點故障，應采用集群方式部署，這里使用3臺組建集群，可容忍1臺機器故障，當然，你也可以使用5臺組建集群，可容忍2臺機器故障。

節點名稱	IP
etcd-1 (k8s-master)	192.168.0.10
etcd-2 (k8s-node1)	192.168.0.20
etcd-3 (k8s-node2)	192.168.0.30

注：為了節省機器，這里與K8s節點機器復用。也可以獨立于k8s集群之外部署，只要api-server能連接到就行。

2.1 準備cfssl證書生成工具

cfssl是一個開源的證書管理工具，使用json文件生成證書，相比openssl更方便使用。這里用Master節點。

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

2.2 生成Etcd證書

2.2.1 自簽證書頒發機構（CA）

# 創建工作目錄
mkdir -p ~/TLS/{etcd,k8s}
cd TLS/etcd

# 自簽CA
cat > ca-config.json << EOF
{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "kubernetes": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

# 生成證書
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

[root@k8s-master etcd]# ll *pem
-rw-------. 1 root root 1675 Jul 10 15:32 ca-key.pem
-rw-r--r--. 1 root root 1265 Jul 10 15:32 ca.pem

2.2.2 使用自簽CA簽發Etcd HTTPS證書

# 創建證書申請文件
cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.0.10",
    "192.168.0.20",
    "192.168.0.30"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

注：文件hosts字段中IP為所有etcd節點的集群內部通信IP，一個都不能少！為了方便后期擴容也可以多寫幾個預留的IP。

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

[root@k8s-master etcd]# ll server*pem
-rw-------. 1 root root 1679 Jul 10 15:38 server-key.pem
-rw-r--r--. 1 root root 1338 Jul 10 15:38 server.pem

2.3 從Github下載Etcd二進制文件

# 下載地址
#官網寫了，因為新版3.4以上版本不支持舊版API，建議換成3.3的etcd
wget https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

2.4 部署Etcd集群

在master節點上操作，為簡化操作，可以將master節點生成的所有文件拷貝到倆臺node節點

2.4.1 創建目錄并解壓二進制包

mkdir /opt/etcd/{bin,cfg,ssl} -p
tar zxvf etcd-v3.3.22-linux-amd64.tar.gz
chown -R root:root etcd-v3.3.22-linux-amd64
mv etcd-v3.3.22-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

2.4.2 創建etcd配置文件

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.10:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.10:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.10:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.10:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.10:2380,etcd-2=https://192.168.0.20:2380,etcd-3=https://192.168.0.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

ETCD_NAME：節點名稱，集群中唯一
ETCD_DATA_DIR：數據目錄
ETCD_LISTEN_PEER_URLS：集群通信監聽地址
ETCD_LISTEN_CLIENT_URLS：客戶端訪問監聽地址
ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
ETCD_ADVERTISE_CLIENT_URLS：客戶端通告地址
ETCD_INITIAL_CLUSTER：集群節點地址
ETCD_INITIAL_CLUSTER_TOKEN：集群Token
ETCD_INITIAL_CLUSTER_STATE：加入集群的當前狀態，new是新集群，existing表示加入已有集群

2.4.3 配置systemd管理etcd

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \\
--cert-file=/opt/etcd/ssl/server.pem \\
--key-file=/opt/etcd/ssl/server-key.pem \\
--peer-cert-file=/opt/etcd/ssl/server.pem \\
--peer-key-file=/opt/etcd/ssl/server-key.pem \\
--trusted-ca-file=/opt/etcd/ssl/ca.pem \\
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \\
--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

2.4.3 拷貝生成的證書

把剛才生成的證書拷貝到配置文件中的路徑

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

2.4.5 啟動并設置自啟動

systemctl daemon-reload
systemctl restart etcd
systemctl enable etcd

# 如果報錯無法啟動，則需要將其他etcd節點設置完成后才可以啟動

2.4.6 將master節點生成所有的文件拷貝到兩臺node節點

scp -rp /opt/etcd/ k8s-node1:/opt/
scp -rp /opt/etcd/ k8s-node2:/opt/

scp -rp /usr/lib/systemd/system/etcd.service k8s-node1:/usr/lib/systemd/system/
scp -rp /usr/lib/systemd/system/etcd.service k8s-node2:/usr/lib/systemd/system/

2.4.7 在node節點分別修改etcd.conf配置文件中的節點名稱和當前服務器IP

#node1和node2節點都進行修改
vim /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-2"  # 修改此處，節點2改為etcd-2，節點3改為etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"  # 修改此處為當前服務器IP
ETCD_LISTEN_PEER_URLS="https://192.168.0.20:2380"   # 修改此處為當前服務器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.20:2379" # 修改此處為當前服務器IP

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.20:2380"    # 修改此處為當前服務器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.20:2379"  # 修改此處為當前服務器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.10:2380,etcd-2=https://192.168.0.20:2380,etcd-3=https://192.168.0.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"


# 最后啟動etcd并設置開機啟動
systemctl daemon-reload
systemctl restart etcd
systemctl enable etcd

[root@k8s-master etcd]# netstat -lntup|grep etcd
tcp        0      0 192.168.0.10:2379       0.0.0.0:*               LISTEN      10529/etcd          
tcp        0      0 192.168.0.10:2380       0.0.0.0:*               LISTEN      10529/etcd 

#為三臺節點都創建系統執行指令命令
cp /opt/etcd/bin/etcdctl /usr/bin/

2.4.8 查看etcd集群狀態

[root@k8s-master etcd]# etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.0.10:2379,https://192.168.0.20:2379,https://192.168.0.30:2379" endpoint health
https://192.168.0.30:2379 is healthy: successfully committed proposal: took = 18.649662ms
https://192.168.0.20:2379 is healthy: successfully committed proposal: took = 20.469511ms
https://192.168.0.10:2379 is healthy: successfully committed proposal: took = 22.428573ms

如果輸出上面信息，就說明Etcd集群部署成功。如果有問題先看日志：/var/log/message或 journalctl -u etcd

三、所有節點部署Docker

image

我這里采用yum安裝，用二進制安裝也一樣

二進制包下載鏈接

# 1. 卸載舊版本
yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
                  
# 2. 使用存儲庫安裝
yum install -y yum-utils

# 3. 設置鏡像倉庫(修改為國內源地址)
yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 5. 更新索引
yum makecache fast

# 4. 安裝docker相關的依賴 默認最新版(docker-ce:社區版 ee:企業版)
yum install docker-ce docker-ce-cli containerd.io -y

#5. 安裝特定docker版本(先列出列出可用版本)
yum list docker-ce --showduplicates | sort -r
yum install docker-ce-19.03.9 docker-ce-cli-19.03.9 containerd.io

# 所有節點設置防火墻規則，并讓生效
vim /lib/systemd/system/docker.service
[Service]
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT

# 7. 啟動docker
systemctl enable docker
systemctl restart docker

# 8. 查看版本
[root@k8s-master ~]# docker --version
Docker version 19.03.11, build 42e35e61f3

# 9. 配置docker鏡像加速器
## 鏡像加速器：阿里云加速器，daocloud加速器，中科大加速器
## Docker 中國官方鏡像加速：https://registry.docker-cn.com
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker

四、部署Master節點

kube-apiserver，
kube-controller-manager，
kube-scheduler

4.1 生成kube-apiserver證書

4.1.1 自簽CA證書頒發機構

cd /root/TLS/k8s

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

# 生成證書
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

[root@k8s-master k8s]# ll *pem
-rw-------. 1 root root 1675 Jul 13 14:49 ca-key.pem
-rw-r--r--. 1 root root 1359 Jul 13 14:49 ca.pem

4.1.2 使用自簽CA簽發kube-apiserver HTTPS證書

# 創建證書申請文件:
cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "10.240.0.1",
      "172.16.0.1",
      "127.0.0.1",
      "192.168.0.10",
      "192.168.0.11",
      "192.168.0.12",
      "192.168.0.20",
      "192.168.0.21",
      "192.168.0.22",
      "192.168.0.30",
      "192.168.0.31",
      "192.168.0.32",
      "192.168.0.40",
      "192.168.0.41",
      "192.168.0.42",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

#上述文件hosts字段中IP為所有Master/LB/VIP IP，一個都不能少！為了方便后期擴容可以多寫幾個預留的IP

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

[root@k8s-master k8s]# ll server*pem
-rw-------. 1 root root 1679 Jul 13 14:55 server-key.pem
-rw-r--r--. 1 root root 1700 Jul 13 14:55 server.pem

4.2下載二進制文件包并解壓

下載地址： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#v1183

打開鏈接會發現里面有很多包，下載一個最新版server包就夠了，包含了Master和Node二進制文件。

# 解壓二進制包
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd ./kubernetes/server/bin/
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

4.3 部署kube-apiserver

4.3.1. 創建配置文件

cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--etcd-servers=https://192.168.0.10:2379,https://192.168.0.20:2379,https://192.168.0.30:2379 \\
--bind-address=192.168.0.10 \\
--secure-port=6443 \\
--advertise-address=192.168.0.10 \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--enable-bootstrap-token-auth=true \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-32767 \\
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \\
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF

注：上面兩個\\ 第一個是轉義符，第二個是換行符，使用轉義符是為了使用EOF保留換行符。

--logtostderr：啟用日志
--log-dir:日志目錄
--v：日志等級，越小越多
--etcd-servers: etcd集群地址
--bind-address :監聽地址
--secure-port：https安全端口
--advertise-address：集群通告地址
--allow-privileged：啟用授權
--service-cluster-ip-range：Service虛擬IP地址段
--enable-admission-plugins：準入控制模塊，決定是否啟用k8s高級功能
--authorization-mode：認證授權，啟用RBAC授權和節點自管理
--enable-bootstrap-token-auth：啟用TLS bootstrap機制
--token-auth-file：bootstrap token文件
--service-node-port-range：Service nodeport類型默認分配端口范圍
--kubelet-https：apiserver主動訪問kubectl時默認使用https
--kubelet-client-xxx：apiserver訪問kubelet客戶端證書
--tls-xxx-file：apiserver https證書
--etcd-xxxfile：連接Etcd集群證書
--audit-log-xxx：審計日志

啟用 TLS Bootstrapping 機制

TLS Bootstraping：Master apiserver啟用TLS認證后，Node節點kubelet和kube-proxy要與kube-apiserver進行通信，必須使用CA簽發的有效證書才可以，當Node節點很多時，這種客戶端證書頒發需要大量工作，同樣也會增加集群擴展復雜度。為了簡化流程，Kubernetes引入了TLS bootstraping機制來自動頒發客戶端證書，kubelet會以一個低權限用戶自動向apiserver申請證書，kubelet的證書由apiserver動態簽署。所以強烈建議在Node上使用這種方式，目前主要用于kubelet，kube-proxy還是由我們統一頒發一個證書。

此圖僅用來學習，不為本人原創

image

4.3.2 拷貝剛才生成的證書

cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

4.3.3 創建配置文件中的token文件

# 獲取16位token隨機值的命令
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
863b2ebebecffbb3a6493ff15dfc57c6

# 添加token文件（格式：token,用戶名,UID,用戶組）
BOOTSTRAP_TOKEN=863b2ebebecffbb3a6493ff15dfc57c6
cat > /opt/kubernetes/cfg/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

4.3.4 配置systemd啟動apiserver

cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.3.5 啟動并設置開機啟動

systemctl daemon-reload
systemctl restart kube-apiserver
systemctl enable kube-apiserver

4.3.6 授權kubelet-bootstrapper用戶允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

4.4 部署controller-manager

5.4.1 創建配置文件

cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF

–master：通過本地非安全本地端口8080連接apiserver
–leader-elect：當該組件啟動多個時，自動選舉（HA）
–cluster-signing-cert-file / –cluster-signing-key-file：自動為kubelet頒發證書的CA，與apiserver保持一致

4.4.2 配置systemd啟動controller-manager

cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.4.3 啟動并設置開機啟動

systemctl daemon-reload
systemctl restart kube-controller-manager
systemctl enable kube-controller-manager

4.5 部署kube-scheduler

4.5.1 創建配置文件

cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1"
EOF

–master：通過本地非安全本地端口8080連接apiserver。
–leader-elect：當該組件啟動多個時，自動選舉（HA）

4.5.2 配置systemd管理scheduler

cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.5.3 啟動并設置開機啟動

systemctl daemon-reload
systemctl restart kube-scheduler
systemctl enable kube-scheduler

4.6 查看集群狀態

所有組件都已經啟動成功，通過kubectl工具查看當前集群組件狀態

[root@k8s-master TLS]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}

輸出如上內容說明Master節點組件運行正常

五、部署Node節點

5.1 創建工作目錄并拷貝二進制文件

如果想把Master也當做Node節點的話，也可以在Master節點上安裝kubelet和kube-proxy

# 1.在所有node節點創建工作目錄
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 

# 2. 從master節點上解壓的kubernetes壓縮包中拷貝文件到所有node節點
for ip in 20 30 ;do scp -rp ./kubernetes/server/bin/{kubelet,kube-proxy} 192.168.0.$ip:/opt/kubernetes/bin/ ;done

5.2 部署kubelet

5.2.1 創建配置文件

pod的基礎容器鏡像改為國內的下載的鏡像地址或自己的Docker Hub

registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0

245684979/pause-amd64:3.0

# node1節點
cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-node1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=245684979/pause-amd64:3.0"
EOF

# node2節點
cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-node2 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=245684979/pause-amd64:3.0"
EOF

–hostname-override：顯示主機名稱，集群中唯一
–network-plugin：啟用CNI
–kubeconfig：空路徑，會自動生成，后面用于連接apiserver
–bootstrap-kubeconfig：首次啟動向apiserver申請證書
–config：配置參數文件
–cert-dir：kubelet證書生成目錄
–pod-infra-container-image：管理Pod網絡容器的鏡像，用于實現Kubernetes集群里pod之間的網絡通訊

5.2.2 配置參數文件

# node1節點和node2節點配置相同
cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509: 
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

5.2.3 生成bootstrap.kubeconfig文件

在master節點將node節點需要的CA證書文件拷貝過去

[root@k8s-master ~]# scp /opt/kubernetes/ssl/ca.pem k8s-node1:/opt/kubernetes/ssl
[root@k8s-master ~]# scp /opt/kubernetes/ssl/ca.pem k8s-node2:/opt/kubernetes/ssl

在master上查看Token文件的隨機值

[root@k8s-master ~]# cat /opt/kubernetes/cfg/token.csv 
863b2ebebecffbb3a6493ff15dfc57c6,kubelet-bootstrap,10001,"system:kubelet-bootstrapper"

在master上生成bootstrap.kubeconfig文件

KUBE_APISERVER="https://192.168.0.10:6443" # apiserverIP:PORT
TOKEN="863b2ebebecffbb3a6493ff15dfc57c6" # 與token.csv里保持一致

# 設置集群參數
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
  
# 設置客戶端認證參數
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
  
# 設置上下文參數
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=bootstrap.kubeconfig
  
# 設置默認上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

# 保存到配置文件路徑下
cp bootstrap.kubeconfig /opt/kubernetes/cfg/

# 拷貝到node節點的/opt/kubernetes/cfg/下
scp -rp /opt/kubernetes/cfg/bootstrap.kubeconfig k8s-node1:/opt/kubernetes/cfg
scp -rp /opt/kubernetes/cfg/bootstrap.kubeconfig k8s-node2:/opt/kubernetes/cfg

5.2.4 配置systemd管理kubelet

# node1節點和node2節點配置相同
cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5.2.5 啟動并設置開機啟動

systemctl daemon-reload
systemctl restart kubelet
systemctl enable kubelet

5.2.6 批準kubelet證書申請并加入集群

# 查看kubelet證書請求
[root@k8s-master ~]# kubectl get csr
NAME                                                   AGE   SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-1-0ue-UfiHoWna5v68PDMgrxk1cPPNFLG3EtoUUCdwk   85s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
node-csr-zjBOatKIi69UhbL7ypngHFw5C7xfjCOZnFyTG4Ux1H0   76s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending

# 批準請求
kubectl certificate approve node-csr-1-0ue-UfiHoWna5v68PDMgrxk1cPPNFLG3EtoUUCdwk
kubectl certificate approve node-csr-zjBOatKIi69UhbL7ypngHFw5C7xfjCOZnFyTG4Ux1H0

# 查看node節點狀態
[root@k8s-master ~]# kubectl get nodes
NAME           STATUS     ROLES    AGE   VERSION
k8s-node1   NotReady   <none>   1s    v1.18.5
k8s-node2   NotReady   <none>   1s    v1.18.5
#@注：由于網絡插件還沒有部署，節點會沒有準備就緒 NotReady

5.4 部署kube-proxy

5.4.1 創建配置文件

# node1節點和node2節點配置相同
cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

5.4.2 配置參數文件

# node1
cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-node1
clusterCIDR: 10.0.0.0/24
EOF

# node2
cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-node2
clusterCIDR: 10.0.0.0/24
EOF

5.4.3 生成kube-proxy.kubeconfig文件

在master節點生成kube-proxy證書

# 切換到存放證書目錄
cd ~/TLS/k8s/

# 創建證書請求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

[root@k8s-master k8s]# ll kube-proxy*pem
-rw-------. 1 root root 1679 Jul 14 15:41 kube-proxy-key.pem
-rw-r--r--. 1 root root 1403 Jul 14 15:41 kube-proxy.pem

5.4.3 生成kube-proxy.kubeconfig文件

在master節點生成kube-proxy.kubeconfig文件

KUBE_APISERVER="https://192.168.0.10:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

# 保存到配置文件路徑下
cp kube-proxy.kubeconfig /opt/kubernetes/cfg/

# 拷貝到node節點的/opt/kubernetes/cfg/下
scp -rp /opt/kubernetes/cfg/kube-proxy.kubeconfig k8s-node1:/opt/kubernetes/cfg
scp -rp /opt/kubernetes/cfg/kube-proxy.kubeconfig k8s-node2:/opt/kubernetes/cfg

5.4.4 配置systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5.4.5 啟動并設置開機啟動

systemctl daemon-reload
systemctl restart kube-proxy
systemctl enable kube-proxy

六、部署CNI網絡

容器網絡接口

kubernetes網絡模型設計的基本要求：

一個pod一個ip
每個pod獨立的ip，pod內所有容器共享網絡(同一個ip)
所有容器都可以與所有其他容器通信
所有節點都可以與所有容器通信

目前支持的技術

.

image

最常用的是flannel和calic

Flannel：適合百臺以下服務器，小規模集群，使用操作簡單
calico：適合數百臺以上，大規模集群

6.2 下載安裝包

wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz

# 解壓二進制包并移動到默認工作目錄
mkdir -p /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

# 在node節點創建cni目錄
mkdir -p /opt/cni/bin

# 在master節點上拷貝到node節點的cni目錄
scp -rp /opt/cni/bin/* k8s-node1:/opt/cni/bin/
scp -rp /opt/cni/bin/* k8s-node2:/opt/cni/bin/

6.3 部署CNI flannel 網絡

所有的節點都需要安裝flannel

# 部署CNI網絡(網絡問題可以多嘗試幾次)
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 默認鏡像地址無法訪問外網，可以修改為docker hub鏡像倉庫
# 245684979/flannel:v0.12.0-amd64
sed -ri "s#quay.io/coreos/flannel:.*-amd64#245684979/flannel:v0.11.0-amd64#g" kube-flannel.yml

#添加"--iface=eth0"一句指定網卡
...
containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.12.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=eth0

[root@k8s-master ~]# kubectl apply -f kube-flannel.yml

#查看kube-system下的pod
[root@k8s-master cni]# kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-lklmb   1/1     Running   0          74s
kube-flannel-ds-amd64-t5tcc   1/1     Running   0          74s

#查看node狀態
[root@k8s-master ~]# kubectl get nodes
NAME        STATUS   ROLES    AGE    VERSION
k8s-node1   Ready    <none>   2m3s   v1.18.5
k8s-node2   Ready    <none>   104s   v1.18.5

6.4 授權apiserver訪問kubelet

cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
      - pods/log
    verbs:
      - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: kubernetes
EOF


kubectl apply -f apiserver-to-kubelet-rbac.yaml

八、部署Dashboard和CoreDNS

8.1 部署Dashboard

https://github.com/kubernetes/dashboard

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

默認Dashboard只能集群內部訪問，修改Service為NodePort類型，暴露到外部

# 修改yaml文件
[root@k8s-master yaml]# vim recommended.yaml    (32gg)
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001       #添加類型
  type: NodePort
  selector:
    k8s-app: kubernetes-dashboard


# 生成dashboard
kubectl apply -f recommended.yaml

# 查看dashboard狀態
[root@k8s-master yaml]# kubectl get pods,svc -n kubernetes-dashboard
NAME                                             READY   STATUS              RESTARTS   AGE
pod/dashboard-metrics-scraper-6b4884c9d5-gqs7b   0/1     ContainerCreating   0          34s
pod/kubernetes-dashboard-7f99b75bf4-mgg46        0/1     ContainerCreating   0          35s

NAME                                TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
service/dashboard-metrics-scraper   ClusterIP   10.0.0.105   <none>        8000/TCP        35s
service/kubernetes-dashboard        NodePort    10.0.0.80    <none>        443:30001/TCP   35s

查看pod日志

 kubectl -n kube-system  logs -f  kube-flannel-ds-amd64-24jxf

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

部署Kubernetes集群（二進制 v1.18.5版）

一、Kubernetes的基本知識

1. 安裝要求

2. 系統初始化配置

二、部署Etcd集群

2.1 準備cfssl證書生成工具

2.2 生成Etcd證書

2.2.1 自簽證書頒發機構（CA）

2.2.2 使用自簽CA簽發Etcd HTTPS證書

2.3 從Github下載Etcd二進制文件

2.4 部署Etcd集群

2.4.1 創建目錄并解壓二進制包

2.4.2 創建etcd配置文件

2.4.3 配置systemd管理etcd

2.4.3 拷貝生成的證書

2.4.5 啟動并設置自啟動

2.4.6 將master節點生成所有的文件拷貝到兩臺node節點

2.4.7 在node節點分別修改etcd.conf配置文件中的節點名稱和當前服務器IP

2.4.8 查看etcd集群狀態

三、所有節點部署Docker

四、部署Master節點

4.1 生成kube-apiserver證書

4.1.1 自簽CA證書頒發機構

4.1.2 使用自簽CA簽發kube-apiserver HTTPS證書

4.2下載二進制文件包并解壓

4.3 部署kube-apiserver

4.3.1. 創建配置文件

4.3.2 拷貝剛才生成的證書

4.3.3 創建配置文件中的token文件

4.3.4 配置systemd啟動apiserver

4.3.5 啟動并設置開機啟動

4.3.6 授權kubelet-bootstrapper用戶允許請求證書

4.4 部署controller-manager

5.4.1 創建配置文件

4.4.2 配置systemd啟動controller-manager

4.4.3 啟動并設置開機啟動

4.5 部署kube-scheduler

4.5.1 創建配置文件

4.5.2 配置systemd管理scheduler

4.5.3 啟動并設置開機啟動

4.6 查看集群狀態

五、部署Node節點

5.1 創建工作目錄并拷貝二進制文件

5.2 部署kubelet

5.2.1 創建配置文件

5.2.2 配置參數文件

5.2.3 生成bootstrap.kubeconfig文件

5.2.4 配置systemd管理kubelet

5.2.5 啟動并設置開機啟動

5.2.6 批準kubelet證書申請并加入集群

5.4 部署kube-proxy

5.4.1 創建配置文件

5.4.2 配置參數文件

5.4.3 生成kube-proxy.kubeconfig文件

5.4.3 生成kube-proxy.kubeconfig文件

5.4.4 配置systemd管理kube-proxy

5.4.5 啟動并設置開機啟動

六、部署CNI網絡

6.1 Kubernetes網絡模型 (CNI)介紹

6.2 下載安裝包

6.3 部署CNI flannel 網絡

6.4 授權apiserver訪問kubelet

八、部署Dashboard和CoreDNS

8.1 部署Dashboard

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频