一、基礎(chǔ)環(huán)境
| 主機(jī) | IP地址 | 容器 | 操作系統(tǒng) |
|---|---|---|---|
| master | 192.168.40.137 | docker-ce-20.10.8 | centos7.9 |
| node1 | 192.168.40.138 | docker-ce-20.10.8 | centos7.9 |
| node2 | 192.168.40.139 | docker-ce-20.10.8 | centos7.9 |
- /etc/hosts文件里需加入如下配置
cat /etc/hosts
192.168.40.137 master
192.168.40.138 node1
192.168.40.139 node2
二、集群部署前準(zhǔn)備
以下操作在三臺(tái)主機(jī)上均需運(yùn)行
1、安裝依賴包
yum install -y vim bash-completion lrzsz conntrack ipvsadm ipset jq sysstat curl
2、關(guān)閉防火墻
systemctl disable firewalld && systemctl stop firewalld
3、關(guān)閉selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
4、swap分區(qū)如果有則需要關(guān)閉
swappoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
5、加載內(nèi)核模塊
cat > /etc/sysconfig/modules/ipvs.modules << EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
modprobe -- br_netfilter
EOF
bash /etc/sysconfig/modules/ipvs.modules
- modprobe ip_vs lvs基于4層的負(fù)載均衡
- modprobe ip_vs_rr 輪詢
- modprobe ip_vs_wrr 加權(quán)輪詢
- modprobe ip_vs_sh 源地址散列調(diào)度算法
- modprobe nf_conntrack_ipv4 連接跟蹤模塊
- modprobe br_netfilter 遍歷橋的數(shù)據(jù)包由iptables進(jìn)行處理以進(jìn)行過(guò)濾和端口轉(zhuǎn)發(fā)
6、設(shè)置內(nèi)核參數(shù)
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
sysctl -p /etc/sysctl.d/k8s.conf
- overcommit_memory是一個(gè)內(nèi)核對(duì)內(nèi)存分配的一種策略,取值又三種分別為0， 1， 2。
- overcommit_memory=0， 表示內(nèi)核將檢查是否有足夠的可用內(nèi)存供應(yīng)用進(jìn)程使用；如果有足夠的可用內(nèi)存，內(nèi)存申請(qǐng)?jiān)试S；否則，內(nèi)存申請(qǐng)失敗，并把錯(cuò)誤返回給應(yīng)用進(jìn)程。
- overcommit_memory=1， 表示內(nèi)核允許分配所有的物理內(nèi)存，而不管當(dāng)前的內(nèi)存狀態(tài)如何。
- overcommit_memory=2， 表示內(nèi)核允許分配超過(guò)所有物理內(nèi)存和交換空間總和的內(nèi)存。
- net.bridge.bridge-nf-call-iptables 設(shè)置網(wǎng)橋iptables網(wǎng)絡(luò)過(guò)濾通告。
- net.ipv4.tcp_tw_recycle 設(shè)置 IP_TW 回收。
- vm.swappiness 禁用swap
- vm.panic_on_oom 設(shè)置系統(tǒng)oom（內(nèi)存溢出）
- fs.inotify.max_user_watches 允許用戶最大監(jiān)控目錄數(shù)
- fs.file-max 允許系統(tǒng)打開(kāi)的最大文件數(shù)
- fs.nr_open 允許單個(gè)進(jìn)程打開(kāi)的最大文件數(shù)
- net.ipv6.conf.all.disable_ipv6 禁用ipv6
- net.netfilter.nf_conntrack_max 系統(tǒng)的最大連接數(shù)
7、安裝docker
7.1、檢測(cè)卸載舊版docker
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
7.2、配置docker的yum源
yum -y install yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum makecache fast
yum list docker-ce --showduplicates | sort -r #列出docker-ce的版本
7.3、安裝啟動(dòng)docker
yum -y install docker-ce-20.10.8
mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://9xx4btvq.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
systemctl daemon-reload && systemctl enable docker && systemctl start docker
8、安裝kubeadm/kubelet/kubectl
8.1、配置k8s的yum源
cat > /etc/yum.repos.d/k8s.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum makecache fast
8.2、安裝kubeadm/kubelet/kubectl（kubectl只需安裝在master節(jié)點(diǎn)上）
yum -y install kubeadm-1.22.2 kubelet-1.22.2 kubectl-1.22.2
systemctl enable kubelet
kubectl completion bash > /etc/bash_completion.d/kubectl #設(shè)置命令補(bǔ)全
kubeadm completion bash > /etc/bash_completion.d/kubeadm #設(shè)置命令補(bǔ)全
8.3、拉取所需鏡像
- 由于國(guó)內(nèi)網(wǎng)絡(luò)因素，鏡像只能拉取dockerhub的鏡像，有條件的同學(xué)自己拉取，這邊也準(zhǔn)備了鏡像。
百度網(wǎng)盤(pán)鏈接：https://pan.baidu.com/s/1k1XFpSGU4R_cOyi783U3rw
提取碼：4ljn
kubeadm config images list --kubernetes-version v1.22.2 #列出安裝k8s集群所需的鏡像
- 三個(gè)節(jié)點(diǎn)都導(dǎo)入鏡像
tar -xf k8s-1-22.tar.gz
cd k8s-1.22
ls -l
total 1109712
-rw-r--r--. 1 root root 202045 Sep 25 21:41 calico.yaml
-rw-------. 1 root root 1136138752 Sep 25 22:06 k8s-1-22-all.tar.gz
docker load -i k8s-1-22-all.tar.gz
三、部署k8s集群
1、使用kubeadm init初始化集群（注意修改apiserver 地址為本機(jī)IP）
kubeadm init --kubernetes-version=v1.22.2 --apiserver-advertise-address=192.168.40.137 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.1.0.0/16
- 初始化成功后會(huì)輸出類(lèi)似下面的加入命令，暫時(shí)無(wú)需運(yùn)行，先記錄。
kubeadm join 192.168.40.137:6443 --token awn3o9.ozjkicutn44fhe0q --discovery-token-ca-cert-hash sha256:a15d5376e3f0e528b0d45eeaa080b90e798481f4fcec10587d9be1d309f56676
2、為需要使用kubectl的用戶進(jìn)行配置（這里在master節(jié)點(diǎn)上操作）
- 每次啟動(dòng)自動(dòng)加載$HOME/.kube/config下的密鑰配置文件（K8S自動(dòng)行為）
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3、集群網(wǎng)絡(luò)配置安裝 calico
- 在剛才的解壓目錄里面有calico.yaml,執(zhí)行以下命令。
kubectl apply -f calico.yaml
4、添加計(jì)算節(jié)點(diǎn)node1/node2
- 在node1，node2節(jié)點(diǎn)執(zhí)行以下命令
kubeadm join 192.168.40.137:6443 --token awn3o9.ozjkicutn44fhe0q --discovery-token-ca-cert-hash sha256:a15d5376e3f0e528b0d45eeaa080b90e798481f4fcec10587d9be1d309f56676
- 注意：沒(méi)有記錄集群 join 命令的可以通過(guò)以下方式重新獲取
kubeadm token create --print-join-command --ttl=0
- 查看集群中的節(jié)點(diǎn)狀態(tài)，可能要等等許久才Ready
kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 20h v1.22.2
node1 Ready <none> 20h v1.22.2
node2 Ready <none> 20h v1.22.2
