Kubernetes_v1.21.0生產(chǎn)環(huán)境高可用部署

Tecode 發(fā)布于2022-06-28 19:00 / 2347人閱讀

kubeadm介紹

kubeadm概述

Kubeadm 是一個(gè)工具，它提供了 kubeadm init 以及 kubeadm join 這兩個(gè)命令作為快速創(chuàng)建 kubernetes 集群的最佳實(shí)踐。
kubeadm 通過執(zhí)行必要的操作來啟動和運(yùn)行一個(gè)最小可用的集群。kubeadm 只關(guān)心啟動集群，而不關(guān)心其他工作，如部署前的節(jié)點(diǎn)準(zhǔn)備工作、安裝各種Kubernetes Dashboard、監(jiān)控解決方案以及特定云提供商的插件，這些都不屬于 kubeadm 關(guān)注范圍。

kubeadm功能

kubeadm 主要有如下功能：

kubeadm init 啟動一個(gè) Kubernetes 主節(jié)點(diǎn)；
kubeadm join 啟動一個(gè) Kubernetes 工作節(jié)點(diǎn)并且將其加入到集群；
kubeadm upgrade 更新一個(gè) Kubernetes 集群到新版本；
kubeadm config 如果使用 v1.7.x 或者更低版本的 kubeadm 初始化集群，您需要對集群做一些配置以便使用 kubeadm upgrade 命令；
kubeadm token 管理 kubeadm join 使用的令牌；
kubeadm reset 還原 kubeadm init 或者 kubeadm join 對主機(jī)所做的任何更改；
kubeadm version 打印 kubeadm 版本；
kubeadm alpha 預(yù)覽一組可用的新功能以便從社區(qū)搜集反饋。

本方案描述

本方案使用UCloud云主機(jī)，在云主機(jī)之上自建Kubernetes。
同時(shí)使用kubeadm部署工具，實(shí)現(xiàn)高可用，同時(shí)提供相關(guān)Kubernetes周邊組件。本方案可直接應(yīng)用于生產(chǎn)環(huán)境。

本方案采用kubeadm部署Kubernetes 1.21.0版本；
基礎(chǔ)系統(tǒng)為CentOS8.3；
etcd采用混部方式；
KeepAlived：實(shí)現(xiàn)VIP高可用；
HAProxy：以系統(tǒng)systemd形式運(yùn)行，提供反向代理至3個(gè)master 6443端口；
其他主要部署組件包括：
- Metrics：度量；
- Dashboard：Kubernetes 圖形UI界面；
- Helm：Kubernetes Helm包管理工具；
- Ingress：Kubernetes 服務(wù)暴露；
- containerd：Kubernetes底層容器時(shí)；
- Longhorn：Kubernetes 動態(tài)存儲組件。
worker04節(jié)點(diǎn)僅為測試模擬使用。

提示：本方案部署所使用腳本均由本人提供，可能不定期更新。

部署規(guī)劃

節(jié)點(diǎn)規(guī)劃

節(jié)點(diǎn)主機(jī)名	IP	類型	運(yùn)行服務(wù)
master01	172.24.8.141	Kubernetes master節(jié)點(diǎn)	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master02	172.24.8.142	Kubernetes master節(jié)點(diǎn)	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master03	172.24.8.143	Kubernetes master節(jié)點(diǎn)	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
worker01	172.24.8.144	Kubernetes worker節(jié)點(diǎn)	containerd、kubelet、proxy、calico、rook-osd、ingress
worker02	172.24.8.145	Kubernetes worker節(jié)點(diǎn)	containerd、kubelet、proxy、calico、rook-osd、ingress
worker03	172.24.8.146	Kubernetes worker節(jié)點(diǎn)	containerd、kubelet、proxy、calico、rook-osd、ingress
worker04	172.24.8.147	Kubernetes worker節(jié)點(diǎn)	containerd、kubelet、proxy、calico、rook-osd、ingress

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master節(jié)點(diǎn)組件和Etcd組件，工作節(jié)點(diǎn)通過負(fù)載均衡連接到各Master。

架構(gòu)圖

Kubernetes高可用架構(gòu)中etcd與Master節(jié)點(diǎn)組件混布方式特點(diǎn)：

所需機(jī)器資源少
部署簡單，利于管理
容易進(jìn)行橫向擴(kuò)展
etcd復(fù)用Kubernetes的高可用
風(fēng)險(xiǎn)大，一臺master主機(jī)掛了，master和etcd就都少了一套，集群冗余度受到一定影響

提示：本實(shí)驗(yàn)使用Keepalived+HAProxy架構(gòu)實(shí)現(xiàn)Kubernetes的高可用。

主機(jī)名配置

建議對所有節(jié)點(diǎn)主機(jī)名進(jìn)行相應(yīng)配置。

[root@master01 ~]# hostnamectl set-hostname master01        #其他節(jié)點(diǎn)依次修改

[root@master01 ~]# cat >> /etc/hosts << EOF
172.24.8.141 master01
172.24.8.142 master02
172.24.8.143 master03
172.24.8.144 worker01
172.24.8.145 worker02
172.24.8.146 worker03
EOF

變量準(zhǔn)備

為實(shí)現(xiàn)自動化部署，便于管理和維護(hù)，建議做如下變量準(zhǔn)備。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/environment.sh

[root@master01 ~]# vi environment.sh            #確認(rèn)相關(guān)主機(jī)名和IP
#!/bin/sh
#****************************************************************#
# scriptName: environment.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2020-05-30 16:30
# Version: 
#***************************************************************#
# 集群 MASTER 機(jī)器 IP 數(shù)組
export MASTER_IPS=(172.24.8.141 172.24.8.142 172.24.8.143)

# 集群 MASTER IP 對應(yīng)的主機(jī)名數(shù)組
export MASTER_NAMES=(master01 master02 master03)

# 集群 NODE 機(jī)器 IP 數(shù)組
export NODE_IPS=(172.24.8.144 172.24.8.145 172.24.8.146)

# 集群 NODE IP 對應(yīng)的主機(jī)名數(shù)組
export NODE_NAMES=(worker01 worker02 worker03)

# 集群所有機(jī)器 IP 數(shù)組
export ALL_IPS=(172.24.8.141 172.24.8.142 172.24.8.143 172.24.8.144 172.24.8.145 172.24.8.146)

# 集群所有IP 對應(yīng)的主機(jī)名數(shù)組
export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)

互信配置

為了方便遠(yuǎn)程分發(fā)文件和執(zhí)行命令，本實(shí)驗(yàn)配置master01節(jié)點(diǎn)到其它節(jié)點(diǎn)的 ssh 信任關(guān)系，即免秘鑰管理所有其他節(jié)點(diǎn)。

[root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N 
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_ip}
  done

提示：此操作僅需要在master01節(jié)點(diǎn)操作。

環(huán)境初始化

kubeadm本身不負(fù)責(zé)對環(huán)境的準(zhǔn)別，環(huán)境的初始化準(zhǔn)備本方案使用腳本自動完成。
使用如下腳本對基礎(chǔ)環(huán)境進(jìn)行初始化，主要包括：

安裝containerd
關(guān)閉SELinux及防火墻
優(yōu)化相關(guān)內(nèi)核參數(shù)
關(guān)閉swap
設(shè)置相關(guān)模塊
配置相關(guān)基礎(chǔ)軟件

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconinit.sh

[root@master01 ~]# vim k8sconinit.sh
#!/bin/sh
#****************************************************************#
# scriptName: k8sinit.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2021-04-16 07:35
# Version: 
#***************************************************************#
# Initialize the machine. This needs to be executed on every machine.
rm -f /var/lib/rpm/__db.00*
rpm -vv --rebuilddb
yum clean all 
yum makecache
sleep 3s
# Install containerd
CONVERSION=1.4.4                #確認(rèn)containerd版本，其他保持默認(rèn)
……

提示：此操作僅需要在master01節(jié)點(diǎn)操作。

對于某些特性，可能需要升級內(nèi)核，內(nèi)核升級操作見018.Linux升級內(nèi)核。
4.19版及以上內(nèi)核nf_conntrack_ipv4已經(jīng)改為nf_conntrack。
Kubernetes 1.20.0后可兼容的containerd版本最新為1.4.4。

[root@master01 ~]# source environment.sh
[root@master01 ~]# chmod +x *.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    scp -rp /etc/hosts root@${all_ip}:/etc/hosts
    scp -rp k8sconinit.sh root@${all_ip}:/root/
    ssh root@${all_ip} "bash /root/k8sconinit.sh"
  done

部署高可用組件

HAProxy安裝

HAProxy是可提供高可用性、負(fù)載均衡以及基于TCP(從而可以反向代理kubeapiserver等應(yīng)用)和HTTP應(yīng)用的代理，支持虛擬主機(jī)，它是免費(fèi)、快速并且可靠的一種高可用解決方案。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel wget openssh-clients systemd-devel zlib-devel pcre-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "tar -zxvf haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "cd haproxy-2.3.9/ && make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_ZLIB=1 USE_SYSTEMD=1 PREFIX=/usr/local/haprpxy && make install PREFIX=/usr/local/haproxy"
    ssh root@${master_ip} "cp /usr/local/haproxy/sbin/haproxy /usr/sbin/"
    ssh root@${master_ip} "useradd -r haproxy && usermod -G haproxy haproxy"
    ssh root@${master_ip} "mkdir -p /etc/haproxy && cp -r /root/haproxy-2.3.9/examples/errorfiles/ /usr/local/haproxy/"
  done

KeepAlived安裝

KeepAlived 是一個(gè)基于VRRP協(xié)議來實(shí)現(xiàn)的LVS服務(wù)高可用方案，可以解決靜態(tài)路由出現(xiàn)的單點(diǎn)故障問題。本方案3臺master節(jié)點(diǎn)運(yùn)行Keepalived，一臺為主服務(wù)器（MASTER），另外兩臺為備份服務(wù)器（BACKUP）。
對集群外表現(xiàn)為一個(gè)虛擬IP，主服務(wù)器會發(fā)送特定的消息給備份服務(wù)器，當(dāng)備份服務(wù)器收不到這個(gè)消息的時(shí)候，即主服務(wù)器宕機(jī)的時(shí)候，備份服務(wù)器就會接管虛擬IP，繼續(xù)提供服務(wù)，從而保證了高可用性。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install curl gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "tar -zxvf keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "cd keepalived-2.2.2/ && LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
    ssh root@${master_ip} "systemctl enable keepalived --now && systemctl restart keepalived"
  done

提示：如上僅需Master01節(jié)點(diǎn)操作，從而實(shí)現(xiàn)所有節(jié)點(diǎn)自動化安裝。若出現(xiàn)如下報(bào)錯(cuò)：undefined reference to `OPENSSL_init_ssl’，可帶上openssl lib路徑：
LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived

創(chuàng)建配置文件

對集群相關(guān)的組件提前配置，可使用如下腳本定義。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconfig.sh                #拉取自動部署腳本

[root@master01 ~]# vi k8sconfig.sh
#!/bin/sh
#****************************************************************#
# scriptName: k8sconfig
# Author: xhy
# Create Date: 2020-06-08 20:00
# Modify Author: xhy
# Modify Date: 2021-04-16 23:16
# Version: v3
#***************************************************************#
# set variables below to create the config files all files will create at ./kubeadm directory

# master keepalived virtual ip address
export K8SHA_VIP=172.24.8.100

# master01 ip address
export K8SHA_IP1=172.24.8.141

# master02 ip address
export K8SHA_IP2=172.24.8.142

# master03 ip address
export K8SHA_IP3=172.24.8.143

# master01 hostname
export K8SHA_HOST1=master01

# master02 hostname
export K8SHA_HOST2=master02

# master03 hostname
export K8SHA_HOST3=master03

# master01 network interface name
export K8SHA_NETINF1=eth0

# master02 network interface name
export K8SHA_NETINF2=eth0

# master03 network interface name
export K8SHA_NETINF3=eth0

# keepalived auth_pass config
export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d

# kubernetes CIDR pod subnet
export K8SHA_PODCIDR=10.10.0.0

# kubernetes CIDR svc subnet
export K8SHA_SVCCIDR=10.20.0.0

[root@master01 ~]# bash k8sconfig.sh

解釋：如上僅需Master01節(jié)點(diǎn)操作。執(zhí)行k8sconfig.sh腳本后會生產(chǎn)如下配置文件清單：

kubeadm-config.yaml：kubeadm初始化配置文件，位于kubeadm/目錄
keepalived：keepalived配置文件，位于各個(gè)master節(jié)點(diǎn)的/etc/keepalived目錄
haproxy：haproxy的配置文件，位于各個(gè)master節(jié)點(diǎn)的/etc/haproxy/目錄
calico.yaml：calico網(wǎng)絡(luò)組件部署文件，位于kubeadm/calico/目錄

[root@master01 ~]# vim kubeadm/kubeadm-config.yaml    #檢查集群初始化配置
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
  serviceSubnet: "10.20.0.0/16"                         #設(shè)置svc網(wǎng)段
  podSubnet: "10.10.0.0/16"                         #設(shè)置Pod網(wǎng)段
  dnsDomain: "cluster.local"
kubernetesVersion: "v1.21.0"                        #設(shè)置安裝版本
controlPlaneEndpoint: "172.24.8.100:16443"            #設(shè)置相關(guān)API VIP地址
apiServer:
  certSANs:
  - master01
  - master02
  - master03
  - 127.0.0.1
  - 172.24.8.141
  - 172.24.8.142
  - 172.24.8.143
  - 172.24.8.100
  timeoutForControlPlane: 4m0s
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "k8s.gcr.io"

---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

提示：如上僅需Master01節(jié)點(diǎn)操作，更多config文件參考：https://pkg.go.dev/k8s.io/[email protected]/cmd/kubeadm/app/apis/kubeadm/v1beta2。
此kubeadm部署初始化配置更多參考：https://pkg.go.dev/k8s.io/[email protected]/cmd/kubeadm/app/apis/kubeadm/v1beta2。
默認(rèn)kubeadm配置可使用kubeadm config print init-defaults > config.yaml生成。

啟動服務(wù)

提前啟動KeepAlive和HAProxy，提前準(zhǔn)備好高可用環(huán)境。

[root@master01 ~]# cat /etc/keepalived/keepalived.conf
[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh    #確認(rèn)Keepalived配置

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "systemctl enable haproxy.service --now && systemctl restart haproxy.service"
    ssh root@${master_ip} "systemctl enable keepalived.service --now && systemctl restart keepalived.service"
    ssh root@${master_ip} "systemctl status keepalived.service | grep Active"
    ssh root@${master_ip} "systemctl status haproxy.service | grep Active"
  done

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "ping -c1 172.24.8.100"
  done                                #等待10s執(zhí)行檢查

提示：如上僅需Master01節(jié)點(diǎn)操作，從而實(shí)現(xiàn)所有節(jié)點(diǎn)自動啟動服務(wù)。

集群部署

正式安裝

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF"
    ssh root@${all_ip} "yum install -y kubeadm-1.21.0-0.x86_64 kubelet-1.21.0-0.x86_64 kubectl-1.21.0-0.x86_64 --disableexcludes=kubernetes"
    ssh root@${all_ip} "systemctl enable kubelet"
done

[root@master01 ~]# yum search -y kubelet --showduplicates             #查看相應(yīng)版本

提示：如上僅需Master01節(jié)點(diǎn)操作，從而實(shí)現(xiàn)所有節(jié)點(diǎn)自動化安裝，同時(shí)此時(shí)不需要啟動kubelet，初始化的過程中會自動啟動的，如果此時(shí)啟動了會出現(xiàn)報(bào)錯(cuò)，忽略即可。
說明：同時(shí)安裝了cri-tools kubernetes-cni socat三個(gè)依賴：
socat：kubelet的依賴；
cri-tools：即CRI(Container Runtime Interface)容器運(yùn)行時(shí)接口的命令行工具。

集群初始化

拉取鏡像

初始化過程中會pull大量鏡像，并且鏡像位于國外，可能出現(xiàn)無法pull的情況導(dǎo)致Kubernetes初始化失敗。建議提前準(zhǔn)備鏡像，保證后續(xù)初始化。

[root@master01 ~]# kubeadm --kubernetes-version=v1.21.0 config images list         #列出所需鏡像

[root@master01 ~]# cat < kubeadm/conloadimage.sh
#!/bin/sh
#****************************************************************#
# scriptName: conloadimage.sh
# Author: xhy
# Create Date: 2021-04-15 14:03
# Modify Author: xhy
# Modify Date: 2021-04-15 17:35
# Version: 
#***************************************************************#

KUBE_VERSION=v1.21.0
CALICO_VERSION=v3.18.1
CALICO_URL=docker.io/calico
KUBE_PAUSE_VERSION=3.4.1
ETCD_VERSION=3.4.13-0
CORE_DNS_VERSION=v1.8.0
GCR_URL=k8s.gcr.io
METRICS_SERVER_VERSION=v0.4.2
INGRESS_VERSION=v0.45.0
CSI_PROVISIONER_VERSION=v1.6.0-lh1
CSI_NODE_DRIVER_VERSION=v1.2.0-lh1
CSI_ATTACHER_VERSION=v2.2.1-lh1
CSI_RESIZER_VERSION=v0.5.1-lh1
DEFAULTBACKENDVERSION=1.5
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
UCLOUD_URL=uhub.service.ucloud.cn/uxhy
QUAY_URL=quay.io

mkdir -p conimages/

# config node hostname
export ALL_NAMES=(master02 master03 worker01 worker02 worker03)

kubeimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
)

corednsimages=(coredns:${CORE_DNS_VERSION}
)

for corednsimageName in ${corednsimages[@]} ; do
echo ${corednsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${corednsimageName} ${GCR_URL}/coredns/${corednsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images export conimages/${corednsimageName}.tar ${GCR_URL}/coredns/${corednsimageName}
done

for kubeimageName in ${kubeimages[@]} ; do
echo ${kubeimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${kubeimageName} ${GCR_URL}/${kubeimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images export conimages/${kubeimageName}.tar ${GCR_URL}/${kubeimageName}
done

metricsimages=(metrics-server:${METRICS_SERVER_VERSION})

for metricsimageName in ${metricsimages[@]} ; do
echo ${metricsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${metricsimageName} ${GCR_URL}/metrics-server/${metricsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images export conimages/${metricsimageName}.tar ${GCR_URL}/metrics-server/${metricsimageName}
done

calimages=(cni:${CALICO_VERSION}
pod2daemon-flexvol:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION})

for calimageName in ${calimages[@]} ; do
echo ${calimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${calimageName} ${CALICO_URL}/${calimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images export conimages/${calimageName}.tar ${CALICO_URL}/${calimageName}
done

ingressimages=(controller:${INGRESS_VERSION})

for ingressimageName in ${ingressimages[@]} ; do
echo ${ingressimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${ingressimageName} ${GCR_URL}/ingress-nginx/${ingressimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images export conimages/${ingressimageName}.tar ${GCR_URL}/ingress-nginx/${ingressimageName}
done

csiimages=(csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-attacher:${CSI_ATTACHER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
)

for csiimageName in ${csiimages[@]} ; do
echo ${csiimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${csiimageName} longhornio/${csiimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images export conimages/${csiimageName}.tar longhornio/${csiimageName}
done

otherimages=(defaultbackend-amd64:${DEFAULTBACKENDVERSION})

for otherimagesName in ${otherimages[@]} ; do
echo ${otherimagesName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${otherimagesName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${otherimagesName} ${GCR_URL}/${otherimagesName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${otherimagesName}
ctr -n k8s.io images export conimages/${otherimagesName}.tar ${GCR_URL}/${otherimagesName}
done

allimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION}
metrics-server:${METRICS_SERVER_VERSION}
cni:${CALICO_VERSION}
pod2daemon-flexvol:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION}
controller:${INGRESS_VERSION}
csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-attacher:${CSI_ATTACHER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
defaultbackend-amd64:${DEFAULTBACKENDVERSION}
)

for all_name in ${ALL_NAMES[@]}
  do  
    echo ">>> ${all_name}"
    ssh root@${all_name} "mkdir /root/conimages"
    scp -rp conimages/* root@${all_name}:/root/conimages/
  done

for allimageName in ${allimages[@]}
  do
  for all_name in ${ALL_NAMES[@]}
    do
    echo "${allimageName} copy to ${all_name}"
    ssh root@${all_name} "ctr -n k8s.io images import conimages/${allimageName}.tar"
    done
  done
EOF

#確認(rèn)版本，提前下載鏡像
[root@master01 ~]# bash kubeadm/conloadimage.sh

提示：如上僅需Master01節(jié)點(diǎn)操作，從而實(shí)現(xiàn)所有節(jié)點(diǎn)鏡像的分發(fā)。
注意相關(guān)版本，如上腳本為v1.21.0 Kubernetes版本所需鏡像。

[root@master01 ~]# ctr -n k8s.io images ls            #確認(rèn)驗(yàn)證
[root@master01 ~]# crictl images ls

001

Master01上初始化

[root@master01 ~]# kubeadm init --config=kubeadm/kubeadm-config.yaml --upload-certs                 #保留如下命令用于后續(xù)節(jié)點(diǎn)添加：
You can now join any number of the control-plane node running the following command on each as root:

  kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a 
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394

Please note that the certificate-key gives access to cluster sensitive data keep it secret!
As a safeguard uploaded-certs will be deleted in two hours; If necessary you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a

002

注意：如上token具有默認(rèn)24小時(shí)的有效期，token和hash值可通過如下方式獲取：
kubeadm token list
如果 Token 過期以后，可以輸入以下命令，生成新的 Token:

kubeadm token create
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed s/^.* //

[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

[root@master01 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF                            #設(shè)置KUBECONFIG環(huán)境變量

[root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master01 ~]# source ~/.bashrc

附加：初始化過程大致步驟如下：

[certs]：生成相關(guān)的各種證書
[control-plane]：創(chuàng)建Kubernetes控制節(jié)點(diǎn)的靜態(tài)Pod
[etcd]：創(chuàng)建ETCD的靜態(tài)Pod
[kubelet-start]：生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
[kubeconfig]：生成相關(guān)的kubeconfig文件
[bootstraptoken]：生成token記錄下來，后續(xù)使用kubeadm join往集群中添加節(jié)點(diǎn)時(shí)會用到
[addons]：附帶的相關(guān)插件

提示：初始化僅需要在master01上執(zhí)行，若初始化異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

添加Master節(jié)點(diǎn)

[root@master02 ~]# kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a 
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394

[root@master02 ~]# mkdir -p $HOME/.kube
[root@master02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master02 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF                                           #設(shè)置KUBECONFIG環(huán)境變量
[root@master02 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master02 ~]# source ~/.bashrc

提示：master03也如上執(zhí)行添加至集群的controlplane。
若添加異?？赏ㄟ^kubeadm reset && rm -rf $HOME/.kube重置。

安裝NIC插件

NIC插件介紹

Calico 是一個(gè)安全的 L3 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略提供者。
Canal 結(jié)合 Flannel 和 Calico，提供網(wǎng)絡(luò)和網(wǎng)絡(luò)策略。
Cilium 是一個(gè) L3 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略插件，能夠透明的實(shí)施 HTTP/API/L7 策略。同時(shí)支持路由（routing）和疊加/封裝（ overlay/encapsulation）模式。
Contiv 為多種用例提供可配置網(wǎng)絡(luò)（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經(jīng)典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 項(xiàng)目完全開源。安裝工具同時(shí)提供基于和不基于 kubeadm 的安裝選項(xiàng)。
Flannel 是一個(gè)可以用于 Kubernetes 的 overlay 網(wǎng)絡(luò)提供者。

+Romana 是一個(gè) pod 網(wǎng)絡(luò)的層 3 解決方案，并且支持 NetworkPolicy API。Kubeadm add-on 安裝細(xì)節(jié)可以在這里找到。

Weave Net 提供了在網(wǎng)絡(luò)分組兩端參與工作的網(wǎng)絡(luò)和網(wǎng)絡(luò)策略，并且不需要額外的數(shù)據(jù)庫。
CNI-Genie 使 Kubernetes 無縫連接到一種 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。

提示：本方案使用Calico插件。

部署calico

確認(rèn)相關(guān)配置，如MTU，網(wǎng)卡接口，Pod的IP地址段。

[root@master01 ~]# cat kubeadm/calico/calico.yaml | grep -A1 -E CALICO_IPV4POOL_CIDR|IP_AUTODETECTION_METHOD|veth_mtu:    #檢查配置
……
  veth_mtu: "1400"                                                  #calico建議為主機(jī)MTU減去50UCloud主機(jī)默認(rèn)網(wǎng)卡為1454，建議calico mtu設(shè)置為1400

--
            - name: IP_AUTODETECTION_METHOD
              value: "interface=eth.*"                                 #檢查節(jié)點(diǎn)之間的網(wǎng)卡
--
            - name: CALICO_IPV4POOL_CIDR
              value: "10.10.0.0/16"                                     #檢查Pod網(wǎng)段

……

[root@master01 ~]# kubectl apply -f kubeadm/calico/calico.yaml
[root@master01 ~]# kubectl get pods --all-namespaces -o wide        #查看部署
[root@master01 ~]# kubectl get nodes

003

提示：官方calico參考：https://docs.projectcalico.org/manifests/calico.yaml。

修改node端口范圍

默認(rèn)Kubernetes的端口范圍為30000-32767，為便于后期應(yīng)用，如ingress的80、443端口，建議開放全端口。同時(shí)開放全端口范圍后，需要注意避開公共端口，如8080。

[root@master01 ~]# vi /etc/kubernetes/manifests/kube-apiserver.yaml
……
    - --service-node-port-range=1-65535
……

提示：如上需要在所有Master節(jié)點(diǎn)操作。

開啟非安全端口

kube-scheduler和kube-controller-manager的健康檢查使用非安全端口，因此建議打開。

root@master01:~# vi /etc/kubernetes/manifests/kube-scheduler.yaml
……
#     - --port=0                        #刪掉或注釋關(guān)閉非安全端口的配置，從而打開非安全端口
……
root@master01:~# vi /etc/kubernetes/manifests/kube-controller-manager.yaml
……
#     - --port=0                        #刪掉或注釋關(guān)閉非安全端口的配置，從而打開非安全端口
……

提示：如上需在所有Master節(jié)點(diǎn)操作。

添加Worker節(jié)點(diǎn)

[root@master01 ~]# source environment.sh

[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a"
    ssh root@${node_ip} "systemctl enable kubelet.service"
  done

提示：如上僅需Master01節(jié)點(diǎn)操作，從而實(shí)現(xiàn)所有Worker節(jié)點(diǎn)添加至集群，若添加異?？赏ㄟ^如下方式重置：

[root@worker01 ~]# kubeadm reset
[root@worker01 ~]# ifconfig cni0 down
[root@worker01 ~]# ip link delete cni0
[root@worker01 ~]# ifconfig flannel.1 down
[root@worker01 ~]# ip link delete flannel.1
[root@worker01 ~]# rm -rf /var/lib/cni/

確認(rèn)驗(yàn)證

[root@master01 ~]# kubectl get nodes                         #節(jié)點(diǎn)狀態(tài)
[root@master01 ~]# kubectl get cs                             #組件狀態(tài)
[root@master01 ~]# kubectl get serviceaccount                 #服務(wù)賬戶
[root@master01 ~]# kubectl cluster-info                         #集群信息
[root@master01 ~]# kubectl get pod -n kube-system -o wide    #所有服務(wù)狀態(tài)

004
005

提示：更多Kubetcl使用參考：https://kubernetes.io/docs/reference/kubectl/kubectl/
https://kubernetes.io/docs/reference/kubectl/overview/
更多kubeadm使用參考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

Metrics部署

Metrics介紹

Kubernetes的早期版本依靠Heapster來實(shí)現(xiàn)完整的性能數(shù)據(jù)采集和監(jiān)控功能，Kubernetes從1.8版本開始，性能數(shù)據(jù)開始以Metrics API的方式提供標(biāo)準(zhǔn)化接口，并且從1.10版本開始將Heapster替換為Metrics Server。在Kubernetes新的監(jiān)控體系中，Metrics Server用于提供核心指標(biāo)（Core Metrics），包括Node、Pod的CPU和內(nèi)存使用指標(biāo)。
對其他自定義指標(biāo)（Custom Metrics）的監(jiān)控則由Prometheus等組件來完成。

開啟聚合層

有關(guān)聚合層知識參考：https://blog.csdn.net/liukuan73/article/details/81352637
kubeadm方式部署默認(rèn)已開啟。

獲取部署文件

[root@master01 ~]# mkdir metrics
[root@master01 ~]# cd metrics/
[root@master01 metrics]# wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

[root@master01 metrics]# vi components.yaml
……
apiVersion: apps/v1
kind: Deployment
……
spec:
  replicas: 3                                    #根據(jù)集群規(guī)模調(diào)整副本數(shù)
……
    spec:
      hostNetwork: true
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-insecure-tls                #追加此args
        - --kubelet-preferred-address-types=InternalIPExternalIPHostnameInternalDNSExternalDNS          #追加此args
        - --kubelet-use-node-status-port
        image: k8s.gcr.io/metrics-server/metrics-server:v0.4.2
        imagePullPolicy: IfNotPresent
……

正式部署

[root@master01 metrics]# kubectl apply -f components.yaml
[root@master01 metrics]# kubectl -n kube-system get pods -l k8s-app=metrics-server
NAME                              READY   STATUS    RESTARTS   AGE
metrics-server-7bc5984686-px9lr   1/1     Running   0          66s
metrics-server-7bc5984686-qffb2   1/1     Running   0          66s
metrics-server-7bc5984686-t89z5   1/1     Running   0          66s

查看資源監(jiān)控

[root@master01 ~]# kubectl top nodes
[root@master01 ~]# kubectl top pods --all-namespaces

006

提示：Metrics Server提供的數(shù)據(jù)也可以供HPA控制器使用，以實(shí)現(xiàn)基于CPU使用率或內(nèi)存使用值的Pod自動擴(kuò)縮容功能。
部署參考：https://linux48.com/container/2019-11-13-metrics-server.html
有關(guān)metrics更多部署參考：
https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/
開啟開啟API Aggregation參考：
https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/
API Aggregation介紹參考：
https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/

Nginx ingress部署

通常Service的表現(xiàn)形式為IP:Port，即工作在TCP/IP層。
對于基于HTTP的服務(wù)來說，不同的URL地址經(jīng)常對應(yīng)到不同的后端服務(wù)（RS）或者虛擬服務(wù)器（Virtual Host），這些應(yīng)用層的轉(zhuǎn)發(fā)機(jī)制僅通過Kubernetes的Service機(jī)制是無法實(shí)現(xiàn)的。
從Kubernetes 1.1版本開始新增Ingress資源對象，用于將不同URL的訪問請求轉(zhuǎn)發(fā)到后端不同的Service，以實(shí)現(xiàn)HTTP層的業(yè)務(wù)路由機(jī)制。
Kubernetes使用了一個(gè)Ingress策略定義和一個(gè)具體的Ingress Controller，兩者結(jié)合并實(shí)現(xiàn)了一個(gè)完整的Ingress負(fù)載均衡器。使用Ingress進(jìn)行負(fù)載分發(fā)時(shí)，Ingress Controller基于Ingress規(guī)則將客戶端請求直接轉(zhuǎn)發(fā)到Service對應(yīng)的后端Endpoint（Pod）上，從而跳過kube-proxy的轉(zhuǎn)發(fā)功能，kube-proxy不再起作用。
簡單的理解就是：ingress使用DaemonSet或Deployment在相應(yīng)Node上監(jiān)聽80，然后配合相應(yīng)規(guī)則，因?yàn)镹ginx外面綁定了宿主機(jī)80端口（就像 NodePort），本身又在集群內(nèi)，那么向后直接轉(zhuǎn)發(fā)到相應(yīng)ServiceIP即可實(shí)現(xiàn)相應(yīng)需求。ingress controller + ingress 規(guī)則 ----> services。
同時(shí)當(dāng)Ingress Controller提供的是對外服務(wù)，則實(shí)際上實(shí)現(xiàn)的是邊緣路由器的功能。
典型的HTTP層路由的架構(gòu)：

017

設(shè)置標(biāo)簽

[root@master01 ~]# kubectl label nodes master0{123} ingress=enable

提示：建議對于非上次業(yè)務(wù)相關(guān)的應(yīng)用（如Ingress），部署在master節(jié)點(diǎn)，也能復(fù)用master節(jié)點(diǎn)的高可用。

獲取資源

[root@master01 ~]# mkdir ingress
[root@master01 ~]# cd ingress/
[root@master01 ingress]# wget http://down.linuxsb.com/kubernetes/ingress-nginx/controller-v0.45.0/deploy/static/provider/baremetal/deploy.yaml

提示：ingress官方參考：https://github.com/kubernetes/ingress-nginx
https://kubernetes.github.io/ingress-nginx/deploy/

修改配置

為方便后續(xù)管理和排障，對相關(guān)Nginx ingress掛載時(shí)區(qū)，以便于使用主機(jī)時(shí)間。
同時(shí)對ingress做了簡單配置，如日志格式等。

[root@master01 ingress]# vi deploy.yaml
……
apiVersion: apps/v1
kind: Deployment
#kind: DaemonSet
……
spec:
  replicas: 3
……
          image: k8s.gcr.io/ingress-nginx/controller:v0.45.0
……          
          volumeMounts:
……
            - name: timeconfig
              mountPath: /etc/localtime
              readOnly: true
              ……
      volumes:
……
        - name: timeconfig
          hostPath:
            path: /etc/localtime
      nodeSelector:
        ingress: enable
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
……
apiVersion: v1
kind: ConfigMap
metadata:
……
data:
  # 客戶端請求頭的緩沖區(qū)大小
  client-header-buffer-size: "512k"
  # 設(shè)置用于讀取大型客戶端請求標(biāo)頭的最大值number和size緩沖區(qū)
  large-client-header-buffers: "4 512k"
  # 讀取客戶端請求body的緩沖區(qū)大小
  client-body-buffer-size: "128k"
  # 代理緩沖區(qū)大小
  proxy-buffer-size: "256k"
  # 代理body大小
  proxy-body-size: "50m"
  # 服務(wù)器名稱哈希大小
  server-name-hash-bucket-size: "128"
  # map哈希大小
  map-hash-bucket-size: "128"
  # SSL加密套件
  ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA"
  # ssl 協(xié)議
  ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2"
  # 日志格式
  log-format-upstream: {"time": "$time_iso8601" "remote_addr": "$proxy_protocol_addr" "x-forward-for": "$proxy_add_x_forwarded_for" "request_id": "$req_id""remote_user": "$remote_user" "bytes_sent": $bytes_sent "request_time": $request_time "status":$status "vhost": "$host" "request_proto": "$server_protocol" "path": "$uri" "request_query": "$args" "request_length": $request_length "duration": $request_time"method": "$request_method" "http_referrer": "$http_referer" "http_user_agent": "$http_user_agent" }
……
apiVersion: v1
kind: Service
……
  name: ingress-nginx-controller
……  
spec:
  type: NodePort
  externalTrafficPolicy: Local          #追加
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
      nodePort: 80
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
      nodePort: 443
……

[root@master01 ingress]# kubectl apply -f deploy.yaml

提示：添加默認(rèn)backend需要等待default-backend創(chuàng)建完成controllers才能成功部署，新版本ingress不再推薦添加default backend。

確認(rèn)驗(yàn)證

[root@master01 ingress]# kubectl get pods -n ingress-nginx -o wide
[root@master01 ingress]# kubectl get svc -n ingress-nginx -o wide

007

提示：參考文檔：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md。

Dashboard部署

dashboard是基于Web的Kubernetes用戶界面?？梢允褂胐ashboard將容器化應(yīng)用程序部署到Kubernetes集群，對容器化應(yīng)用程序進(jìn)行故障排除，以及管理集群資源?？梢允褂胐ashboard來概述群集上運(yùn)行的應(yīng)用程序，以及創(chuàng)建或修改單個(gè)Kubernetes資源（例如部署、任務(wù)、守護(hù)進(jìn)程等）。
可以使用部署向?qū)U(kuò)展部署，啟動滾動更新，重新啟動Pod或部署新應(yīng)用程序。
dashboard還提供有關(guān)群集中Kubernetes資源狀態(tài)以及可能發(fā)生的任何錯(cuò)誤的信息。

設(shè)置標(biāo)簽

[root@master01 ~]# kubectl label nodes master0{123} dashboard=enable

提示：建議對于Kubernetes自身相關(guān)的應(yīng)用（如dashboard），此類非業(yè)務(wù)應(yīng)用部署在master節(jié)點(diǎn)。

創(chuàng)建證書

本實(shí)驗(yàn)已獲取免費(fèi)一年的證書，免費(fèi)證書獲取可參考：https://freessl.cn。

[root@master01 ~]# mkdir -p /root/dashboard/certs
[root@master01 ~]# cd /root/dashboard/certs
[root@master01 certs]# mv web.odocker.com.crt tls.crt
[root@master01 certs]# mv web.odocker.com.key tls.key
[root@master01 certs]# ll
total 8.0K
-rw-r--r-- 1 root root 1.9K Jun  8 11:46 tls.crt
-rw-r--r-- 1 root root 1.7K Jun  8 11:46 tls.ke

提示：也可手動如下操作創(chuàng)建自簽證書：

[root@master01 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=ZheJiang/L=HangZhou/O=Xianghy/OU=Xianghy/CN=web.odocker.com"

手動創(chuàng)建secret

[root@master01 ~]# kubectl create ns kubernetes-dashboard                                            #v2版本dashboard獨(dú)立ns
[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file=/root/dashboard/certs/ -n kubernetes-dashboard
[root@master01 ~]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml    #查看新證書`

下載yaml

[root@master01 ~]# cd /root/dashboard
[root@master01 dashboard]# wget http://down.linuxsb.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

提示：官方參考：https://github.com/kubernetes/dashboard。

修改yaml

[root@master01 dashboard]# vi recommended.yaml
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort                                #新增
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001                            #新增
  selector:
    k8s-app: kubernetes-dashboard
---
……                                                #如下全部注釋
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque
……
kind: Deployment
……
  replicas: 3                                    #適當(dāng)調(diào)整為3副本
……
    spec:
      containers:
        - name: kubernetes-dashboard
          image: kubernetesui/dashboard:v2.2.0
          imagePullPolicy: IfNotPresent         #修改鏡像下載策略
          ports:
            - containerPort: 8443
              protocol: TCP
          args:
            - --auto-generate-certificates
            - --namespace=kubernetes-dashboard
            - --tls-key-file=tls.key
            - --tls-cert-file=tls.crt
            - --token-ttl=3600                       #追加如上args
……
      nodeSelector:
#        "kubernetes.io/os": "linux"
        "dashboard": enable                        #部署在master節(jié)點(diǎn)
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: dashboard-metrics-scraper
  name: dashboard-metrics-scraper
  namespace: kubernetes-dashboard
spec:
  type: NodePort                                 #新增
  ports:
    - port: 8000
      targetPort: 8000
      nodePort: 30000                             #新增
  selector:                                                                                  
    k8s-app: dashboard-metrics-scraper
……
   replicas: 3                                    #適當(dāng)調(diào)整為3副本
……
      nodeSelector:
#        "beta.kubernetes.io/os": linux
        "dashboard": enable                        #部署在master節(jié)點(diǎn)
……

正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml
[root@master01 dashboard]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get services -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get pods -o wide -n kubernetes-dashboard

008

提示：master NodePort 30001/TCP映射到 dashboard pod 443 端口。

創(chuàng)建管理員賬戶

提示：dashboard v2版本默認(rèn)沒有創(chuàng)建具有管理員權(quán)限的賬戶，可如下操作創(chuàng)建。

[root@master01 dashboard]# cat < dashboard-admin.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard
EOF

[root@master01 dashboard]# kubectl apply -f dashboard-admin.yaml

ingress暴露dashboard

創(chuàng)建ingress tls

[root@master01 dashboard]# kubectl -n kubernetes-dashboard create secret tls kubernetes-dashboard-tls --cert=/root/dashboard/certs/tls.crt --key=/root/dashboard/certs/tls.key
[root@master01 dashboard]# kubectl -n kubernetes-dashboard describe secrets kubernetes-dashboard-tls

009

創(chuàng)建ingress策略

[root@master01 dashboard]# cat < dashboard-ingress.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: kubernetes-dashboard-ingress
  namespace: kubernetes-dashboard
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/ssl-passthrough: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    #nginx.ingress.kubernetes.io/secure-backends: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_ssl_session_reuse off;
spec:
  rules:
  - host: web.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: kubernetes-dashboard
            port:
              number: 443
  tls:
  - hosts:
    - web.odocker.com
    secretName: kubernetes-dashboard-tls
EOF

[root@master01 dashboard]# kubectl apply -f dashboard-ingress.yaml
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get ingress

010

訪問dashboard

創(chuàng)建kubeconfig文件

使用token相對復(fù)雜，可將token添加至kubeconfig文件中，使用KubeConfig文件訪問dashboard。

[root@master01 dashboard]# ADMIN_SECRET=$(kubectl -n kubernetes-dashboard get secret | grep admin | awk {print $1}) 
[root@master01 dashboard]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E ^token | awk {print $2}) 
[root@master01 dashboard]# kubectl config set-cluster kubernetes 
  --certificate-authority=/etc/kubernetes/pki/ca.crt 
  --embed-certs=true 
  --server=172.24.8.100:16443 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig        # 設(shè)置集群參數(shù)
 [root@master01 dashboard]# kubectl config set-credentials dashboard_user 
  --token=${DASHBOARD_LOGIN_TOKEN} 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig       # 設(shè)置客戶端認(rèn)證參數(shù)，使用上面創(chuàng)建的 Token
[root@master01 dashboard]# kubectl config set-context default 
  --cluster=kubernetes 
  --user=dashboard_user 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig        # 設(shè)置上下文參數(shù)
[root@master01 dashboard]# kubectl config use-context default --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig         # 設(shè)置默認(rèn)上下文

將web.odocker.com.crt證書文件導(dǎo)入，以便于瀏覽器使用該文件登錄。

導(dǎo)入證書

將web.odocker.com證書導(dǎo)入瀏覽器，并設(shè)置為信任，導(dǎo)入操作略。

測試訪問dashboard

本實(shí)驗(yàn)采用ingress所暴露的域名：https://web.odocker.com
方式一：token訪問
可使用kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E ^token | awk {print $2}所獲取的token訪問。
011

方式二：kubeconfig訪問
local-ngkeconk8s-1-21-admin.kubeconfig文件訪問。
012

提示：
更多dashboard訪問方式及認(rèn)證可參考附004.Kubernetes Dashboard簡介及使用。
dashboard登錄整個(gè)流程可參考：https://www.cnadn.net/post/2613.html

Longhorn存儲部署

Longhorn概述

Longhorn是用于Kubernetes的開源分布式塊存儲系統(tǒng)。

提示：更多介紹參考：https://github.com/longhorn/longhorn。

基礎(chǔ)軟件安裝

[root@master01 ~]# source environment.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "yum -y install iscsi-initiator-utils &"
  done

提示：所有節(jié)點(diǎn)都需要安裝。

設(shè)置標(biāo)簽

[root@master01 ~]# kubectl label nodes master0{123} longhorn-ui=enabled

提示：ui圖形界面可復(fù)用master高可用，因此部署在master節(jié)點(diǎn)。

準(zhǔn)備磁盤

默認(rèn)longhorn使用/var/lib/longhorn/作為設(shè)備路徑，因此建議提前掛載。

[root@master01 ~]# source environment.sh
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
        ssh root@${node_ip} "mkfs.xfs -f /dev/sdb &&
        mkdir -p /var/lib/longhorn/ &&
        echo /dev/sdb        /var/lib/longhorn        xfs        defaults        0 0 >> /etc/fstab &&
        mount -a"
  done

配置Longhorn

[root@master01 ~]# mkdir longhorn
[root@master01 ~]# cd longhorn/
[root@master01 longhorn]# wget 
https://raw.githubusercontent.com/longhorn/longhorn/master/deploy/longhorn.yaml

[root@master01 longhorn]# vi longhorn.yaml
……
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: longhorn-manager
  name: longhorn-manager
……
        imagePullPolicy: IfNotPresent
……
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-ui
……
      nodeSelector:
        longhorn-ui: enabled                        #追加標(biāo)簽選擇
      tolerations:
        - key: node-role.kubernetes.io/master       #添加容忍
          effect: NoSchedule
#      imagePullSecrets:
#      - name:
……
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-frontend
  namespace: longhorn-system
spec:
  type: NodePort                                    #修改為nodeport
  selector:
    app: longhorn-ui
  ports:
  - port: 80
    targetPort: 8000
    nodePort: 30002
---
……

[root@master01 longhorn]# kubectl apply -f longhorn.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get pods -o wide

013

提示：若部署異?？蓜h除重建，若出現(xiàn)無法刪除namespace，可通過如下操作進(jìn)行刪除：

wget https://github.com/longhorn/longhorn/blob/master/uninstall/uninstall.yaml
rm -rf /var/lib/longhorn/
kubectl apple -f uninstall.yaml
kubectl delete -f uninstall.yaml

動態(tài)sc創(chuàng)建

提示：默認(rèn)longhorn部署完成已創(chuàng)建一個(gè)sc，也可通過如下手動編寫yaml創(chuàng)建。

 [root@master01 longhorn]# kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
……
longhorn               driver.longhorn.io      Delete          Immediate              true                   15m

[root@master01 longhorn]# cat < longhornsc.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: longhornsc
provisioner: rancher.io/longhorn
parameters:
  numberOfReplicas: "3"
  staleReplicaTimeout: "30"
  fromBackup: "" 
EOF

[root@master01 longhorn]# kubectl apply -f longhornsc.yaml

測試PV及PVC

[root@master01 longhorn]# cat < longhornpod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: longhorn-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn
  resources:
    requests:
      storage: 500Mi

---
apiVersion: v1
kind: Pod
metadata:
  name: longhorn-pod
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:stable-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: volv
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: volv
    persistentVolumeClaim:
      claimName: longhorn-pvc
EOF

[root@master01 longhorn]# kubectl apply -f longhornpod.yaml
[root@master01 longhorn]# kubectl get pods
[root@master01 longhorn]# kubectl get pvc
[root@master01 longhorn]# kubectl get pv

014

Ingress暴露Longhorn

[root@master01 longhorn]# yum -y install httpd-tools
[root@master01 longhorn]# htpasswd -c auth xhy            #創(chuàng)建用戶名和密碼
New password: [輸入密碼]
Re-type new password:  [輸入密碼]

提示：也可通過如下命令創(chuàng)建：

USER=xhy; PASSWORD=x120952576; echo "${USER}:$(openssl passwd -stdin -apr1 <<< ${PASSWORD})" >> auth

[root@master01 longhorn]# kubectl -n longhorn-system create secret generic longhorn-basic-auth --from-file=auth

[root@master01 longhorn]# cat < longhorn-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: longhorn-ingress
  namespace: longhorn-system
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: longhorn-basic-auth
    nginx.ingress.kubernetes.io/auth-realm: Authentication Required 
spec:
  rules:
  - host: longhorn.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: longhorn-frontend
            port: 
              number: 80
EOF

[root@master01 longhorn]# kubectl apply -f longhorn-ingress.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get ingress
NAME               CLASS    HOSTS                  ADDRESS                                  PORTS   AGE
longhorn-ingress      longhorn.odocker.com   172.24.8.144172.24.8.145172.24.8.146   80      45s

確認(rèn)驗(yàn)證

瀏覽器訪問：longhorn.odocker.com，并輸入賬號和密碼。

015

使用xhy/[密碼]登錄查看。

016

Helm部署

前置準(zhǔn)備

Helm 將使用 kubectl 在已配置的集群上部署 Kubernetes 資源，因此需要如下前置準(zhǔn)備：

正在運(yùn)行的 Kubernetes 集群；
預(yù)配置的 kubectl 客戶端和 Kubernetes 集群正確交互。

二進(jìn)制安裝Helm

[root@master01 ~]# wget https://get.helm.sh/helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# tar -zxvf helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# cp linux-amd64/helm /usr/local/bin/

[root@master01 ~]# helm version        #查看安裝版本
[root@master01 ~]# echo source <(helm completion bash) >> $HOME/.bashrc    #helm自動補(bǔ)全

提示：更多安裝方式參考官方手冊：https://helm.sh/docs/intro/install/。

Helm操作

查找chart

helm search：可以用于搜索兩種不同類型的源。
helm search hub：搜索 Helm Hub，該源包含來自許多不同倉庫的Helm chart。
helm search repo：搜索已添加到本地頭helm客戶端（帶有helm repo add）的倉庫，該搜索是通過本地?cái)?shù)據(jù)完成的，不需要連接公網(wǎng)。

[root@master01 ~]# helm search hub                        #可搜索全部可用chart
[root@master01 ~]# helm search hub wordpress

添加repo

[root@master01 ~]# helm repo list                        #查看repo
[root@master01 ~]# helm repo add brigade https://brigadecore.github.io/charts
[root@master01 ~]# helm repo add stable https://kubernetes-charts.storage.googleapis.com/   #添加官方repo
[root@master01 ~]# helm repo add bitnami https://charts.bitnami.com/bitnami

[root@master01 ~]# helm search repo brigade
[root@master01 ~]# helm search repo stable                #搜索repo中的chart
[root@master01 ~]# helm repo update                        #更新repo的chart

擴(kuò)展：集群擴(kuò)容及縮容

集群擴(kuò)容

master節(jié)點(diǎn)擴(kuò)容

參考：添加Master節(jié)點(diǎn) 步驟

worker節(jié)點(diǎn)擴(kuò)容

參考：添加Worker節(jié)點(diǎn) 步驟

集群縮容

master節(jié)點(diǎn)縮容

[root@master01 ~]# kubectl drain master03 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node master03

[root@master03 ~]# kubeadm reset -f && rm -rf $HOME/.kube

worker節(jié)點(diǎn)縮容

[root@master01 ~]# kubectl drain worker04 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node worker04

[root@worker04 ~]# kubeadm reset -f && rm -rf $HOME/.kube
[root@worker04 ~]# rm -rf /etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler.conf

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/126241.html

發(fā)表評論

登陸后可評論

0條評論

Tecode

男|高級講師

我要關(guān)注我要私信

TA的文章

tensorflow指定cpu

閱讀 3538·2023-04-25 20:09
香港云服務(wù)器這幾天網(wǎng)絡(luò)有沒有丟包嚴(yán)重

閱讀 3739·2022-06-28 19:00
EPC單機(jī)掛載UHOST-RSSD高速磁盤

閱讀 3060·2022-06-28 19:00
GPU活動使用TIPS

閱讀 3081·2022-06-28 19:00
為科研量身定制，UCloud推出“云極”高性能計(jì)算EPC

閱讀 3175·2022-06-28 19:00
UCloud 2021年終特惠已開啟，快杰O型ARM服務(wù)器上海節(jié)點(diǎn)重磅上線！

閱讀 2880·2022-06-28 19:00
“懂運(yùn)維、精運(yùn)營、重服務(wù)” UCloud發(fā)布混合云多云管理平臺UCMP

閱讀 3047·2022-06-28 19:00
軟件定義存儲，UCloudStor存儲?體機(jī)強(qiáng)勢登場

閱讀 2638·2022-06-28 19:00

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Kubernetes_v1.21.0生產(chǎn)環(huán)境高可用部署

kubeadm介紹

kubeadm概述

kubeadm功能

本方案描述

部署規(guī)劃

節(jié)點(diǎn)規(guī)劃

主機(jī)名配置

變量準(zhǔn)備

互信配置

環(huán)境初始化

部署高可用組件

HAProxy安裝

KeepAlived安裝

創(chuàng)建配置文件

啟動服務(wù)

集群部署

相關(guān)組件包

正式安裝

集群初始化

拉取鏡像

Master01上初始化

添加Master節(jié)點(diǎn)

安裝NIC插件

NIC插件介紹

部署calico

修改node端口范圍

開啟非安全端口

添加Worker節(jié)點(diǎn)

添加Worker節(jié)點(diǎn)

確認(rèn)驗(yàn)證

Metrics部署

Metrics介紹

開啟聚合層

獲取部署文件

正式部署

查看資源監(jiān)控

Nginx ingress部署

設(shè)置標(biāo)簽

獲取資源

修改配置

確認(rèn)驗(yàn)證

Dashboard部署

設(shè)置標(biāo)簽

創(chuàng)建證書

手動創(chuàng)建secret

下載yaml

修改yaml

正式部署

創(chuàng)建管理員賬戶

ingress暴露dashboard

創(chuàng)建ingress tls

創(chuàng)建ingress策略

訪問dashboard

創(chuàng)建kubeconfig文件

導(dǎo)入證書

測試訪問dashboard

Longhorn存儲部署

Longhorn概述

基礎(chǔ)軟件安裝

設(shè)置標(biāo)簽

準(zhǔn)備磁盤

配置Longhorn

動態(tài)sc創(chuàng)建

測試PV及PVC

Ingress暴露Longhorn

確認(rèn)驗(yàn)證

Helm部署

前置準(zhǔn)備

二進(jìn)制安裝Helm

Helm操作

查找chart

添加repo

擴(kuò)展：集群擴(kuò)容及縮容

集群擴(kuò)容

集群縮容

相關(guān)文章

發(fā)表評論

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！