Kubernetes v1.25.0集群搭建实战案例(新版本含Docker容器运行时)

作者：玄明Hanko 2023-10-31 08:00:13云计算 云原生 K8s 1.24之后弃用了docker容器运行时，集建实安装方式上有所不同，群搭器运网上找到的战案大多数都是1.24之前的版本。所以把自己搭建的例新完整过程记录下来供大家参考。

一、版本前言

k8s的集建实部署方式有多种kubeadm、kind、群搭器运minikube、战案Kubespray、例新kops等本文介绍官方推荐的版本kubeadm的方式搭建集群。

二、集建实安装步骤

虚拟机两台（ip按自己的群搭器运网络环境相应配置）(master/node)。

ip	hostname
192.168.1.100	master
192.168.1.101	node1

关闭防火墙(master/node)。

systemctl stop firewalld systemctl disable firewalld

关闭selinux(master/node)。例新

setenforce 0  # 临时关闭sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭

关闭swap(master/node)。版本

swapoff -a    # 临时关闭；关闭swap主要是为了性能考虑free             # 可以通过这个命令查看swap是否关闭了sed -ri 's/.*swap.*/#&/' /etc/fstab  # 永久关闭

打开fstab后注释掉这一行：

UUID=c83b0fb3-eb59-4b1e-bca0-a1731159c553 swap swap defaults 0 0

设置fstab要永久生效要reboot系统，为了不立即reboot所以之前先使用swapoff -a临时关闭一下。后续要reboot系统后就永久生效了。

free -m

添加主机名与IP对应的关系(master/node)。

$ vim /etc/hosts#添加如下内容：192.168.1.100	master192.168.1.101	node1#保存退出

修改主机名(master/node)。

#k8s-master[root@localhost ~] hostnamelocalhost.localdomain[root@localhost ~] hostname master ##临时生效[root@localhost ~] hostnamectl set-hostname master ##重启后永久生效 #k8s-node1  [root@localhost ~] hostnamelocalhost.localdomain[root@localhost ~] hostname node1  ##临时生效[root@localhost ~] hostnamectl set-hostname node1  ##重启后永久生效

桥接设置(master/node)。

$ cat > /etc/sysctl.d/k8s.conf << EOFnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1EOF$ sysctl --system

• 以上几步最好照着都执行一下，以免后面报一大堆错

安装docker(master/node)。
如果已经安装了dokcer就不需要重复安装了，可以忽略此步骤

$ yum -y install docker-ce# 设置开机启动$ systemctl enable docker# 启动docker$ systemctl start docker

为kubernetes添加国内阿里云YUM软件源(master/node)。

cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

安装kubeadm，kubelet和kubectl(master/node)。

#版本可以选择自己要安装的版本号$ yum install -y kubelet-1.25.0 kubectl-1.25.0 kubeadm-1.25.0# 此时，还不能启动kubelet，因为此时配置还不能，现在仅仅可以设置开机自启动$ systemctl enable kubelet

安装容器运行时(master/node)。

如果k8s版本低于1.24版，可以忽略此步骤。

由于1.24版本不能直接兼容docker引擎。

Docker Engine 没有实现 CRI， 而这是容器运行时在 Kubernetes 中工作所需要的。 为此，必须安装一个额外的服务cri-dockerd。 cri-dockerd 是一个基于传统的内置 Docker 引擎支持的项目， 它在 1.24 版本从 kubelet 中移除。

目前最新k8s版本为1.28.x。

你需要在集群内每个节点上安装一个容器运行时以使Pod可以运行在上面。高版本Kubernetes要求你使用符合容器运行时接口（CRI）的运行时。

以下是几款 Kubernetes 中几个常见的容器运行时的用法：

• containerd
• CRI-O
• Docker Engine
• Mirantis Container Runtime

以下是使用 cri-dockerd 适配器来将 Docker Engine 与 Kubernetes 集成。

安装cri-dockerd。

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.2.6/cri-dockerd-0.2.6.amd64.tgztar -xf cri-dockerd-0.2.6.amd64.tgzcp cri-dockerd/cri-dockerd /usr/bin/chmod +x /usr/bin/cri-dockerd

配置启动服务。

cat <<"EOF" > /usr/lib/systemd/system/cri-docker.service[Unit]Description=CRI Interface for Docker Application Container EngineDocumentation=https://docs.mirantis.comAfter=network-online.target firewalld.service docker.serviceWants=network-online.targetRequires=cri-docker.socket[Service]Type=notifyExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8ExecReload=/bin/kill -s HUP $MAINPIDTimeoutSec=0RestartSec=2Restart=alwaysStartLimitBurst=3StartLimitInterval=60sLimitNOFILE=infinityLimitNPROC=infinityLimitCORE=infinityTasksMax=infinityDelegate=yesKillMode=process[Install]WantedBy=multi-user.targetEOF

主要是以下命令：ExecStart=/usr/bin/cri-dockerd --network-plugin=cni。
--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8。

p.s.pause的版本可以通过kubeadm config images list。

生成 socket 文件。

cat <<"EOF" > /usr/lib/systemd/system/cri-docker.socket[Unit]Description=CRI Docker Socket for the APIPartOf=cri-docker.service[Socket]ListenStream=%t/cri-dockerd.sockSocketMode=0660SocketUser=rootSocketGroup=docker[Install]WantedBy=sockets.targetEOF

启动 cri-docker 服务并配置开机启动。

systemctl daemon-reloadsystemctl enable cri-dockersystemctl start cri-dockersystemctl is-active cri-docker

部署Kubernetes (master) ,node节点不需要执行kubeadm init。

创建kubeadm.yaml文件，内容如下：

kubeadm init \--apiserver-advertise-address=192.168.1.100 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.25.0 \--service-cidr=10.10.0.0/12 \--pod-network-cidr=10.244.0.0/16 \--ignore-preflight-errors=all \--cri-socket unix:///var/run/cri-dockerd.sock

--apiserver-advertise-address=master节点IP。

--pod-network-cidr=10.244.0.0/16 要与后面kube-flannel.yml里的ip一致也就是使用10.244.0.0/16不要改它。
成功后末尾输出信息如下：

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:  mkdir -p $HOME/.kube  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  sudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:  export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:  https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 10.9.2.94:6443 --token xhurmz.i2tnhhuw7c0ecuw6 \	--discovery-token-ca-cert-hash sha256:b3683deac5daa34a5778ede0ac0210bfbefce78a380c738aac7c2304c1cb1e4f

这里是通过kubeadm init安装，所以执行后会下载相应的docker镜像，一般会发现在控制台卡着不动很久，这时就是在下载镜像，你可以docker images查看是不是有新的镜像增加。

使用kubectl工具，kubeadm安装好后,控制台也会有提示执行以下命令，照着执行（也就是第11步最后控制台输出的）(master/node)。

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

然后：

vim /etc/profile#加入以下变量export KUBECONFIG=/etc/kubernetes/admin.confsource /etc/profile

测试一下kubectl命令。

[root@k8s-master ~]# kubectl get nodesNAME         STATUS   ROLES    AGE   VERSIONmaster   NotReady    master   23m   v1.25.0

一般来说状态先会是NotReady ，可能程序还在启动中，过一会再看看就会变成Ready。

安装Pod网络插件flannel(master/node)。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

报错：The connection to the server
http://raw.githubusercontent.com was refused - did you specify the right host or port?
原因：国外资源访问不了。
解决办法：host配置可以访问的ip。

vim /etc/hosts   #在/etc/hosts增加以下这条199.232.28.133 raw.githubusercontent.com

重新执行上面命令，便可成功安装！

node节点加入master(node) 第12步控制台输出内容。

kubeadm join 10.9.2.94:6443 --token ebe5w8.hfd3b59u9ww1r966 \	--discovery-token-ca-cert-hash sha256:b3683deac5daa34a5778ede0ac0210bfbefce78a380c738aac7c2304c1cb1e4f \ --ignore-preflight-errors=all \--cri-socket unix:///var/run/cri-dockerd.sock

--ignore-preflight-errors=all \

--cri-socket unix:///var/run/cri-dockerd.sock

这两行一定要加上不然就会报各种错：

[preflight] Running pre-flight checks

error execution phase preflight: [preflight] Some fatal errors occurred:

[ERROR CRI]: container runtime is not running: output: time="2023-08-31T16:42:23+08:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for endpoint \"unix:///var/run/cri-dockerd.sock\": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"

, error: exit status 1

[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

To see the stack trace of this error execute with --v=5 or higher

Found multiple CRI endpoints on the host. Please define which one do you wish to use by setting the 'criSocket' field in the kubeadm configuration file: unix:///var/run/containerd/containerd.sock, unix:///var/run/cri-dockerd.sock

To see the stack trace of this error execute with --v=5 or higher

在master可node查看。

kubectl get nodes

到这里整个k8s集群环境就基本搭建完成了！

注意

• 安装时注意自己安装的程序版本。
• k8s组件也是以docker容器的形式存在，所以会下载很多dokcer image。
• 一般安装不会在胜利，会出现不少问题，用tailf /var/log/messages跟踪下日志。
• 最好把几台机器系统时间同步下，节点通讯中的token与时间也有关。

三、相关笔记

• K8S在kubeadm init后，没有记录kubeadm join如何查询？

#再生成一个token即可kubeadm token create --print-join-command#下在的命令可以查看历史的tokenkubeadm token list

• node节点kubeadm join失败后，要重新join怎么办？

#先执行kubeadm -y reset#再执行kubeadm join  xx.....

• 重启kubelet

systemctl daemon-reloadsystemctl restart kubelet

• 查询

#查询节点kubectl get nodes#查询pods 一般要带上"-n"即命名空间。不带等同  -n dafaultkubectl get pods -n kube-system

四、相关问题

k8s"弃用"docker?

记得当时“k8s弃用docker”解读满天飞，很多文章说docker已死。后来也出来一波说并不是完全弃用docker只是移除了docker作为容器运行时的支持。

• k8s去掉的其实是dockershim，这是一个在kubelet和docker之间的适配器，用来将docker的接口转换为k8s所需的CRI（容器运行时接口）。这样做是为了简化k8s的架构，提高性能和安全性，以及支持更多的容器运行时。
• k8s并没有完全弃用docker，而是弃用了docker作为容器运行时的支持。这意味着k8s将不再使用docker来创建和运行容器，而是使用其他符合CRI标准的运行时，如containerd或CRI-O123。这样做的原因是docker不符合CRI标准，而且需要一个叫做dockershim的中间层来适配k8s的API。
• k8s去掉docker并不意味着docker就没有用了，或者你不能或者不应该用docker作为开发工具。docker仍然是构建容器镜像的非常有用的工具，而且它生成的镜像是符合OCI（开放容器倡议）标准的。这意味着任何用docker构建的镜像都可以在k8s中与其他容器运行时正常工作。所以你不需要担心你的docker镜像会失效或者不兼容。

责任编辑：姜华 来源： 今日头条 K8sKubernetes

(责任编辑：热点)