Kubernetes部署文档

我的博客 https://blog.itwk.cc/post/K8s_1-25-6_install.html

本文档将通过kubeadm+docker部署K8s集群，本次集群使用的容器运行工具为docker，K8s的容器运行工具也可以用除docker之外的、containerd、cio等等，在K8s的1.24版本以后移除了docker-shim，而Docker Engine默认不支持CRI规范，因而二者将无法直接完成整合，因此，Mirantis和Docker联合创建了cri-dockerd项目，用于为Docker Engine提供一个能够支持到CRI规范的垫片，从而能够让Kubernetes基于CRI控制Docker ，所以想在1.24版本及以后的版本中使用docker部署K8s集群，需要安装cri-dockerd

环境准备

准备3台服务器，虚拟机也行，每台主机的CPU要在2核心以上，RAM 2GB以上，否则后续初始化K8s时会不通过。

主机名	IP	CPU	内存
master.example.com	172.25.80.10	4核心	8GB
node1.example.com	172.25.80.11	4核心	8GB
node2.example.com	172.25.80.12	4核心	8GB

环境搭建

系统环境初始化

（所有节点同时操作）

配置主机名

hostnamectl set-hostname master.example.com && bash
hostnamectl set-hostname node1.example.com  && bash
hostnamectl set-hostname node2.example.com	&& bash

配置Hosts文件解析

Edit /etc/hosts

172.25.80.10 master master.example.com
172.25.80.11 node1 node1.example.com
172.25.80.12 node2 node2.example.com

关闭SELINUX以及swap

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

配置YUM仓库

备份原有YUM仓库配置文件并下载docker，K8s的仓库文件

cd /etc/yum.repos.d/
mkdir back && mv *.repo back
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum clean all && yum makecache fast

调整内核参数

将桥接的IPV4流量传递到iptables的链同一节点的不同pod，利用linux bridge进行二层通讯，由于没有原路返回造成pod请求services时的session无法收到返回值而连接超时，所以需要设置让第二层的bridge在转发时也通过第三层的iptables进行通信，并禁止使用swap，只有当系统 OOM 时才允许使用它

cat <<EOF> /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
modprobe br_netfilter && 
sysctl -p /etc/sysctl.d/kubernetes.conf

配置时区，时间同步

配置时区

timedatectl set-timezone Asia/Shanghai
timedatectl set-local-rtc 0
systemctl restart rsyslog
systemctl restart crond

NTP时间同步(采用chrony)

yum remove -y ntp ntpdate
yum -y install chrony

Edit /etc/chrony.conf

注释掉原先配置，并将时间服务器更改为阿里云服务器

https://help.aliyun.com/document_detail/92704.html

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp.aliyun.com iburst
systemctl enable --now chronyd #启动该服务并设置为开启启动

验证 (带* 表示同步成功)

chronyc sources -v
210 Number of sources = 1

  .-- Source mode  '^' = server, '=' = peer, '#' = local clock.
 / .- Source state '*' = current synced, '+' = combined , '-' = not combined,
| /   '?' = unreachable, 'x' = time may be in error, '~' = time too variable.
||                                                 .- xxxx [ yyyy ] +/- zzzz
||      Reachability register (octal) -.           |  xxxx = adjusted offset,
||      Log2(Polling interval) --.      |          |  yyyy = measured offset,
||                                \     |          |  zzzz = estimated error.
||                                 |    |           \
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 203.107.6.88                  2   6     7     1  -1258us[+28752s] +/-   19ms

配置防火墙

设置防火墙为 Iptables 并设置空规则

systemctl stop firewalld && systemctl disable firewalld
yum -y install iptables-services && systemctl start iptables && systemctl enable
iptables -F &&  iptables-save

开启ipvs

不开启ipvs将会使用iptables，但是效率低，所以官网推荐需要开通ipvs内核

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in \${ipvs_modules}; do
/sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1
if [ $? -eq 0 ]; then
/sbin/modprobe \${kernel_module}
fi
done
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

配置持久化

mkdir /var/log/journal
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

安装Docker并配置镜像加速

（所有节点同时操作）

如需指定版本可以使用 yum list docker-ce --showduplicates | sort -r 查看版本信息通过yum -y install docker-ce-18.0.3安装

yum install -y vim yum-utils device-mapper-persistent-data lvm2
yum install -y docker-ce

配置Docker镜像加速

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://vwlrpbcp.mirror.aliyuncs.com"]
}
EOF

systemctl daemon-reload && systemctl restart docker && systemctl enable --now docker

安装cri-docker 使kubernetes以docker作为运行时 (因为github速度慢，这边把rpm包镜像到自己服务器了)

https://github.com/Mirantis/cri-dockerd/releases/

yum localinstall -y  http://opt.itwk.cc/rpm/el7/cri-dockerd-0.2.6-3.el7.x86_64.rpm

修改service文件

Edit /usr/lib/systemd/system/cri-docker.service

ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8 --container-runtime-endpoint

systemctl daemon-reload && systemctl enable --now cri-docker cri-docker.socket

安装K8S

yum install -y kubelet-1.25.6 kubeadm-1.25.6 kubectl-1.25.6
systemctl enable kubelet

部署Master节点

kubeadm reset --cri-socket=unix:///var/run/cri-dockerd.sock

kubeadm init --kubernetes-version=v1.25.6 --pod-network-cidr=10.224.0.0/16 --apiserver-advertise-address=172.25.80.10 --cri-socket unix:///var/run/cri-dockerd.sock --image-repository=registry.aliyuncs.com/google_containers

部署成功； 按照日志说明进行配置

[外链图片转存中…(img-kWIPMwr4-1674572852485)]

根据日志的提示创建文件夹

mkdir -p $HOME/.kube

根据日志的提示把配置文件复制进刚刚新创建的文件夹里

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

根据日志的提示输入以下命令

chown $(id -u):$(id -g) $HOME/.kube/config

安装 Pod 网络插件(CNI)

wget https://docs.projectcalico.org/manifests/calico.yaml
kubectl apply -f calico.yaml

Node节点部署

根据提示把node节点加如到master节点中，复制你们各自在日志里的提示，然后分别粘贴在2个node节点上，最后回车即可**（注意要在后面加上--cri-socket unix:///var/run/cri-dockerd.sock这一参数，不然会失败）**

最终提示"This node has joined the cluster" 即为成功