• 1. 准备工作
  • 1.1 解析主机名
  • 1.2 同步时间
  • 1.3 关闭防火墙
  • 1.4 禁用selinux
  • 1.5 禁用swap分区
  • 1.6 配置网桥转发
  • 1.7 配置ipvs功能
• 2. 安装Docker
• 3. 安装Node组件
• 4. 配置Master服务
• 5. 加入Node节点
• 6. 部署CNI网络组件
• 7. 测试Nginx服务
• 总结
• 参考资料

1. 准备工作

所有集群节点都进行配置，服务器环境如下：

• 虚拟机：VMware Fusion12.1.2；
• 操作系统：CentOS7.6.18;
• 系统内核：5.4.173-1.el7.elrepo.x86_64

1.1 解析主机名

在每个集群节点中的hosts中加入主机名映射：

cat <<EOF >> /etc/hosts
10.0.0.11 k8s-master	# K8s主节点
10.0.0.12 k8s-node1		# K8s从节点
10.0.0.13 k8s-node2		# K8s从节点
EOF

分别修改主机名：

hostnamectl set-hostname k8s-master	 # 在master上执行
hostnamectl set-hostname k8s-node1	 # 在node1上执行
hostnamectl set-hostname k8s-node2	 # 在node2上执行

1.2 同步时间

# 设置时区
timedatectl set-timezone Asia/Shanghai
timedatectl

# 安装chrony同步工具
yum makecache fast
yum -y install chrony
systemctl start chroynd
systemctl enable --now chronyd

# 强制同步时间
chronyc -a makestep
date

1.3 关闭防火墙

关闭firewalld或iptables服务

# firewalld
systemctl stop firewalld 
systemctl disable firewallld

# iptables
systemctl stop iptables
systemctl disable iptables

1.4 禁用selinux

selinux是linux系统下的一个安全服务，可能引发一些问题

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
setenforce 0

1.5 禁用swap分区

Kubernetes v1.8+要求关闭系统 Swap，Swap指虚拟内存分区

# 注释swap相关的行
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
swapoff -a
sysctl -w vm.swappiness=0

1.6 配置网桥转发

将桥接的IPv4流量传递到iptables的链

cat <<EOF >/etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

# 重新加载
sysctl --system

# 加载过滤模块
modprobe br_netfilter

# 查看是否成功
lsmod | grep br_netfilter	

1.7 配置ipvs功能

在K8s中kube-proxy有iptables和ipvs两种代理模型，ipvs性能较高，但需要手动载入ipset和ipvsadm模块

# ⚠️ 系统内核为4.19+时，执行此操作
yum install -y ipset ipvsadm
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
lsmod|grep -e ip_vs -e nf_conntrack

# ⚠️ 系统内核低于4.19，执行此操作
yum install -y ipset ipvsadm
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
nf_conntrack
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules 
lsmod|grep -e ip_vs -e nf_conntrack_ipv4

# 最后重启服务器
reboot

2. 安装Docker

docker是K8s集群的基础服务组件，需在每个集群节点上安装docker服务，安装流程可参考Docker安装教程。

K8s推荐的Cgroup是systemd, 修改Docker的Cgroup Driver：

# 查看docker的Cgroup Driver，默认为cgroupfs
docker info|grep Cgroup

# 修改Cgroup,若daemon.json不存在，则手动创建
cat /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

# 重启服务
systemctl daemon-reload
systemctl restart docker

3. 安装Node组件

在所有服务节点上安装kubeadm, kubelet和kubectl

# 配置阿里云yum仓库
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 查看可用的版本
yum list kubectl --showduplicates

# 注意⚠️：如果仅安装kubeadm，则会自动安装最新版本kubelet和kubectl
yum -y install kubeadm-1.22.6 kubelet-1.22.6 kubectl-1.22.6

# 注意⚠️：将添加到启动项，无需启动
systemctl enable kubelet
systemctl status kubelet

# 查看版本
kubeadm version
kubectl version
kubelet --version

修改kubelet的Cgroup:

# 修改kubelet的Cgroup
cat <<EOF > /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF

4. 配置Master服务

# 查看kubeadm使用的镜像
kubeadm config images list

# 可预先拉取镜像，或下一步init时自动拉取
# kubeadm config images pull
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers

# 注意⚠️：只需修改第一项的IP，其余不用动
kubeadm init \
--apiserver-advertise-address=10.0.0.11 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.22.6 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12

#