K8S多节点二进制部署以及Dashboard UI 的二进制部署

本文主要是介绍K8S多节点二进制部署以及Dashboard UI 的二进制部署，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、多 Maser 集群架构的了解

Kubernetes作为容器集群系统，通过健康检查+重启策略实现了Pod故障自我修复能力，通过调度算法实现将Pod分布式部署，并保持预期副本数，根据Node失效状态自动在其他Node拉起Pod，实现了应用层的高可用性。

针对Kubernetes集群，高可用性还应包含以下两个层面的考虑：Etcd数据库的高可用性和Kubernetes Master组件的高可用性。而Etcd我们已经采用3个节点组建集群实现高可用，本篇博客将对Master节点高可用进行说明和实施。

Master节点扮演着总控中心的角色，通过不断与工作节点上的Kubelet进行通信来维护整个集群的健康工作状态。如果Master节点故障，将无法使用kubectl工具或者API做任何集群管理。

Master节点主要有三个服务kube-apiserver、kube-controller-mansger和kube-scheduler，其中kube-controller-mansger和kube-scheduler组件自身通过选择机制已经实现了高可用，所以Master高可用主要针对kube-apiserver组件，而该组件是以HTTP API提供服务，因此对他高可用与Web服务器类似，增加负载均衡器对其负载均衡即可，并且可水平扩容。

二、master2 节点部署

接上文进行实验：见Kubernetes二进制部署单节点master

环境准备：

节点	IP地址	安装
master1	192.168.237.10	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
node1	192.168.237.20	kubelet，kube-proxy，docker etcd
node2	192.168.237.30	kubelet，kube-proxy，docker etcd
master2	192.168.237.40	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
lb1	192.168.237.50	Nginx L4 ,keepalived
lb2	192.168.237.60	Nginx L4 ,keepalived

//关闭防火墙

systemctl stop firewalld
systemctl disable firewalld


//关闭swap

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab


//根据规划设置主机名

hostnamectl  set-hostname master02


//在master节点以及各个Node节点均添加hosts

cat >>  /etc/hosts <<EOF
192.168.229.90 master01
192.168.229.80 node01
192.168.229.70 node02
192.168.229.60 master02
EOF


//将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

sysctl --system


//时间同步

yum -y install ntpdate
ntpdate time.windows.com

1、从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点

scp -r /opt/etcd/ root@192.168.237.40:/opt/
scp -r /opt/kubernetes/ root@192.168.237.40:/opt/
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.237.40:/usr/lib/systemd/system/

2、修改配置文件kube-apiserver中的IP

vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.237.10:2379,https://192.168.237.20:2379,https://192.168.237.30:2379 \
--bind-address=192.168.237.40 \ #修改
--secure-port=6443 \
--advertise-address=192.168.237.40 \    #修改
......

3、在 master02 节点上启动各服务并设置开机自启

systemctl daemon-reload
systemctl enable --now kube-apiserver.service kube-controller-manager.service kube-scheduler.service

4、查看node节点状态

ln -s /opt/kubernetes/bin/* /usr/local/bin/
kubectl get nodes
kubectl get nodes -o wide   #-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名

三、负载均衡部署

配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）

##### 在lb1、lb2节点上操作 #####

1、配置nginx的官方在线yum源，配置本地nginx的yum源

cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF

yum install nginx -y

2、修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口

vim /etc/nginx/nginx.conf
events {
    worker_connections  1024;
}

#添加
stream {
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';

    access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-apiserver {
        server 192.168.237.10:6443;
        server 192.168.237.40:6443;
    }
    server {
        listen 6443;
        proxy_pass k8s-apiserver;
    }
}

http {
......


//检查配置文件语法
nginx -t

3、启动nginx服务，查看已监听6443端口

systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

4、部署keepalived服务

yum install keepalived -y

5、修改keepalived配置文件

vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   # 接收邮件地址
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   # 邮件发送地址
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER	#lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
}

#添加一个周期性执行的脚本
vrrp_script check_nginx {
    script "/etc/nginx/check_nginx.sh"	#指定检查nginx存活的脚本路径
}

vrrp_instance VI_1 {
    state MASTER			#lb01节点的为 MASTER，lb02节点的为 BACKUP
    interface ens33			#指定网卡名称 ens33
    virtual_router_id 51	#指定vrid，两个节点要一致
    priority 100			#lb01节点的为 100，lb02节点的为 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.237.100/24	#指定 VIP
    }
    track_script {
        check_nginx			#指定vrrp_script配置的脚本
    }
}
#其他多余的配置删除

6、创建nginx状态检查脚本

vim /etc/keepalived/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi


chmod +x /etc/keepalived/check_nginx.sh

6、创建nginx状态检查脚本

vim /etc/keepalived/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi


chmod +x /etc/keepalived/check_nginx.sh

7、启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）


systemctl start keepalived
systemctl enable keepalived
ip a    #查看VIP是否生成

8、修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP


cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig
server: https://192.168.237.20:6443

vim kubelet.kubeconfig
server: https://192.168.237.20:6443

vim kube-proxy.kubeconfig
server: https://192.168.237.20:6443

两个Node节点都需要修改

9、重启kubelet和kube-proxy服务

systemctl restart kubelet.service
systemctl restart kube-proxy.service

10、在lb1上查看nginx的k8s日志

tail /var/log/nginx/k8s-access.log

11、测试创建pod

kubectl create deployment redis-master2 --image=redis

12、查看Pod的状态信息

kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-dbddb74b8-nf9sk 0/1 ContainerCreating 0 33s #正在创建中

kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-dbddb74b8-nf9sk 1/1 Running 0 80s #创建完成，运行中

kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE
nginx-dbddb74b8-26r9l 1/1 Running 0 10m 172.17.36.2 192.168.80.15 <none>
//READY为1/1，表示这个Pod中有1个容器

13、在对应网段的node节点上操作，可以直接使用浏览器或者curl命令访问

curl 172.17.77.3

14、这时在master01节点上查看nginx日志，发现没有权限查看

kubectl logs nginx-dbddb74b8-nf9sk
Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( nginx-dbddb74b8-nf9sk)

15、在master01节点上，将cluster-admin角色授予用户system:anonymous

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous
clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created

//再次查看nginx日志

kubectl logs nginx-dbddb74b8-nf9sk

四、部署 Dashboard UI

Dashboard 介绍

仪表板是基于Web的Kubernetes用户界面。您可以使用仪表板将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，并管理集群本身及其伴随资源。

您可以使用仪表板来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署，作业，守护进程等）。

例如，您可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。仪表板还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。

====== 在 master1 节点上操作 ======

1、在k8s工作目录中创建dashborad工作目录

mkdir /opt/k8s/dashboard
cd /opt/k8s/dashboard


//上传Dashboard.zip压缩包，并解压，一共有7个文件，包含5个构建该界面的核心文件，一个k8s-admin.yaml文件是自己写的，
用来生成待会在浏览器中登录时所用的令牌；一个dashboard-cert.sh，用来快速生成解决谷歌浏览器加密通信问题所需的证书文件

//核心文件官方下载资源地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dashboard
dashboard-configmap.yaml dashboard-rbac.yaml dashboard-service.yaml dashboard-controller.yaml dashboard-secret.yaml k8s-admin.yaml dashboard-cert.sh

------------------------------------------------------------------------------------------
1、dashboard-rbac.yaml：用于访问控制设置，配置各种角色的访问控制权限及角色绑定（绑定角色和服务账户），内容中包含对应各种角色所配置的规则（rules）
2、dashboard-secret.yaml：提供令牌，访问API服务器所用（个人理解为一种安全认证机制）
3、dashboard-configmap.yaml：配置模板文件，负责设置Dashboard的文件，ConfigMap提供了将配置数据注入容器的方式，保证容器中的应用程序配置从 Image 内容中解耦
4、dashboard-controller.yaml：负责控制器及服务账户的创建，来管理pod副本
5、dashboard-service.yaml：负责将容器中的服务提供出去，供外部访问

2、通过kubectl create 命令创建resources

cd /opt/k8s/dashboard

1、规定kubernetes-dashboard-minimal该角色的权限：例如其中具备获取更新删除等不同的权限

kubectl create -f dashboard-rbac.yaml

有几个kind就会有几个结果被创建，格式为kind+apiServer/name

role.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created

//查看类型为 Role,RoleBinding 的资源对象 kubernetes-dashboard-minimal 是否生成

kubectl get role,rolebinding -n kube-system

//-n kube-system 表示查看指定命名空间中的pod，缺省值为default

3、证书和密钥创建

kubectl create -f dashboard-secret.yaml
secret/kubernetes-dashboard-certs created
secret/kubernetes-dashboard-key-holder created

查看类型为 Secret 的资源对象 kubernetes-dashboard-certs,kubernetes-dashboard-key-holder 是否生成

kubectl get secret -n kube-system

4、配置文件，对于集群dashboard设置的创建

kubectl create -f dashboard-configmap.yaml
configmap/kubernetes-dashboard-settings created

//查看类型为 ConfigMap 的资源对象 kubernetes-dashboard-settings 是否生成

kubectl get configmap -n kube-system

5、创建容器需要的控制器以及服务账户

kubectl create -f dashboard-controller.yaml
serviceaccount/kubernetes-dashboard created
deployment.apps/kubernetes-dashboard created

//查看类型为 ServiceAccount,Deployment 的资源对象 kubernetes-dashboard-settings 是否生成

kubectl get serviceaccount,deployment -n kube-system

6、将服务提供出去

kubectl create -f dashboard-service.yaml
service/kubernetes-dashboard created

//查看创建在指定的 kube-system 命名空间下的 pod 和 service 状态信息

kubectl get pods,svc -n kube-system -o wide

//svc 为 service 的缩写，可用 kubectl api-resources 查看

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE
pod/kubernetes-dashboard-7dffbccd68-c6d24 1/1 Running 1 11m 172.17.26.2 192.168.80.11 none

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service/kubernetes-dashboard NodePort 10.0.0.75 none 443:30001/TCP 11m k8s-app=kubernetes-dashboar

7、dashboard分配给了node01服务器，访问的入口是30001端口，打开浏览器访问 https://nodeIP:30001 来进行测试

火狐浏览器可直接访问：https://192.168.237.30:30001

谷歌浏览器则因为缺少加密通信的认证证书，导致无法直接访问。可通过 菜单->更多工具->开发者工具->Security 查看访问失败的原因

8、解决谷歌浏览器加密通信问题，使用的脚本 dashboard-cert.sh 来快速生成证书文件

cd /opt/k8s/dashboard/
vim dashboard-controller.yaml
......
args:
# PLATFORM-SPECIFIC ARGS HERE
- --auto-generate-certificates
#在文件的第47行下面添加以下两行，指定加密（tls）的私钥和证书文件
- --tls-key-file=dashboard-key.pem
- --tls-cert-file=dashboard.pem

9、执行脚本

cd /opt/k8s/dashboard/
chmod +x dashboard-cert.sh
./dashboard-cert.sh /opt/k8s/k8s-cert/

10、在 dashboard 工作目录下将生成两个证书

ls *.pem
dashboard.pem   dashboard-key.pem

11、重新进行部署（注意：当apply不生效时，先使用delete清除资源，再apply创建资源）

kubectl apply -f dashboard-controller.yaml

//由于可能会更换所分配的节点，所以要再次查看一下分配的节点服务器地址和端口号

kubectl get pods,svc -n kube-system -o wide

//再次进行访问测试，选择使用令牌方式登录，使用 k8s-admin.yaml 文件进行创建令牌


cd /opt/k8s/dashboard/
kubectl create -f k8s-admin.yaml

#获取token简要信息，名称为dashboard-admin-token-xxxxx

kubectl get secrets -n kube-system
NAME TYPE DATA AGE
dashboard-admin-token-kpmm8 kubernetes.io/service-account-token 3
default-token-7dhwm kubernetes.io/service-account-token 3
kubernetes-dashboard-certs Opaque 11
kubernetes-dashboard-key-holder Opaque 2
kubernetes-dashboard-token-jn94c kubernetes.io/service-account-token 3

//查看令牌序列号，取 token: 后面的内容
kubectl describe secrets dashboard-admin-token-kpmm8 -n kube-system

#获取token简要信息，名称为dashboard-admin-token-xxxxx

kubectl get secrets -n kube-system
NAME TYPE DATA AGE
dashboard-admin-token-kpmm8 kubernetes.io/service-account-token 3
default-token-7dhwm kubernetes.io/service-account-token 3
kubernetes-dashboard-certs Opaque 11
kubernetes-dashboard-key-holder Opaque 2
kubernetes-dashboard-token-jn94c kubernetes.io/service-account-token 3

这篇关于K8S多节点二进制部署以及Dashboard UI 的二进制部署的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Kubernetes

K8S多节点二进制部署以及Dashboard UI 的二进制部署

一、多 Maser 集群架构的了解

二、master2 节点部署

接上文进行实验：见Kubernetes二进制部署单节点master

环境准备：

三、负载均衡部署

配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）

两个Node节点都需要修改

四、部署 Dashboard UI

前端开发

后端开发

移动端开发

数据库

服务器运维

人工智能

区块链

游戏开发

网站运营

大数据/云计算

软件工程

软件/开发工具使用

资讯

K8S多节点二进制部署以及Dashboard UI 的二进制部署

一、多 Maser 集群架构的了解

二、master2 节点部署

接上文进行实验：见Kubernetes二进制部署 单节点master

环境准备：

三、负载均衡部署

配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）

两个Node节点都需要修改

四、部署 Dashboard UI

前端开发

后端开发

移动端开发

数据库

服务器运维

人工智能

区块链

游戏开发

网站运营

大数据/云计算

软件工程

软件/开发工具使用

资讯

接上文进行实验：见Kubernetes二进制部署单节点master