高可用的实施, 主要步骤概述如下:
系统软 硬件详细配置清单
根据制造业高可用架构设计, 以及业务需求, 部署模型建议配置如下:
名称 | 规格 | 备注 |
---|---|---|
CPU | 2 core | |
内存 | 4 GB | |
硬盘 | 50 GB | |
操作系统 | SUSE12 64位及补丁 | |
网卡 | 至少1块网卡, 支持VRRP 技术 |
软件 | 规格 | |
---|---|---|
NGINX | 1.16.1 | |
Keepalived | 2.0.10 | |
建议至少分为以下3个区:
分区及目录 | 大小 | 备注 |
---|---|---|
主分区( / ) |
默认 | nginx程序及配置文件位于该分区(/etc/nginx ) |
日志分区(/var/log/nginx ) |
10G-20G | |
程序目录分区(/usr/share/nginx/html ) |
10G | 可选, nginx用作web server时需要用到此目录. |
程序组件 | 安装包名 | 版本 | md5 |
---|---|---|---|
nginx | nginx-1.16.1-1.sles12.ngx.x86_64.rpm | 1.16.1 | 396A359F26DD0100CD59545BAFFAFE85 |
/etc/nginx
/usr/sbin/nginx
/etc/nginx/conf/nginx.conf
/etc/nginx/conf.d/
/var/log/nginx
/usr/share/nginx/html
❕ 注意:
需要
root
用户执行.
logrotate
vi /etc/security/limits.conf # vi编辑 * soft nofile 65535 * hard nofile 65535
vi /etc/sysctl.conf # vi编辑 # NGINX Tuning Performance fs.file-max = 65535 vm.zone_reclaim_mode = 0 net.core.somaxconn = 2048 net.ipv4.tcp_tw_recycle = 0 net.ipv4.tcp_timestamps = 1 net.ipv4.tcp_slow_start_after_idle = 0 net.ipv4.tcp_mtu_probing = 1 # 生效 sysctl -p
❕ 注意:
本节命令可以根据具体情况, 在公司内部 repo 仓库机器上进行操作.
其他机器只需要配置内部 repo 地址即可.
键入以下 zypper 命令以添加 SLES 的 zypper 存储库
$ sudo zypper addrepo -G -t yum -c 'http://nginx.org/packages/sles/12' nginx
接下来,您必须验证数字签名以保持下载包的完整性和来源。使用wget命令获取nginx签名密钥:
$ wget http://nginx.org/keys/nginx_signing.key
示例输出:
--2020-01-09 23:48:48-- http://nginx.org/keys/nginx_signing.key Resolving nginx.org (nginx.org)... 206.251.255.63, 95.211.80.227, 2001:1af8:4060:a004:21::e3, ... Connecting to nginx.org (nginx.org)|206.251.255.63|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1561 (1.5K) [text/plain] Saving to: ‘nginx_signing.key’ 100%[==================================================>] 1,561 --.-K/s in 0s 2020-01-09 23:48:49 (117 MB/s) - ‘nginx_signing.key’ saved [1561/1561]
使用rpm命令将密钥导入rpm:
$ sudo rpm --import nginx_signing.key
键入以下 zypper
命令:
$ sudo zypper install nginx=1.16.1
❕ 注意:
如果机房流量入口有其他专用防火墙, 则可以关闭 nginx 服务器上的防火墙, 且不需要执行此步骤.
首先创建Nginx特定服务的配置文件,使用vi命令等文本编辑器打开端口80:
$ sudo vi /etc/sysconfig/SuSEfirewall2.d/services/nginx
添加以下配置:
## Name: Nginx web server ## Description: Open ports for Nginx Server # space separated list of allowed TCP ports TCP="http"
(如果不需要 HTTPS 支持,则只需要允许 TCP 端口号 80 上的通信。)保存并退出 VI/VIM 文本编辑器。现在,只需运行以下命令打开端口80:
$ sudo yast firewall
必须使用 TAB 和箭头键在 YaST 中跳转。在 YaST 中,跳转到允许的服务,然后按 Enter 键:
使用 TAB 跳转到“Allowed Services”,然后按向下箭头键选择 Nginx web server,然后按回车键。必须按 Alt-A 来将Nginx服务器添加到防火墙:
按 Alt-N 和 Alt-F 保存并完成 SLES 上的防火墙设置。返回 shell 提示符后,列出 sle 上的所有 iptables 规则:
$ sudo iptables -S
示例输出:
-A input_ext -p tcp -m limit --limit 3/min -m tcp --dport 80 --tcp-flags FIN,SYN,RST,ACK SYN -j LOG --log-prefix "SFW2-INext-ACC-TCP " --log-tcp-options --log-ip-options -A input_ext -p tcp -m tcp --dport 80 -j ACCEPT
使用 sudo 命令和 grep 命令的组合来确定端口 80 是否打开:
sudo sh -c 'iptables -L -n -v | grep :80'
键入以下 systemctl
命令以在系统启动时启用 Nginx: (开机自启)
$ sudo systemctl enable nginx
启动 Nginx web 服务器:
$ sudo systemctl start nginx
验证:
$ systemctl status nginx
要判断 80 端口是否监听, 运行以下 netstat 命令或 ss 命令:
$ sudo netstat -tulpn | grep :80 $ sudo ss -tulpn | grep :80
停止:
$ sudo systemctl stop nginx
启动:
$ sudo systemctl start nginx
重新启动服务:
$ sudo systemctl restart nginx
更改配置后重新加载 Ngnix:
$ sudo systemctl reload nginx
ℹ️ 建议:
配置更新后使用
reload
来重新加载nginx.
访问 nginx 页面:
假设 NGINX IP为: 192.168.0.1. 使用浏览器或 curl
访问:
http://serve_IP http://your-domain http://192.168.0.1
$ curl -I 192.168.122.43
示例输出:
HTTP/1.1 200 OK Server: nginx/1.16.1 Date: Sat, 03 Feb 2020 19:18:53 GMT Content-Type: text/html Content-Length: 612 Last-Modified: Tue, 17 Oct 2019 13:30:50 GMT Connection: keep-alive ETag: "59e6060a-264" Accept-Ranges: bytes
现在 Nginx 已经启动并运行了。接下来可以定制配置。
SLES 的服务器配置文件:
/etc/nginx/
: nginx 默认配置目录/etc/nginx/nginx.conf
: nginx 主配置文件/etc/nginx/conf.d/default.conf
: 默认 virtual host 的配置修改主配置:
$ sudo vi /etc/nginx/nginx.conf
/var/log/nginx/access.log
: 访问日志/var/log/nginx/error.log
: 错误日志主配置文件详细说明如下:
#### 全局块 开始 ##### # 配置允许运行Nginx服务器的用户和用户组 #user nginx nginx; # 配置允许Nginx进程生成的worker process数 worker_processes 4; #worker_cpu_affinity 0001 0010 0100 1000; # 配置Nginx服务器运行时的错误日志文件存放路径和名称 #error_log logs/error.log; error_log logs/error.log info; # 配置Nginx服务器运行时的pid文件存放路径和名称 pid logs/nginx.pid; #### 全局块 结束 ##### #### events块 开始 #### events { # 配置事件驱动模型 use epoll; accept_mutex off; multi_accept off; worker_connections 65535; } #### events块 结束 #### #### http块 开始 #### http { # 定义MIME-Type include mime.types; default_type application/octet-stream; # 配置请求处理日志的格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent $request_time $upstream_response_time "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$host"'; access_log logs/access.log main; # 配置允许使用sendfile方式传输 sendfile on; #tcp_nopush on; # 配置连接超时时间 #keepalive_timeout 0; keepalive_timeout 65; # nginx允许的客户端请求头部的缓冲区大小 client_header_buffer_size 4k; # gzip conf gzip on; gzip_min_length 1024; gzip_buffers 32 4k; gzip_http_version 1.1; gzip_comp_level 6; gzip_types text/plain application/xml image/x-icon image/svg+xml image/png text/css image/jpeg image/gif application/x-javascript application/javascript application/json; gzip_vary on; gzip_disable "MSIE [1-6]\."; # security port_in_redirect off; server_tokens off; # proxy buffer proxy_buffers 8 4k; proxy_buffer_size 4k; proxy_temp_file_write_size 4k; proxy_temp_path proxy_temp; # proxy cache # proxy_cache_path cache/ keys_zone=cache_all:10m; #### server块 开始 #### ## 配置虚拟主机localhost server { listen 80 reuseport; server_name localhost; #charset koi8-r; access_log logs/host.access.log main; location / { root html; index index.html index.htm; } error_page 404 /404.html; # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } #### server 块 结束 #### # HTTPS server # #server { # listen 443 ssl; # server_name localhost; # ssl_certificate cert.pem; # ssl_certificate_key cert.key; # ssl_session_cache shared:SSL:1m; # ssl_session_timeout 5m; # ssl_ciphers HIGH:!aNULL:!MD5; # ssl_prefer_server_ciphers on; # location / { # root html; # index index.html index.htm; # } #} # virtual hosts include conf.d/default.conf; } #### http块 结束 ####
✔️ 建议:
为了保证主配置文件的干净. 建议通过
include conf.d/default.conf;
类似这样的方式来引入其他virtual hosts配置.
sudo vi /etc/logrotate.d/nginx
编辑内容:
/var/log/nginx/*.log { daily rotate 90 # 保留90天, 按需调整 create dateext #compress # 是否启用压缩, 按需调整 #minsize 1M #create 0644 nginx nginx # nginx日志所属用户和组, 按需调整 # copytruncate 用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。 # delaycompress 和compress 一起使用时,转储的日志文件到下一次转储时才压缩 missingok ifempty # default nomail #noolddir # default sharedscripts # 运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本 postrotate # 在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行 if [ -f /var/log/nginx/nginx.pid ]; then kill -USR1 `cat /var/log/nginx/nginx.pid` fi endscript }
强制运行一次来测试:logrotate -f -v /etc/logrotate.d/nginx
(对应目录只能 user 有w权限, 否则会报错)
配置好即可, logrotate 会自动读取/etc/logrotate.d
的配置并自动执行.
📓 备注:
cron.daily 会在
3:22+(5,45)
这个时间段执行
ℹ️ 假定:
假设相关IP如下:
- VIP: 192.168.0.100
- NGINX - 主IP: 192.168.0.1
- NGINX - 从IP: 192.168.0.2
- NGINX - 主从的IP对应的网卡为
eth0
$ sudo zypper install keepalived=2.0.10
Keepalived启动默认读取配置文件路径 /etc/keepalived/keepalived.conf
,添加配置文件:
sudo vi /etc/keepalived/keepalived.conf
NGINX - 主 机器配置如下:
vrrp_script chk_nginx { script "/etc/keepalived/nginx_pid.sh" # 检测nginx状态的脚本路径 interval 2 weight -20 fall 3 } vrrp_instance VI_1 { state MASTER # 从机为 BACKUP interface eth0 # 具体的网卡接口看情况进行填写 virtual_router_id 51 priority 110 # 备机权值为100 advert_int 1 authentication { auth_type PASS auth_pass 123456 } track_script { chk_nginx } virtual_ipaddress { 192.168.0.100/24 brd 192.168.0.255 dev eth0 label eth0:vip # 根据实际情况进行修改 } }
配置说明如下:
weight -20
: keepalived 配置里 priority 110
是初始权重;主的初始设置了 110,备的设置了 100;如果检测失败,权重 -20. 主从切换.
virtual_router_id 51
自己定义的虚拟路由的id。vrrp_instance VI_1
块中 virtual_router_id
指令的值 51 是一个示例值;根据需要改变它,使其在您的环境中独一无二。
添加
NGINX - 从 机器配置如下:
vrrp_script chk_nginx { script "/etc/keepalived/nginx_pid.sh" # 检测nginx状态的脚本路径 interval 2 weight -20 } vrrp_instance VI_1 { state BACKUP # 辅机为 BACKUP interface eth0 # 具体的网卡接口看情况进行填写 virtual_router_id 51 priority 100 # 备机权值为100 advert_int 1 authentication { auth_type PASS auth_pass 123456 } track_script { chk_nginx } virtual_ipaddress { 192.168.0.100/24 brd 192.168.0.255 dev eth0 label eth0:vip # 根据实际情况进行修改 } }
❕ 备注:
使用
root
用户
配置检测脚本:/etc/keepalived/nginx_pid.sh
#!/bin/bash A=`ps -C nginx --no-header|wc -l` if [ $A -eq 0 ] then systemctl start nginx exit 1 else exit 0 fi
赋予执行权限: chmod 750 /etc/keepalived/nginx_pid.sh
键入以下 systemctl 命令以在系统启动时启用 keepalived: (开机自启)
$ sudo systemctl enable keepalived
启动 Nginx web 服务器:
$ sudo systemctl start keepalived
验证:
$ systemctl status keepalived
要查看当前哪个节点是给定 VIP 的主节点,请在定义 VRRP 实例的接口上运行命令 ip addr show
(在以下命令中,eth0
节点suse12-1
和上的接口suse12-2
):
suse12-1 # ip addr show eth0 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 52:54:00:33:a5:a5 brd ff:ff:ff:ff:ff:ff inet 192.168.0.1/24 brd 192.168.0.255 scope global dynamic eth0 valid_lft 3071sec preferred_lft 3071sec inet 192.168.0.100/32 scope global eth0 valid_lft forever preferred_lft forever suse12-2 # ip addr show eth0 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 52:54:00:33:a5:87 brd ff:ff:ff:ff:ff:ff inet 192.168.0.2/24 brd 192.168.0.255 scope global eth0 valid_lft forever preferred_lft forever
在此输出中,第二行 inet
表示 suse12-1
是主节点, 已为其分配了已定义的 VIP(192.168.0.100
)。inet
输出中的其他行显示主节点的实际IP地址(192.168.0.1
)和备用(或 从)节点的IP地址(192.168.0.2
)。
至此, nginx + keepalived 的负载均衡层高可用已经配置完成.
ℹ️ 假定:
假设应用系统的相关信息如下:
- 请求及业务协议为HTTP协议;
- 应用系统节点1 IP为: 172.30.0.1
- 应用系统节点2 IP为: 172.30.0.2
- 业务系统监听端口为: 8080
以 mes 系统高可用配置为例(协议为 HTTP 协议), 新增 /etc/nginx/conf.d/mes.conf
:
# mes access upstream mes{ # ip_hash; # 源地址会话保持, 按需开启 server 172.30.0.1:8080; server 172.30.0.2:8080; } server { listen 80; #server_name mes.example.com 192.168.0.100; # server_name为对应的访问域名, 按需开启 #set max uploading file size to 20m client_max_body_size 20m; #charset koi8-r; # keepalive # 设置代理的HTTP协议版本(默认是1.0版本) proxy_http_version 1.1; # 按需调整 # 允许重新定义或追加字段到传递给代理服务器的请求头信息(默认是close) proxy_set_header Connection ""; proxy_set_header HOST $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; access_log logs/mes_access.log main buffer=16k flush=5m; error_log logs/mes_error.log; location / { #root html; #index index.html index.htm; proxy_pass http://mes; #proxy_redirect off; # proxy_cache cache_all; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html # #error_page 500 502 503 504 /50x.html; #location = /50x.html { # root html; #} }
在 http 块新增如下内容
include conf.d/mes.conf;
更改配置后重新加载Ngnix使配置生效:
sudo systemctl reload nginx
通过 VIP 进行访问, 查看对应应用系统日志, 观察是否 2 个节点都接收到请求.
❗️ 严格遵循 制造业本公司的变更控制规范. 进行相关的变更控制和审批流程.
一个新的应用需要上线或者变更,通常涉及以下步骤:
可以随时实施的变更:
/etc/nginx/conf.d
中增加一个配置文件;/etc/nginx/nginx.conf
中增加一个 include
,指向新增的配置文件;❗️ 需要在变更窗口进行的变更:
sudo systemctl reload nginx
)配置.回退较为简单, 步骤如下:
参考文件 |
---|
High Availability Support for NGINX |
三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.