1.环境说明

• linux版本：CentOS Linux release 7.9.2009
• erlang版本:erlang-24.0
• rabbitmq版本:rabbitmq_server-3.9.13

2.源码安装erlang、RabbitMQ

　　Rabbitmq采用erlang语言开发，所以在安装rabbitmq之前，需要安装erlang。

2.1 下载erlang、RabbitMQ源码包

erlang官网下载地址:http://www.erlang.org/download 选择opt_src_版本号.tar.gz(这里我选择的是 otp_src_24.0.tar.gz)

或者在linux服务器上使用 wget http://www.erlang.org/download/otp_src_24.0.tar.gz 进行下载

 RabbitMq官网下载地址:https://www.rabbitmq.com/download.html

2.2 安装erlang

　　1. 安装相关依赖　

yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel gtk2-devel binutils-devel unixODBC unixODBC-devel xz

2. 上传并解压erlang安装包

#上传otp_src_24.0.tar.gz rabbitmq-server-generic-unix-3.9.13.tar.xz 到指定路径（这里我上传到/lee）
#解压安装包
[root@lee lee]# tar -zxvf otp_src_24.0.tar.gz 
[root@lee lee]# ll
total 111200
drwxr-xr-x 12 2004 wheel      4096 May 12  2021 otp_src_24.0
-rw-r--r--  1 root root  101193664 Mar 21 09:45 otp_src_24.0.tar.gz
-rw-r--r--  1 root root   12660820 Mar 21 09:45 rabbitmq-server-generic-unix-3.9.13.tar.xz

3. 编译安装erlang

#创建erlang安装目录
[root@lee lee]# mkdir -p /lee/erlang
#进入otp_src_24.0目录
[root@lee lee]# cd otp_src_24.0
[root@lee otp_src_24.0]# ./configure prefix=/lee/erlang
[root@lee otp_src_24.0]# make && make install
#安装完成后安装路径下的目录如下
[root@lee otp_src_24.0]# cd ../erlang/
[root@lee erlang]# ll
total 8
drwxr-xr-x 2 root root 4096 Mar 21 11:03 bin
drwxr-xr-x 3 root root 4096 Mar 21 11:02 lib

在执行 ./configure prefix=/lee/erlang 时出现如下问题可不用处理，这样编译完成

4. 配置环境变量并验证erlang是否安装成功

# 将erlang安装路径/bin 添加到 /ect/profile 末尾
[root@lee erlang]# vi /etc/profile
[root@lee erlang]# source /etc/profile
# 验证是否安装成功，执行erl 结果如下表示正常
[root@lee erlang]# erl
Erlang/OTP 24 [erts-12.0] [source] [64-bit] [smp:2:2] [ds:2:2:10] [async-threads:1]

Eshell V12.0  (abort with ^G)
1>
# 执行 halt(). 退出控制台
1> halt().
[root@lee erlang]#

 2.3. 安装RabbitMQ

安装RabbitMQ前需要确认erlang安装成功

# 解压 rabbitmq-server-generic-unix-3.9.13.tar.xz
[root@lee lee]# xz -d rabbitmq-server-generic-unix-3.9.13.tar.xz
[root@lee lee]# tar -xvf rabbitmq-server-generic-unix-3.9.13.tar
[root@lee lee]# mv rabbitmq_server-3.9.13/ rabbitmq
# 配置 RabbitMQ 环境变量
# 将 export PATH=$PATH:/lee/rabbitmq/bin:/lee/rabbitmq/sbin 添加到 /etc/profile 末尾
[root@lee lee]# vi /etc/profile
[root@lee lee]# source /etc/profile
# 后台启动 RabbitMQ
[root@lee lee]# rabbitmq-server -detached
# 查看端口 5672 存在表示启动成功
[root@lee lee]# ss -tnlp|grep 5672
LISTEN     0      128          *:25672                    *:*                   users:(("beam.smp",pid=8418,fd=17))
LISTEN     0      128       [::]:5672                  [::]:*                   users:(("beam.smp",pid=8418,fd=32))
# 添加rabbitmq浏览器管理插件
[root@lee lee]# rabbitmq-plugins enable rabbitmq_management
# RabbitMQ有默认用户名密码 guest/guest，该用户名密码只能在本地登陆
# 如若在浏览器中登陆，须新创建用户名密码
# 添加用户名密码
[root@lee lee]# rabbitmqctl add_user rabbitmq_user rabbitmq_pwd
# 检查用户列表
[root@lee lee]# rabbitmqctl list_users
Listing users ...
user    tags
guest   [administrator]
rabbitmq_user   []
# 为 rabbitmq_user 用户添加administrator角色
[root@lee lee]# rabbitmqctl set_user_tags rabbitmq_user administrator
Setting tags for user "rabbitmq_user" to [administrator] ...
# 设置 rabbitmq_user 用户权限，允许访问vhost及read/write
[root@lee lee]# rabbitmqctl set_permissions -p / rabbitmq_user ".*" ".*" ".*"
Setting permissions for user "rabbitmq_user" in vhost "/" ...
# 检查权限列表
[root@lee lee]# rabbitmqctl list_permissions -p /
Listing permissions for vhost "/" ...
user    configure   write   read
guest   .*  .*  .*
rabbitmq_user   .*  .*  .*
# 启动消息队列服务
[root@lee lee]# rabbitmqctl start_app
Starting node rabbit@lee ...
# 验证15672端口存在表示消息队列服务启动成功
[root@lee lee]# ss -tnlp | grep 15672<br>LISTEN     0      128         *:15672         *:*             users:(("beam.smp",pid=8418,fd=35))

 2.4 浏览器登陆RabbitMQ管理界面

在浏览器中访问 ip:15672 登陆管理页面，若重新安装 RabbitMQ 后，该界面底部出现 ReferenceError: disable_stats is not defined，ctrl+f5清除页面缓存后重新登陆

查看服务状态，若为绿色表示正常

3. 搭建RabbitMQ高可用集群

搭建集群前，需要在各个节点上安装好RabbitMQ，安装方法见 2.源码安装erlang、RabbitMQ，本文使用镜像模式搭建集群，HaProxy作为负载均衡，使用keepalived实现高可用。

3.1 镜像队列集群

 RabbitMQ集群可以使得在RabbitMQ节点宕机时，消费者和生产者可以继续运行；并且可以承载更多的业务量增加系统吞吐量。

普通模式集群下可能会丢失数据，例如生产者通过连接node1上传消息，消息实体只会保存到node1节点的Queue中，node2和node3节点只是保存相同的Queue结构，不保存消息实体，消费者如通过node2(或mode3)进行消费时，RabbitMQ会临时在node1和node2（或node3）之间进行消息传输，将node1中的消息通过node2（或node3）发送给消费者，在此期间node1发生宕机，node2（或node3）无法获取该消息，若该消息进行了持久化，则node1节点恢复后，该消息可继续被消费，若未进行持久化，则该消息会丢失。此时在普通模式集群的基础上构建镜像队列，可以将消息数据保存在多个节点上。

Haproxy通过负载均衡算法将消息分发给集群中的各个节点。

搭建两台Haproxuy，使用keepalived对其做高可用，两台keepalived服务器之间通过vrrp进行交互，对外通过虚拟ip（192.168.0.45）进行访问haproxy

总结：客户端通过虚拟ip（192.168.0.45）进行访问haproxy，通过keepalived会将其发放到MASTER节点上的haproxy，若MASTER节点上的Haproxy宕机，则会发放到SLAVE节点上，通过Haproxy会访问到RabbitMQ集群，通过集群访问各个RabbitMQ

3.2 搭建镜像模式集群

使用三台服务器制作集群，主机名可执行命令 hostname 查看

 1、配置IP地址和主机名之间的映射

分别在三个节点上 /etc/hosts 文件中添加 三台服务器ip和主机名之间的映射

vi /etc/hosts
# 添加如下内容
192.168.0.1 node1
192.168.0.2 node2
192.168.0.3 node3

 2、同步erlang cookies

RabbitMQ是通过erlang编写，erlang语言通过同步erlang集群各个节点的cookie实现分布式。

随机选择一个节点(这里选择node1)，将该节点上的 .erlang.cookie文件拷贝到另两个节点上，该文件相当于密钥令牌，集群中的各个节点通过该令牌进行相互认证。

RabbitMQ服务启动时，erlang虚拟机会自动创建.erlang.cookie文件，默认路径为 /var/lib/rabbitmq/.erlang.cookie(rpm方式安装)或$HOME/.erlang.cookie，该文件是个隐藏文件，可通过 ls -al查看。

在node1节点上执行如下命令同步 .erlang.cookie文件

# 将 node1上 /root/.erlang.cookie 拷贝到node2上
scp /root/.erlang.cookie node2:/root/.erlang.cookie
# 将 node1上 /root/.erlang.cookie 拷贝到node2上
scp /root/.erlang.cookie node3:/root/.erlang.cookie
# 分别在三个节点上查看该文件内容是否相同
more /root/.erlang.cookie

 3. RabbitMQ集群添加节点

分别在node2、node3节点执行如下命令，将node2、node3加入集群中

#在node2节点执行
#关闭应用
rabbitmqctl stop_app
#将node2加入集群中
rabbitmqctl join_cluster ‐‐ram rabbit@node2
#启动应用
rabbitmqctl start_app

#在node3节点执行
#关闭应用
rabbitmqctl stop_app
#将node3加入集群中
rabbitmqctl join_cluster ‐‐ram rabbit@node3
#启动应用
rabbitmqctl start_app

 4. 验证集群是否配置成功

执行如下命令进行验证

# 在任一节点执行如下命令验证集群是否配置成功
rabbitmqctl cluster_status

#出现如下内容表示成功
Disk Nodes

rabbit@node1
rabbit@node2
rabbit@node3

Running Nodes

rabbit@node1
rabbit@node2
rabbit@node3

 或使用任一节点 ip:15672 登陆管理页面，用户名密码为主节点node1的用户名密码，如下图显示绿色表示成功

 5. 配置镜像队列集群

 以上配置的集群只是普通集群，该集群下可能会丢失数据，例如生产者通过连接node1上传消息，消息实体只会保存到node1节点的Queue中，node2和node3节点只是保存相同的Queue结构，不保存消息实体，消费者如通过node2(或mode3)进行消费时，RabbitMQ会临时在node1和node2（或node3）之间进行消息传输，将node1中的消息通过node2（或node3）发送给消费者，在此期间node1发生宕机，node2（或node3）无法获取该消息，若该消息进行了持久化，则node1节点恢复后，该消息可继续被消费，若未进行持久化，则该消息会丢失。

如下为通过命令方式和管理页面方式实现：同步 virtual host 为 "/"下名称前缀为 "mirroring"的交换机和队列，并且自动保存到两个节点上

（1）命令行方式配置镜像队列

在任一节点上执行如下命令：

#同步 virtual host 为 "/"下名称前缀为 "mirroring"的交换机和队列，并且自动保存到两个节点上
rabbitmqctl set_policy -p / --priority 1 --apply-to all myPolicy "^mirroring" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

# policy配置格式
rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern>  <definition>

policy参数说明

definition参数说明

（2）通过管理页面添加：通过该集群任一节点ip:15672登陆

 6. 集群策略相关命令

设置策略：rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern> <definition>

清除策略：rabbitmqctl clear_policy [-p <vhost>] <name>

查看策略：rabbitmqctl list_policies [-p <vhost>]

7. 将某节点退出集群

# 在退出的节点上执行
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

# 在主节点上执行（如去除node2），offline参数代表允许离线删除
rabbitmqctl forget_cluster_node node2 [--offline]

3.3 配置HaProxy负载均衡

 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、 快速并且可靠的一种解决方案。HAProxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。

安装包下载地址:https://www.haproxy.org/#down

在linux上下载: wget https://www.haproxy.org/download/2.5/src/haproxy-2.5.5.tar.gz

 3.3.1 上传安装

系统内核：3.10.0-1160.53.1.el7.x86_64

选择两个节点分别安装 Haproxy，这里选择node1，node2节点(分别在两个节点上执行如下操作)

# 上传 haproxy-2.5.5.tar.gz 并解压(此次上传到/usr/local)
tar -zxvf haproxy-2.5.5.tar.gz
mv haproxy-2.5.5.tar.gz haproxy
cd haproxy

#编译并指定安装目录
make TARGET=linux-glibc ARCH=x86_64 PREFIX=/usr/local/haproxy
# 安装
make install PREFIX=/usr/local/haproxy

 参数说明：

TARGET和ARCH通过uname -r 查看服务器内核，根据内核信息匹配 haproxy/INSTALL（有些版本可查看 haproxy/README）中对应的参数，该参数不同版本有所区别

TARGET：内核版本

ARCH：系统CUP（64位为 x86_64）

PREFIX：指定安装目录

 3.3.2 配置 Haproxy 环境变量

vi /etc/profile
# 将如下内容导入该文件中
    export HAPROXY_HOME=/usr/local/haproxy   #安装路径 
    export PATH=$PATH:$HAPROXY_HOME/sbin
# 生效
source /etc/profile

 3.3.3 负载均衡配置

 创建用户，日志目录

#添加haproxy组
groupadd haproxy
#创建nginx运行账户haproxy并加入到haproxy组，不允许haproxy用户直接登录系统
useradd -g haproxy haproxy -s /bin/false 

#创建haproxy错误日志目录
mkdir -p /usr/local/haproxy/errors
cp -r /usr/local/haproxy/examples/errorfiles/* /usr/local/haproxy/errors/

#创建日志文件
mkdir -p /usr/local/haproxy/logs
touch /usr/local/haproxy/logs/haproxy.log
#创建haproxy配置文件
mkdir -p /usr/local/haproxy/conf
touch /usr/local/haproxy/conf/haproxy.cfg
touch /usr/local/haproxy/stats

修改配置文件：/usr/local/haproxy/conf/haproxy.cfg

#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
# Global settings
#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
global
  log 127.0.0.1 local2
  chroot /usr/local/haproxy  
  #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 
  pidfile /var/run/haproxy.pid
  maxconn 4000
  user haproxy
  group haproxy
  daemon  
  #需要创建该文件
  stats socket /usr/local/haproxy/stats
  
defaults
  mode http
  #采用全局定义的日志
  log global  
  #日志类别http日志格式
  option httplog 
  #不记录健康检查的日志信息
  option dontlognull 
  #每次请求完毕后主动关闭http通道
  option http-server-close
  option forwardfor except 127.0.0.0/8
  #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
  option redispatch
  ##3次连接失败就认为服务不可用，也可以通过后面设置
  retries 3
  timeout http-request 10s
  timeout queue 1m
  
  #default 10 second timeout if a backend is not found
  timeout connect 10s 
  #客户端连接超时
  timeout client 1m
  #服务器连接超时
  timeout server 1m
  timeout http-keep-alive 10s
  timeout check 10s
  #最大连接数
  maxconn 3000
  
#开启haproxy监控服务
listen rabbitmq_cluster
  #通过6672对节点进行映射(自定义)
  bind 0.0.0.0:6672
  #记录tcp连接的状态和时间
  option tcplog
  #四层协议代理,即对TCP协议转发
  mode tcp
  #开启TCP的Keep Alive(长连接模式)
  option clitcpka
  #haproxy与mq建立连接的超时时间
  timeout connect 1s
  #客户端与haproxy最大空闲时间
  timeout client 10s
  #服务器与haproxy最大空闲时间
  timeout server 10s
  #采用轮询转发消息
  balance roundrobin
  
  #每5秒发送一次心跳包,如连续两次有响应则代表状态良好
  #如连续三次没有响应,则视为服务故障,该节点将被剔除。
  server node1 节点1 ip地址:5672 check inter 5s rise 2 fall 3
  server node2 节点2 ip地址:5672 check inter 5s rise 2 fall 3

listen http_front
  #监听端口-页面访问的端口(自定义)
  bind 0.0.0.0:6001
  #统计页面自动刷新时间stats refresh 30s
  stats refresh 30s
  
  #统计页面url  (页面访问的uri,即浏览器通过 ip:6001/haproxy_stats 访问)
  stats uri /haproxy_stats
  
  # 指定Haproxy访问用户名密码
  stats auth haproxy_admin:haproxy_pwd
  
  ########设置haproxy 错误页面#####
  errorfile 403 /usr/local/haproxy/errors/403.http
  errorfile 500 /usr/local/haproxy/errors/500.http
  errorfile 502 /usr/local/haproxy/errors/502.http
  errorfile 503 /usr/local/haproxy/errors/503.http
  errorfile 504 /usr/local/haproxy/errors/504.http

开启日志记录：安装Haproxy之后，默认是没有开启日志记录的，需要根据rsyslog通过udp的方式获取Haproxy日志信息

vi /etc/rsyslog.conf
    #打开以下两行注解，开启 514 USP监听
    $ModLoad imudp
    $UDPServerRun 514
    #添加日志目录 (local2 与haproxy.cfg中global log保持一致)
    local2.*   /usr/local/haproxy/haproxy.log

vi /etc/sysconfig/rsyslog
    #修改如下内容（若没有则添加）
    SYSLOGD_OPTIONS="-r -m 0 -c 2"
#重启生效
service rsyslog restart

 3.3.4 启动Haproxy验证

haproxy相关命令

# 检查配置文件语法
haproxy -c -f /usr/local/haproxy/haproxy.cfg
# 启动
haproxy -f /usr/local/haproxy/haproxy.cfg

# 以daemon模式启动，以systemd管理的daemon模式启动
haproxy -D -f /usr/local/haproxy/haproxy.cfg
haproxy -Ds -f /usr/local/haproxy/haproxy.cfg

# 启动调试功能，将显示所有连接和处理信息在屏幕
haproxy -d -f /usr/local/haproxy/haproxy.cfg

# 重启 需要使用st选项指定pid列表
haproxy -f /usr/local/haproxy.cfg -st `cat /var/run/haproxy.pid`

# graceful restart，即reload。需要使用sf选项指定pid列表
haproxy -f /usr/local/haproxy.cfg -sf `cat /var/run/haproxy.pid`

# 显示haproxy编译和启动信息
haproxy -vv

 浏览器登陆 ip:6001/haproxy_stats，显示如下页面表示正常（须开放6001端口）

 3.4 安装keepalived

 官网下载地址:https://www.keepalived.org/download.html

 在安装Haproxy的两个节点 node1，node2 (192.168.0.1、192.168.0.2)上安装keepalived

# 安装依赖
yum install -y gcc openssl-devel popt-devel ipvsadm libnl3-devel net-snmp-devel libnl libnl-devel libnfnetlink-devel

# 上传安装包到 /usr/local 并解压
tar -zxvf keepalived-2.2.4
# 创建安装目录
mkdir /usr/local/keepalived
# 编译
cd keepalived-2.2.4
./configure --prefix=/usr/local/keepalived
# 安装
make && make install

# 创建keepalived配置文件目录 keepalived默认会读取 /etc/keepalived/keepalived.conf
madir keepalived.conf

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/keepalived-2.2.4/keepalived/etc/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

# 创建关闭keepalived的脚本
vi /etc/keepalived/stop_keepalived
   # 脚本内容 监听haproxy端口 6001
   #! /bin/bash
    counter=$(ss -tanlp | grep "LISTEN" | grep "6001"|wc -l)
    if [ "${counter}" -eq 0 ]
    then
       pkill keepalived
    fi

 修改配置文件: vi /etc/keepalived/keepalived.conf

主节点node1上的配置文件

! Configuration File for keepalived

global_defs {
   script_user root
   enable_script_security
   router_id node1
   vrrp_skip_check_adv_addr
#   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    #keepalived角色，MASTER表示主节点 BACKUP从节点
    state MASTER
	#指定检测的网卡
    interface eth0
	#虚拟路由的id，主备节点设置相同
    virtual_router_id 60
	#优先级，主节点的优先级需要设置的比从节点高
    priority 90
	#设置主备之间的检查时间，单位s
    advert_int 1
	#定义验证类型和密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
	# 另一个节点的ip
	unicast_peer {
		192.168.0.2
	}
	#虚拟ip
    virtual_ipaddress {
        192.168.0.45
    }
}

virtual_server 192.168.0.45 6001 {
    virtual_server 
    delay_loop 6
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP

    real_server 192.168.0.1 6001 {
        weight 1
	# 监控脚本
        notify_down /etc/keepalived/stop_keepalived.sh
		TCP_CHECK {
		  connect_timeout 10
		  retry 3
		  connect_port 6001
		}
    }
}

 从节点node2配置文件

! Configuration File for keepalived

global_defs {
   script_user root
   enable_script_security
   router_id node2
   vrrp_skip_check_adv_addr
#   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    #keepalived角色，MASTER表示主节点 BACKUP从节点
    state MASTER
	#指定检测的网卡
    interface eth0
	#虚拟路由的id，主备节点设置相同
    virtual_router_id 60
	#优先级，主节点的优先级需要设置的比从节点高
    priority 90
	#设置主备之间的检查时间，单位s
    advert_int 1
	#定义验证类型和密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
	# 另一个节点的ip
	unicast_peer {
		192.168.0.1
	}
	#虚拟ip
    virtual_ipaddress {
        192.168.0.45
    }
}

virtual_server 192.168.0.45 6001 {
    virtual_server 
    delay_loop 6
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP

    real_server 192.168.0.2 6001 {
        weight 1
	# 监控脚本
        notify_down /etc/keepalived/stop_keepalived.sh
		TCP_CHECK {
		  connect_timeout 10
		  retry 3
		  connect_port 6001
		}
    }
}

 启动命令 /etc/init.d/keepalived start

关闭命令 /etc/init.d/keepalived stop

查看日志 tail -f /var/log/messages

验证：启动后在两个节点上使用 ip addr 命令，查看配置虚拟ip(192.168.0.45)是否在配置的网卡（eth0）下，如果主节点下存在从节点点不存在，说明正常，此时关闭主节点haproxy，虚拟ip（192.168.0.45）会漂移到从节点，重新启动主节点keepalived会重新漂移到主节点，此时可以根据 192.168.0.45连接haproxy