MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）

是一套支持双主故障切换和双主日常管理的脚本程序。MMM 使用 Perl 语言开发，主要用来监控和管理 MySQL Master-Master （双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。

MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可以备份数据，实现两节点之间的数据同步等。由于MMM无法完全保证数据的一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度地保证业务可用性的场景。

MMM是一套灵活的脚本程序，基于perl实现，用来对 mysql replication 进行监控和故障迁移，并能管理 MySQL Master-Master 复制的配置。

●mmm_mon：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监控主机上运行。

●mmm_agent：运行在每个MySQL服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。

●mmm_control：一个简单的脚本，提供管理 mmm_mon 进程的命令。

●mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 MySQL 之上，当某一台 MySQL 宕机时，监管会将 VIP 迁移至其他 MySQL。

在整个监管过程中，需要在 MySQL 中添加相关授权用户，以便让 MySQL 可以支持监控主机的维护。 授权的用户包括一个 mmm_monitor 用户和一个 mmm_agent 用户。

master01(db1) 192.168.23.103 mysql5.7 ,mysql-mmm

master02(db2) 192.168.23.104 mysql5.7 ,mysql-mmm

slave01 (db3) 192.168.23.12 mysql5.7 ,mysql-mmm

slave02 (db4) 192.168.23.13 mysql5.7 ,mysql-mmm

monitor 192.168.23.11 mysql-mmm

关闭firewalld和selinux

vim /etc/my.cnf

[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 103                      #每台 Mysql 主机的 server-id 不能相同
log-error=/usr/local/mysql/data/mysql_error.log             #错误日志
general_log=ON                                              #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON                                           #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema        #不需要同步的库名
log_bin=mysql-bin                                #开启二进制日志用于主从数据复制
log_slave_updates=true                  #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1                        #"双1设置"，MySQL 在每写一次二进制日志时都会同步到磁盘中去
innodb_flush_log_at_trx_commit=1      #"双1设置"，每次事务提交时MySQL都会把缓存的数据写入日志文件，并且刷到磁盘中去
auto_increment_increment=2               #自增字段一次递增多少
auto_increment_offset=1                  #自增字段的起始值

grant replication slave  on *.* to  'replication'@'192.168.23.%' identified by 'abc123';

#刷新日志
mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)

mysql> show master status;
+------------------+----------+--------------+--------------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB         | Executed_Gtid_Set |
+------------------+----------+--------------+--------------------------+-------------------+
| mysql-bin.000002 |      154 |              | mysql,information_schema |                   |
+------------------+----------+--------------+--------------------------+-------------------+
1 row in set (0.00 sec)

change master to 
	master_host='192.168.23.104',
	master_user='replication',
	master_password='abc123',
	master_log_file='mysql-bin.000002',
	master_log_pos=154;
	
start slave;

show  slave status \G
			#io线程和sql线程都要是yes
      	Slave_IO_Running: Yes
      	Slave_SQL_Running: Yes

change master to 
	master_host='192.168.23.103',
	master_user='replication',
	master_password='abc123',
	master_log_file='mysql-bin.000002',
	master_log_pos=154;
	
start slave;

show  slave status \G
			#io线程和sql线程都要是yes
      	Slave_IO_Running: Yes
      	Slave_SQL_Running: Yes

#两台从服务器配置主从同步，同步同一台主

change master to 
	master_host='192.168.23.103',
	master_user='replication',
	master_password='abc123',
	master_log_file='mysql-bin.000002',
	master_log_pos=154;
	
start slave;

show  slave status \G
			#io线程和sql线程都要是yes
      	Slave_IO_Running: Yes
      	Slave_SQL_Running: Yes

#master01
create database test01;

#master02，slave01，slave02上查看
show databases;

#master02
create database test02;

#master01，slave01，slave02上查看
show databases;

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum -y install epel-release
yum -y install mysql-mmm*

[root@master01 ~]# cd /etc/mysql-mmm/
[root@master01 mysql-mmm]# vim mmm_common.conf
……
<host default>
    cluster_interface       ens33   #集群网卡
    ……
    
    #主从复制的用户名和密码
    replication_user        replication     
    replication_password    abc123          
    
    #代理进程mmm_agent使用的账号和密码
    agent_user              mmm_agent      
    agent_password          abc123
</host>
 
 <host db1>
    ip      192.168.23.103
    mode    master
    peer    db2           #和db2建立对等体关系
</host>

<host db2>
    ip      192.168.23.104
    mode    master
    peer    db1          #和db1建立对等体关系
</host>

#slave01
<host db3>
    ip      192.168.23.12
    mode    slave
</host>

#slave02
<host db4>
    ip      192.168.23.13
    mode    slave
</host>

#配置写的规则
<role writer>
    hosts   db1, db2               #使用db1，db2
    ips     192.168.23.200        #使用的vip地址
    mode    exclusive             #此模式表示只有一个host可以写
</role> 

#设置读的规则
<role reader>
    hosts   db3, db4          #使用db3，db4
    ips     192.168.23.201, 192.168.23.202    #使用的vip。一个slave使用一个vip
    mode    balanced      #读使用轮训负载的方式
</role>

vim /etc/mysql-mmm/mmm_agent.conf
include mmm_common.conf
#根据不同的主机分别修改为db1，db2，db3，db4
this db1 

[root@monitor ~]# vim /etc/mysql-mmm/mmm_mon.conf
<monitor>
   #指定所有数据库IP
    ping_ips            192.168.23.103,192.168.23.104,192.168.23.12,192.168.23.13
    #指定自动上线时间
    auto_set_online     10
</monitor>

#指定mmm_monitor的用户名和密码
<host default>
    monitor_user        mmm_monitor
    monitor_password    abc123
</host>

#为代理进程mmm_agent进行用户授权
mysql> grant super,replication client,process on *.* to 
      'mmm_agent'@'192.168.23.%'  identified by 'abc123';

#为监控进程mmm_monitor进行用户授权
mysql> grant replication client on *.* to
     'mmm_monitor'@'192.168.23.%'  identified by 'abc123';

#刷新授权表
mysql> flush privileges;

#在所有的数据库节点，启动mysql-mmm-agent 进程
systemctl start mysql-mmm-agent.service 
systemctl  enable  mysql-mmm-agent.service

#monirot 节点启动mysql-mmm-monitor
[root@monitor ~]# systemctl start mysql-mmm-monitor.service

#检测监控功能是否完善
[root@monitor ~]# mmm_control checks all

db4  ping         [last change: 2021/09/14 19:08:30]  OK
db4  mysql        [last change: 2021/09/14 19:08:30]  OK
db4  rep_threads  [last change: 2021/09/14 19:08:30]  OK
db4  rep_backlog  [last change: 2021/09/14 19:08:30]  OK: Backlog is null
db2  ping         [last change: 2021/09/14 19:08:30]  OK
db2  mysql        [last change: 2021/09/14 19:08:30]  OK
db2  rep_threads  [last change: 2021/09/14 19:08:30]  OK
db2  rep_backlog  [last change: 2021/09/14 19:08:30]  OK: Backlog is null
db3  ping         [last change: 2021/09/14 19:08:30]  OK
db3  mysql        [last change: 2021/09/14 19:08:30]  OK
db3  rep_threads  [last change: 2021/09/14 19:08:30]  OK
db3  rep_backlog  [last change: 2021/09/14 19:08:30]  OK: Backlog is null
db1  ping         [last change: 2021/09/14 19:08:30]  OK
db1  mysql        [last change: 2021/09/14 19:08:30]  OK
db1  rep_threads  [last change: 2021/09/14 19:08:30]  OK
db1  rep_backlog  [last change: 2021/09/14 19:08:30]  OK: Backlog is null



#查看各个节点的状态
[root@monitor ~]# mmm_control show
  db1(192.168.23.103) master/ONLINE. Roles: writer(192.168.23.200)
  db2(192.168.23.104) master/ONLINE. Roles: 
  db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
  db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)

#将写vip 移动到 db2
[root@monitor ~]# mmm_control move_role writer db2
OK: Role 'writer' has been moved from 'db1' to 'db2'. Now you can wait some time and check new roles info!

#查看状态，发现写的 vip 已经移动到了db2上
[root@monitor ~]# mmm_control show
  db1(192.168.23.103) master/ONLINE. Roles: 
  db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
  db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
  db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)

#将vip移回db1
[root@monitor ~]# mmm_control move_role writer db1
OK: Role 'writer' has been moved from 'db2' to 'db1'. Now you can wait some time and check new roles info!

#master01 上停止mysql服务
[root@master01 ~]# systemctl  stop mysqld

#monitor节点上查看各个节点转态
[root@monitor ~]# mmm_control show
#显示db1下线。vip移动到了db2上
  db1(192.168.23.103) master/HARD_OFFLINE. Roles: 
  db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
  db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
  db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)

#db1(master01上启动mysql服务
[root@master01 ~]# systemctl  start  mysqld


#monitor节点查看状态
[root@monitor ~]# mmm_control show
#db1为等待恢复 转态
  db1(192.168.23.103) master/AWAITING_RECOVERY. Roles: 
  db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
  db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
  db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
  
  
  #monitor节点查看状态
  [root@monitor ~]# mmm_control show
  #db恢复。vip依旧在db2上，没有回到db1
  db1(192.168.23.103) master/ONLINE. Roles: 
  db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
  db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
  db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)

#授权用户wanglei可以在192。168.23.0网段所有主机使用abc123密码登录，对所有库所有表拥有所有权限
mysql> grant all on *.* to 'wanglei'@'192.168.23.%' identified by 'abc123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

#刷新授权表
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

[root@monitor ~]# yum -y install mariadb mariadb-server
[root@monitor ~]# systemctl start mariadb.service

[root@monitor ~]# /usr/bin/mysql -uwanglei -pabc123 -h 192.168.23.200
MySQL [(none)]> create database test03;
MySQL [(none)]> show databases;

#到各个数据库节点查看,均能查看到数据库 test03
show  databases;

在配置MMM时，故障切换后，发现主主复制没有问题，但是主从不同步。查看从服务器转态，发现报错如下

mysql> show slave status \G
。。。。。
#IO线程转态不是yes
Slave_IO_Running: Connecting
Slave_SQL_Running: Yes
#报错说连接主失败
Last_IO_Error: error connecting to master 'replicant@192.168.23.104:3306' - retry-time: 60  retries: 2

那么，主从IO线程同步失败，最常出现的错误有网络不通，用户名错误，密码错误。

但是，开头主主同步测试，主从同步测试都是通过的。那么，问题就有可能出现在MMM的脚本中。

查看MMM的通用配置文件mmm_common.conf，发现，replication_user ，主从同步用户名配置错误。

（1）首先进入mysql节点。将手动将主从同步恢复。先到当前的主库，查看master装态。然后到从库，先使用stop slave停止同步，然后在使用change 重新配置，在start slave开启同步。

（2）然后在monitor节点，将通用配置文件mmm_common.conf中的replication_user配置修改正确。然后在重启监控服务systemctl restart mysql-mmm-monitor.service

（3）再次模拟故障，切换写入的库。然后到从库查看装态。发现从库的master切换成功，且IO和sql线程都是yes。