Redis教程

redis主从数据同步原理

本文主要是介绍redis主从数据同步原理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

what:

  redis高可用

    1、数据尽量不丢失;

    2、尽可能的提供服务;

    栗子:AOF 和 RDB 保证了数据持久化尽量不丢失;

      主从复制就是增加副本,一份数据保存到多个实例上。即使有一个实例宕机,其他实例依然可以持续服务;

 

  主从

    复制——为单向的,即:只能从主复制到从;

    读写指责——读:主从都可以读。 写:主库先执行,之后将些操作同步到从库。一般master提供写,slave提供读。

 

  client buffer

    Redis 和客户端通信也好,和从库通信也好,Redis 都分配一个内存 buffer 进行数据交互,客户端就是一个 client,从库也是一个 client,我们每个 client 连上 Redis 后,Redis 都会分配一个专有 client buffer,所有数据交互都是通过这个 buffer 进行的。

 

  RDB和AOF文件对比:

    a、RDB 文件是二进制文件,网络传输 RDB 和写入磁盘的 IO 效率都要比 AOF 高。
    b、从库进行数据恢复的时候,RDB 的恢复效率也要高于 AOF。

  

how:

  第一次全量复制

    分3个阶段:连接建立阶段(即准备阶段)-> 主库同步数据到从库阶段 -> 发送同步期间新写命令到从库阶段

 

     连接建立阶段:从库执行 replicaof(之前是slave of) 并发送 psync 命令,表示要执行数据同步,主库收到命令后根据参数启动复制。命令参数包含了:主库的 runID 和 复制进度 offset 。主库FULLRESYNC 响应表示第一次复制采用的全量复制,也就是说,主库会把当前所有的数据都复制给从库。

      runID:每个Redis 实例启动都会自动生成一个 唯一标识 ID(runID),第一次主从复制,还不知道主库 runID,参数设置为空;
      offset:记录复制进度偏移量,第一次复制为-1;

 

    数据同步:master 执行 bgsave命令生成 RDB 文件,并将文件发送给从库,同时主库为每一个 slave 开辟一块 replication buffer 缓冲区记录从生成 RDB 文件开始收到的所有写命令; slave收到 RDB 文件后保存到磁盘,并清空当前数据库的数据,再加载 RDB 文件数据到内存中;

 

    发送同步期间新写命令到从库:从节点加载 RDB 完成后,主节点将 replication buffer 缓冲区的数据发送到从节点,Slave 接收并执行,从节点同步至主节点相同的状态;

      replication buffer 缓冲区的数据:
        1)master 执行 bgsave 产生 RDB 的期间的写操作;
        2)master 发送 rdb 到 slave 网络传输期间的写操作;
        3)slave load rdb 文件把数据恢复到内存的期间的写操作;

      replication buffer注意:太小会导致主从复制连接断开,由 client-output-buffer-limit slave 设置。

 

  增量复制

    用于网络中断等情况后的复制,只将中断期间主节点执行的写命令发送给从节点,与全量复制相比更加高效(redis 2.8之后增加)。

    原理:repl_backlog_buffer。不管在什么时候 master 都会将写指令操作记录在 repl_backlog_buffer 中。因为内存有限, repl_backlog_buffer 是一个定长的环形数组,如果数组内容满了,就会从头开始覆盖前面的内容。master 使用 master_repl_offset记录自己写到的位置偏移量,slave 则使用 slave_repl_offset记录已经读取到的偏移量。

 

     

    增量同步如下:master 只需要把 master_repl_offset与 slave_repl_offset之间的命令同步给从库即可

      注意:一旦被覆盖就会执行全量复制-

+

 

这篇关于redis主从数据同步原理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!