某天,运维反馈某两个机房的出口流量和入口流量过大,并且持续了好一段时间。
再仔细排查后发现是 redis 集群的几台服流量问题,于是开始查日志。
在日志中发现出现大量的 Can’t handle RDB format version 7
猜想是版本不一致问题,检查后发现确实集群中 redis 的版本不一致,导致由 低版本服务器-主,高版本服务器-从 变为 低版本服务器-从,高版本服务器-主后,低版本无法兼容高版本的 RDB,造成同步失败,然后删除从节点数据,导致不断增量备份。
解决方案是先把低版本的从节点上线,升级后重新加入集群。