MySql教程

使用Canal同步mysql数据到es

本文主要是介绍使用Canal同步mysql数据到es,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、简介


Canal主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

二、工作原理

MySQL主备复制原理

  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
  • MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据

canal 工作原理

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

三、准备安装包

下载地址,我使用的是1.1.6版本
https://github.com/alibaba/canal/releases/tag/canal-1.1.6
国内的话,可以在绿色聊天软件搜索:程序员朱永胜 关注回复1006领取安装包,不限速下载
image.png

  • deployer包:服务包
  • admin包:UI管理系统,需要的话可以下载
  • adapter包:官方提供的客户端,可以实现自动同步

四、启动Canal服务

4.1 下载

最简单的使用,我们只需要安装deplyee包即可,其他的不需要

4.2 新增用户并授权image.png

4.3 配置文件修改

4.3.1 canal.propertiesimage.png

这个配置文件默认即可,无需修改配置

4.3.2 instance.propertiesimage.png

修改mysql地址,要确保已经配置了账号密码并授权image.png

4.4 启动image.png

image.png

4.5 确认启动成功image.png

image.png

五、安装依赖

<dependencies>
    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
        <version>1.1.4</version>
    </dependency>
</dependencies>

六、运行效果

由于代码比较长,我放到最后了,这里先说下效果。
代码启动后,我们只需要变更任意表里面的数据即可看到控制台打印内容。
数据很清晰,有具体的数据库,表,操作类型,以及字段及修改的值。
到这里基本就算结束了,后续就是根据业务自己推送到ES中。当然,也可以使用官方的adapter推送到ES中。image.png

七、编写客户端代码

测试代码官网地址:https://github.com/alibaba/canal/blob/master/example/src/main/java/com/alibaba/otter/canal/example/AbstractCanalClientTest.java
国内的话,可以在绿色聊天软件搜索:程序员朱永胜 关注回复1007领取代码,不限速下载

6.1 BaseCanalClientTestimage.png

6.2 SimpleCanalClientTestimage.png

6.3 AbstractCanalClientTestimage.png

这篇关于使用Canal同步mysql数据到es的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!