MySql教程

MySQL数据直接实时同步到ES

本文主要是介绍MySQL数据直接实时同步到ES，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1.数据迁移同步工具选型

数据迁移同步工具的选择比较多样，下表仅从 MySQL 同步 ES 这个场景下，对一些笔者深度使用研究过的数据同步工具进行对比(不一定精确，如有错误请联系笔者更正)，用户可以根据自己的实际需要选取适合自己的产品。

特性\产品

Canal

DTS

CloudCanal

是否支持自建ES

是

否

是

ES对端版本支持丰富度

中

  • 支持ES6和ES7

高

  • 支持ES5,ES6和ES7

中

  • 支持ES6和ES7

嵌套类型支持

join/nested/object

object

nested/object

join支持方式

基于join父子文档&反查

无

基于宽表预构建&反查

是否支持结构迁移

否

是

是

是否支持全量迁移

是

是

是

是否支持增量迁移

是

是

是

数据过滤能力

中

  • 仅全量可添加where条件

高

  • 全增量阶段where条件

高

  • 全增量阶段where条件

是否支持时区转换

否

是

是

同步限流能力

无

有

有

任务编辑能力

无

有

无

数据源支持丰富度

中

高

中

架构模式

订阅消费模式

  • 需先写入消息队列

直连模式

直连模式

监控指标丰富度

中

  • 性能指标监控

中

  • 性能指标监控

高

  • 性能指标、资源指标监控

报警能力

无

针对延迟、异常的电话报警

针对延迟、异常的钉钉、短信、邮件报警

任务可视化创建&配置&管理能力

无

有

有

是否开源

是

否

否

是否免费

是

否

是

  • 社区版、SAAS版免费

是否支持独立输出

是

否

  • 依赖云平台整体输出

是

是否支持SAAS化使用

否

是

是

MySQL 到 ES 数据同步构建数据检索服务给中小企业带来了稳定且实用的在线数据方案，在满足业务诉求(高并发业务与企业级应用常态化)的同时 ，易上手且具备不错的可维护性，在适当的场景下，值得尝试和实践。

2.接下来主要讲解

Canal
这篇关于MySQL数据直接实时同步到ES的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航