修改配置文件:
[atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties 修改配置文件 producer=kafka kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092 #需要添加 kafka_topic=ods_base_db_m # mysql login info host=hadoop102 user=maxwell password=000000 #需要添加 后续初始化会用 client_id=maxwell_1
注:
1、指定固定数据库数据表到指定的topic中去,可以通过动态topic设置
Maxwell 会将消息投递到Kafka的Topic中,该Topic由 kafka_topic
选项指定,默认值为 maxwell
,除了指定为静态的Topic,
还可以指定为动态的,譬如 namespace_%{database}_%{table}
,%{database}
和 %{table}
将被具体的消息的 database 和 table 替换。
2、默认还是输出到指定Kafka主题的一个kafka分区,因为多个分区并行可能会打乱binlog的顺序
如果要提高并行度,首先设置kafka的分区数>1,然后设置producer_partition_by属性
可选值producer_partition_by=database|table|primary_key|random| column
参考:
MySQL Binlog 解析工具 Maxwell