本文基于kafka2.8.0,下载时需注意kafka有两个版本号以我的举例kafka_2.12-2.8.0,2.12为scala版本号,2.8.0是kafka版本。kafka基于java,需要先把java环境配置好。
1.点击官网kafka下载,将安装文件上传到服务器。
2.将文件解压出三份,分别放入kafka9092,kafka9093,kafka9094目录内。
3.编辑server.properties配置文件
每个broker在集群中唯一标识,每个实例需指定不同brokerid broker.id=0 端口号,部署在同一台机器上需要指定不同端口号 port=9092 监听内网端口,公网不能访问,注释掉了 #listeners=PLAINTEXT://内网ip:9092 监听公网端口 advertised.listeners=PLAINTEXT://公网ip:9092 log存储地址 log.dirs=/data/logs/kafka9092 zookeeper地址,集群以,分隔 zookeeper.connect=127.0.0.1:2181
4.bin/kafka-server-start.sh -daemon config/server.properties 后台启动每个实例,-daemon为守护进程启动。
5.创建topic进行验证
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --create --topic test --partitions 1 --replication-factor 3 创建名为test的topic,指定1个分区,3个副本,副本对应kafka实例,副本数大于实例数会创建失败