版本选择:
http://kafka.apache.org/downloads
Scala 2.12-kafka_2.12-2.7.0.tgz #版本格式 kafka_scala版本_kafka版本
部署三台服务器的高可用kafka环境
部署环境:
Server1: 192.168.154.167
Server2: 192.168.154.170
Server3: 192.168.154.171
http://kafka.apache.org/quickstart
wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz --no-check-certificate tar xf kafka_2.13-3.0.0.tgz -C /usr/local/
修改配置文件
cd /usr/local/kafka_2.13-3.0.0/config vim server.properties egrep -v "#|^$" server.properties broker.id=1 #有几个节点,改几个,不能重复 listeners=PLAINTEXT://192.168.154.167:9092 #默认没有开启,取消注释,改成本机地址 num.network.threads=3 #可以调高一点 num.io.threads=8 #可以调高一点 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka-logs #虽然写着log,其实就是数据存放位置 num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181 #有几个节点,写几个 zookeeper.connection.timeout.ms=18000 group.initial.rebalance.delay.ms=0
/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --zookeeper 192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181 --partitions 3 --replication-factor 3 --topic luoluo PS:以前的版本
##
在较新版本(2.2 及更高版本)的 Kafka 不再需要 ZooKeeper 连接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。
/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --bootstrap-server 192.168.154.167:9092 --replication-factor 3 --partitions 3 --topic luoluo /usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --describe --bootstrap-server 192.168.154.167:9092 --topic luoluo