springcloud学习笔记—环境搭建—kafka集群搭建

1、下载

wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz

2、解压

tar -zxvf kafka_2.12-3.0.0.tgz

3、修改配置

1、修改zk配置

cd  kafka_2.12-3.0.0/config
vim zookeeper.properties

修改

dataDir=/kafka/kafka_2.12-3.0.0/zookeeper

添加

dataLogDir=/kafka/kafka_2.12-3.0.0/log/zookeeper
tickTime=2000　　　　#为zk的基本时间单元，毫秒
initLimit=10　　　　 #Leader-Follower初始通信时限 tickTime*10
syncLimit=5　　　　　#Leader-Follower同步通信时限 tickTime*5
server.0=node1IP:2888:3888
server.1=node2IP:2888:3888
server.2=node3IP:2888:3888

将改配置文件复制到其他两个节点上

创建文件夹

mkdir -pv /kafka/kafka_2.12-3.0.0/zookeeper
mkdir -pv /kafka/kafka_2.12-3.0.0/log/zookeeper
mkdir -pv /kafka/kafka_2.12-3.0.0/log/kafka

添加myid

分别在三台机器上的/kafka/kafka_2.12-3.0.0/zookeeper添加myid文件，内容为上方配置的server后面的序号，如node1IP上内容为0，node2IP上内容为1

2 kafka配置

修改解压目录config下的server.properties文件

broker.id=1 #三台机器不能一样
advertised.listeners=PLAINTEXT://172.16.10.91:9092   #三台机器分别配置成为各自的ip
zookeeper.connect=172.22.75.126:2181,172.25.147.22:2181,172.25.147.21:2181 #三台机器相同，根据自己的服务器配置
log.dirs=/kafka/kafka-3.0.0-src/log/kafka  #三台机器相同
num.partitions=3 #三台机器相同

4 启动

1 启动zk

cd /kafka/kafka_2.12-3.0.0
bin/zookeeper-server-start.sh config/zookeeper.properties &

2 启动kafka

bin/kafka-server-start.sh config/server.properties &

5 安装Kafka Manager

1 下载

https://github.com/yahoo/CMAK/releases

2 解压

unzip cmak-3.0.0.5.zip

3 修改配置

cd /kafka/cmak-3.0.0.5/conf
vim application.conf

修改为

kafka-manager.zkhosts="172.22.75.126:2181,172.25.147.22:2181,172.25.147.21:2181"
cmak.zkhosts="172.22.75.126:2181,172.25.147.22:2181,172.25.147.21:2181"
basicAuthentication.enabled=true
basicAuthentication.enabled=${?KAFKA_MANAGER_AUTH_ENABLED}
basicAuthentication.username="admin"
basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
basicAuthentication.password="admin"
basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}
basicAuthentication.realm="Kafka-Manager"

4 启动

bin/cmak &

5 访问

http://IP:9000/

问题 启动完成后突然发现没有管理已经启动的kafka,经查询发现目前只支持到kafka2.4,安装的kafka是3.0的，但是可以从kafka-manager中创建2.4的kafka