docker 中安装kafka
在安装kafka之前需要先安装zookeeper,因为kafka 启动会将元数据保存在 zookeeper 中,zookeeper是一种分布式协调服务,可以再分布式系统中共享配置,协调锁资源,提供命名服务。
zookeeper 安装
1、在docker中拉取zookeeper 镜像
docker pull wurstmeister/zookeeper
2、运行zookeeper 服务
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
-v /etc/localtime:/etc/localtime 将本地时间映射到容器中
3、查看docker 下是否正常运行zookeeper 服务
docker ps
kafka 安装
1、拉取kafka镜像
docker pull wurstmeister/kafka
2、运行kafka
docker run -d --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka-e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka 配置zookeeper管理kafka的路径 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 把kafka的地址端口注册给zookeeper -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口 -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间 3、查看kafka是否运行正常
docker ps
4、进入kafka容器
docker exec -it kafka /bin/bash
5、进入kafka的bin目录下:cd /opt/kafka_2.13-2.8.1/bin
6、创建一个新主题(test-kafka)来存储事件
./kafka-topics.sh --create --topic test-kafka --bootstrap-server localhost:9092
显示新主题:test-kafka 的分区信息
./kafka-topics.sh --describe --topic test-kafka --bootstrap-server localhost:9092测试消费消息:
./kafka-console-consumer.sh --topic test-kafka --from-beginning --bootstrap-server localhost:9092测试生产消息:
./kafka-console-producer.sh --topic test-kafka --bootstrap-server localhost:9092
kafka官方资料:https://kafka.apache.org/documentation/#quickstart