Linux教程

linux下部署kafka集群

本文主要是介绍linux下部署kafka集群,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、环境

系统:CentOS Linux release 7.9.2009 (Core)

zookeeper:3.6

kafka:kafka_2.13-2.8.0

二、部署

zookeeper部署详见:https://www.cnblogs.com/sxFu/p/16017975.html

下载kafka:http://kafka.apache.org/downloads

节点:

192.168.48.133 192.168.48.159 192.168.49.67

把下载的 kafka_2.13-2.8.0.tgz 包上传至 192.168.48.133 节点 /opt/app

解压:tar -xf kafka_2.13-2.8.0.tgz

改名:mv kafka_2.13-2.8.0 kafka

修改配置文件:

# broker.id唯一,分别设置为0、1、2
broker.id=0
# listeners:定义外部连接着通过指定主机名和端口号访问开发的kafka服务(替换host.name和port参数)
listeners=PLAINTEXT://192.168.48.133:9092
# log.dirs:kafka日志存放目录
log.dirs=/opt/app/kafka/logs
# zookeeper.connect:配置zookeeper集群地址
zookeeper.connect=192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181

修改后分发至另外两个节点并修改broker.id与listeners

scp -r kafka/ 192.168.48.159:/opt/app/  
broker.id=1    listeners=PLAINTEXT://192.168.48.159:9092
scp -r kafka/ 192.168.49.67:/opt/app/
broker.id=2    listeners=PLAINTEXT://192.168.49.67:9092

配置环境变量:

# 三台节点都要配置
vi ~/.bash_profile
export KAFKA_HOME=/opt/app/kafka
export PATH=$KAFKA_HOME/bin:$PATH
# 使其生效
source ~/.bash_profile

启动kafka集群,启动前确保zookeeper集群启动正常:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties &

启动后查看端口以及进程

三、验证集群是否正常

随便找台节点进入kafka安装程序的bin文件夹中,创建主题

./kafka-topics.sh --create --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --topic test --partitions 3 --replication-factor 1

查看创建的topic

./kafka-topics.sh --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --list

找台节点测试生产者

./kafka-console-producer.sh --broker-list 192.168.48.133:9092,192.168.48.159:9092,192.168.49.67:9092 --topic test

找台节点测试消费者

写文章之前验证过,所以多了两条消息记录,在验证另外一台节点

自此可证明搭建的kafka集群可正常使用。

 

 

 


 

这篇关于linux下部署kafka集群的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!