消息队列MQ

Flume+Kafka整合使用

本文主要是介绍Flume+Kafka整合使用,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、背景

1.使用场景

Flume和Kafka都是Apache的开源项目。

(1) Flume

支持的数据源较多、可自定义网络请求的安全配置(filter)

适合下游数据消费者不多的情况;(一个消费者开一个channel)
适合数据安全性要求不高的操作;(数据没有备份、没有副本)
适合与Hadoop生态圈对接的操作。(HDFS、Hbase等)

 

(2) Kafka

高负载、高可用、数据安全性高

适合数据下游消费众多的情况;(kafka从磁盘读,并且只找Leader读)
适合数据安全性要求较高的操作,支持replication(多副本)

 

2.只使用Flume的缺点

(1) 没有提供高可用机制(整合ZooKeeper)。当然,可以自行实现,但增加了成本

(2) 多数场景是配置成把数据保存在内存,如果内存爆了或突然宕机,数据容易丢失

(3) 如果配置成把数据保存在硬盘,没有分区(Partition)和冗余副本(Replication),大数据场景不适合单独使用

 

3.只使用Kafka的缺点

(1) 旧版本的Kafka的接收端性能比Flume差

(2) 支持接收的数据源没Flume多

(3) 没有内置的过滤器(filter),例如,请求的过滤器。当然,可以自行实现,但增加了成本

 

二、预安装和部署

1.Flume的安装与部署

https://www.cnblogs.com/live41/p/15554223.html

 

2.Kafka的安装与部署

https://www.cnblogs.com/live41/p/15522443.html

 

这篇关于Flume+Kafka整合使用的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!