云计算

【大数据面试】【框架】kafka

本文主要是介绍【大数据面试】【框架】kafka，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、基本信息

1、组成

生产者

broker

消费者

zookeeper：brokerid、consumer信息（不包含生产者的信息）

2、需要安装多少台

2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3

生产环境下，配置副本的数量为2-3个，2个居多

3、副本的优势和劣势

副本越多，越能提高可靠性

增加了网络IO传输

4、峰值生产速率，一般在百兆左右每秒

需要使用压力测试

如，10T数据，多长时间可以传输完

消费速率也是百兆每秒

5、监控器用的什么

kafka egale、monitor、manager，都是开源的

我们都是自己研发的，怎么回答，仰视大佬

6、kafka数据保存多久

默认保存7天，生产环境下建议保存3天

原因：当天把数据消费完，才能做到T+1模式，消费完数据

 

没有必要保存7天

其他原因：

日志服务器已经保存了30天☆（logfile）

7、数据量

 

二、挂了

三、丢失数据

四、重复数据

五、数据积压

六、优化

七、其他

这篇关于【大数据面试】【框架】kafka的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航