Kafka宕机引发的高可用问题

问题要从一次Kafka的宕机开始说起。

笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ，而是采用了设计之初就为日志处理而生的Kafka，所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后，系统内部使用的Kafka一直运行稳定，没有出现不可用的情况。

但最近系统测试人员常反馈偶有Kafka消费者收不到消息的情况，登陆管理界面发现三个节点中有一个节点宕机挂掉了。但是按照高可用的理念，三个节点还有两个节点可用怎么就引起了整个集群的消费者都接收不到消息呢？

要解决这个问题，就要从Kafka的高可用实现开始讲起。

美团一面（80min）

（为保证内容纯正，下面的语言是由程序员Y自己整理的，霸哥没有任何改动）

面试主要是从一个系统设计出发，考察基础跟项目架构经验。美团相当重视基础问题（计算机网络、操作系统）

主要是围绕一个系统优化来的，下面就只写中间问的几个点：

1、项目介绍（聊一下自己做的项目，互相了解了一下）

2、redis相关问题

• redis主要能解决什么问题，聊一下你所知道的？
• 聊一下redis高可用的相关。主要说一下哨兵集群的流程，包括选举、以及宕机之后的处理方案。cluster集群的工作流程
• 聊一下redis哈希槽，为什么不用一致性哈希的方案
• redis为什么这么快
• redis跟mq的技术选型

3、mysql相关问题

• mysql的事务隔离级别
• 面试官描述了一个场景…这种情况下你怎么优化mysql，说说你优化的流程步骤
• 你能想到什么优化mysql吞吐量的方案
• mysql的底层数据结构？索引怎么存储的？

4、rabbitmq

• rabbitmq的优势，能解决什么问题
• 说一下rabbitmq怎么保证高可用的？
• 聊聊镜像队列，怎么运作的？口述下代码？？

5、并发编程相关

• hashmap跟concurrentHashMap

6、接近一个小时的计算机网络基础、操作系统基础

• 进程、线程
• http1与http2
• 网络五层架构，分别是做什么的？
• TCP、UDP区别，UDP怎么实现可靠性的，在哪一层实现的？
• TCP的流量控制、拥塞控制
• 进程调度算法
• 等等…记不清了，美团贼喜欢问基础，接近一小时

7、JVM相关

• 类加载、双亲委派
• 垃圾回收相关？怎么判断？算法？收集器？
• 内存区域

8、手撸算法题两道

美团二面（70min）

正儿八经的面试了…

1、再来一个场景，优化mysql，具体步骤，什么命令，怎么操作，比较详细

2、redis分布式锁的作用？什么场景用过？会有什么问题？（原子性的问题、误删锁、误得锁等等）怎么解决这些问题？（面试官提了几个场景，这块聊了半个多小时）

3、详细聊了rabbitmq的工作流程。介绍下rabbitmq的组建，分别有什么类型，具体是怎么用的？口述代码

4、redis高可用

5、聊聊你了解的RPC，dubbo与springcloud？我因为没做过微服务项目，因此，问我，你觉得应该有什么功能，我从springcloud的角度回答的

6、RPC与mq技术选型，说下原因

7、Spring源码，我讲了事务的源码（撸了好几次了，比较熟悉）

8、手撸算法题两道

9、聊实习时间、地点，未来发展

美团三面（5min）

这个5min很关键了↑

HR直接给录用函

谈笑风生…聊薪资，工作地点，还有一些要录入系统的基本信息，留了电话

最后

为什么我不完全主张自学？
①平台上的大牛基本上都有很多年的工作经验了，你有没有想过之前行业的门槛是什么样的，现在行业门槛是什么样的？以前企业对于程序员能力要求没有这么高，甚至十多年前你只要会写个“Hello World”，你都可以入门这个行业，所以以前要入门是完全可以入门的。
②现在也有一些优秀的年轻大牛，他们或许也是自学成才，但是他们一定是具备优秀的学习能力，优秀的自我管理能力（时间管理，静心坚持等方面）以及善于发现问题并总结问题。
如果说你认为你的目标十分明确，能做到第②点所说的几个点，以目前的市场来看，你才真正的适合去自学。

除此之外，对于绝大部分人来说，报班一定是最好的一种快速成长的方式。但是有个问题，现在市场上的培训机构质量参差不齐，如果你没有找准一个好的培训班，完全是浪费精力，时间以及金钱，这个需要自己去甄别选择。

我个人建议线上比线下的性价比更高，线下培训价格基本上没2W是下不来的，线上教育现在比较成熟了，此次疫情期间，学生基本上都感受过线上的学习模式。相比线下而言，线上的优势以我的了解主要是以下几个方面：
①价格：线上的价格基本上是线下的一半；
②老师：相对而言线上教育的师资力量比线下更强大也更加丰富，资源更好协调；
③时间：学习时间相对而言更自由，不用裸辞学习，适合边学边工作，降低生活压力；
④课程：从课程内容来说，确实要比线下讲的更加深入。

应该学哪些技术才能达到企业的要求？（下图总结）

Java全套资料免费领取方式：戳这里

.com/doc/DSmxTbFJ1cmN1R2dB)**

[外链图片转存中…(img-rWRtgPUO-1621574794136)]

[外链图片转存中…(img-nLHJyCJY-1621574794139)]