Java教程

Java开发面试问题,BAT这种大厂履历意味着什么

本文主要是介绍Java开发面试问题,BAT这种大厂履历意味着什么,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
![](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387803537007.jpg) # 目录 * Kafka的基本介绍 * Kafka的设计原理分析 * Kafka数据传输的事务特点 * Kafka消息存储格式 * 副本(replication)策略 * Kafka消息分组,消息消费原理 * Kafak顺序写入与数据读取 * 消费者(读取数据) # Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是:日志收集系统和消息系统。 Kafka主要设计目标如下: * 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。 * 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 * 支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。 * 同时支持离线数据处理和实时数据处理。 # Kafka的设计原理分析 ![](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387804789052.jpg) 一个典型的kafka集群中包含若干producer,若干broker,若干consumer,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker,consumer使用pull模式从broker订阅并消费消息。   Kafka专用术语: * Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。 * Topic:一类消息,Kafka集群能够同时负责多个topic的分发。 * Partition:topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。 * Segment:partition物理上由多个segment组成。 * offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。 * Producer:负责发布消息到Kafka broker。 * Consumer:消息消费者,向Kafka broker读取消息的客户端。 * Consumer Group:每个Consumer属于一个特定的Consumer Group。 # Kafka数据传输的事务特点 * at most once:最多一次,这个和JMS中"非持久化"消息类似,发送一次,无论成败,将不会重发。消费者fetch消息,然后保存offset,然后处理消息;当client保存offset之后,但是在消息处理过程中出现了异常,导致部分消息未能继续处理。那么此后"未处理"的消息将不能被fetch到,这就是"at most once"。 * at least once:消息至少发送一次,如果消息未能接受成功,可能会重发,直到接收成功。消费者fetch消息,然后处理消息,然后保存offset。如果消息处理成功之后,但是在保存offset阶段zookeeper异常导致保存操作未能执行成功,这就导致接下来再次fetch时可能获得上次已经处理过的消息,这就是"at least once",原因offset没有及时的提交给zookeeper,zookeeper恢复正常还是之前offset状态。 * exactly once:消息只会发送一次。kafka中并没有严格的去实现(基于2阶段提交),我们认为这种策略在kafka中是没有必要的。 通常情况下"at-least-once"是我们首选。 # Kafka消息存储格式 **Topic & Partition** 一个topic可以认为一个一类消息,每个topic将被分成多个partition,每个partition在存储层面是append log文件。 ![](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387804751969.jpg) 在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。 ![](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387804846821.jpg) * 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等,这种特性方便old segment file快速被删除。 * 每个partiton只需要支持顺序读写就行了,segment文件生命周期由服务端配置参数决定。 这样做的好处就是能快速删除无用文件,有效提高磁盘利用率。 * segment file组成:由2大部分组成,分别为index file和data file,此2个文件一一对应,成对出现,后缀".index"和“.log”分别表示为segment索引文件、数据文件. * segment文件命名规则:partion全局的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小,19位数字字符长度,没有数字用0填充。 ### 最后 **面试前一定少不了刷题,为了方便大家复习,我分享一波个人整理的面试大全宝典** **想获取个人高清面试题的[可以戳这里免费领取](https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB)及个人也准备了很多面试题含答案的资料供你刷!** * Java核心知识整理 ![2020年五面蚂蚁、三面拼多多、字节跳动最终拿offer入职拼多多](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387804338253.jpg) Java核心知识 * Spring全家桶(实战系列) ![2020年五面蚂蚁、三面拼多多、字节跳动最终拿offer入职拼多多](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387804670544.jpg) * 其他电子书资料 ![2020年五面蚂蚁、三面拼多多、字节跳动最终拿offer入职拼多多](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387805456678.jpg) **Step3:刷题** 既然是要面试,那么就少不了刷题,实际上春节回家后,哪儿也去不了,我自己是刷了不少面试题的,所以在面试过程中才能够做到心中有数,基本上会清楚面试过程中会问到哪些知识点,高频题又有哪些,所以刷题是面试前期准备过程中非常重要的一点。 **以下是我私藏的面试题库:** ![2020年五面蚂蚁、三面拼多多、字节跳动最终拿offer入职拼多多](http://www.www.zyiz.net/i/li/?n=2&i=images/20210704/1625387805738769.jpg)
这篇关于Java开发面试问题,BAT这种大厂履历意味着什么的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!