消息队列MQ

【九月打卡】第5天 Kafka核心之存储和容错机制

本文主要是介绍【九月打卡】第5天 Kafka核心之存储和容错机制，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

【九月打卡】第5天 Kafka核心之存储和容错机制

第一模块

  • 课程名称：消息队列之Kafka从入门到小牛
  • 章节名称：第5章 Kafka核心之存储和容错机制
  • 讲师姓名：徐老师

第二模块

  • 课程内容：
  1. Topic、Partition扩展、Message扩展
  2. 存储策略：在kafka中每个topic包含1到多个partition，每个partition存储一部分Message。每条Message包含三个属性，其中有一个是offset。
    Kafka中数据的存储流程：生产者生产的消息会被发送到topic的多个partition上，topic收到消息后往对应partition的最后一个segment上添加该消息，segment达到一定的大小后会创建新的segment。
  3. 容错机制：当Kafka集群中的一个Broker节点宕机之后，对整个集群而言没有什么特别的大影响，此时集群会给partition重新选出来一些新的Leader节点；当集群中新加入一个broker节点，zookeeper会自动识别并在适当的机会选择此节点提供服务

第三模块

  • 学习心得：业务类型增加需要增加Topic数量、数据量大需要增加Partition数量

第四模块

图片描述
图片描述

这篇关于【九月打卡】第5天 Kafka核心之存储和容错机制的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航