消息队列MQ

【九月打卡】第19天 kafka流处理平台(一)

本文主要是介绍【九月打卡】第19天 kafka流处理平台(一),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

课程名称kafka流处理平台

课程章节

Kafka的基本概念、Kafka的设计和结构

主讲老师

书生

课程内容

Kafka是目前主流的流处理平台,同时作为消息队列家族的一员,其高吞吐性作为很多场景下的主流选择。同时作为流处理平台,在大数据开发中,作为黏合剂串联各个系统。

Kafka应用场景

消息队列、行为跟踪、元信息监控(运维性质)、日志收集、流处理、事件源、持久性日志(commit log)

https://img1.sycdn.imooc.com/632dbf6700013a8c19200847.jpg

https://img1.sycdn.imooc.com/632dbf6800012d0d17020842.jpg

物理概念:物理层面的隔离,如数据库,服务器设备等

逻辑概念:代码/策略逻辑层面的概念

Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务

Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务

Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息

broker:物理概念,kafka集群中的每个kafka节点

topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离

partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个partition,每个partition是有序的

Replication:同一个Partition可能会有多个Replica,多个Replica之间的数据是一样的(相当于一个partition有多个副本)

Replication Leader:一个Partition的多个Replica上,需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个,其他的负责同步数据,当好备胎)

ReplicaManager:负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等

 

这篇关于【九月打卡】第19天 kafka流处理平台(一)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!