深入学习Kafka之概念解析-Toy模板网

这篇具有很好参考价值的文章主要介绍了深入学习Kafka之概念解析。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

0. Kafka是什么

Kafka是一个开源的分布式流处理平台和消息队列系统。

Kafka是一个值得深入学习的开源中间件，其中涉及的概念有很多，今天就来梳理一下，这些概念到底都是什么。

1. 基本概念

1.1 生产者(Producer)

Producers are those client applications that publish (write) events to Kafka

生产者就是那些发布/写事件到Kafka的客户端应用。

1.2 消费者(Consumer)

consumers are those that subscribe to (read and process) these events.

消费者是那些订阅（读和处理）这些事件的应用。

1.3 服务代理节点(Broker)

Kafka is run as a cluster of one or more servers that can span multiple datacenters or cloud regions. Some of these servers form the storage layer, called the brokers.

Kafka以一个或多个服务端组成的集群方式运行，这样可以使其分成多个数据中心或者云区域。一些来自存储层的server被称之为broker。

对于 Kafka 而言， Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka服务实例。大多数情况下也可以将 Broker看作一台 Kafka服务器，前提是这台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了一个 Kafka 集群。一般而言，我们更习惯使用首字母小写的 broker 来表示服务代理节点。

1.4 控制器(Controller)

在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器( Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故障时，由控制器负责为该分区选举新的 leader副本。当检测到某个分区的 ISR集合发生变化时，由控制器负责通知所有 broker更新其元数据信息。

具备控制器身份的broker需要比其他普通的broker多一份职责：

1. 监听分区相关变化。
  - a. 分区重新分配。（reassignment）
  - b. ISR集合变更。
  - c. 副本选举。
1. 监听主题相关变化。
  - a.topic的增加、删除等。
1. 监听broker相关变化。
  - a. broker的增加与减少。
1. 启动并管理分区状态机和副本状态机。
1. 更新元数据信息。

1.5 主题 Topic

在Kafka中，Topic（主题）是消息发布和订阅的基本单位。它是一个逻辑上的概念，用于组织和分类消息流。一个Topic可以被看作是一个具有相同特性的消息类别或主题。

每个Topic都有一个唯一的名称，用于在Kafka集群中进行标识和访问。生产者（Producers）将消息发布到特定的Topic，而消费者（Consumers）则订阅感兴趣的Topic以消费其中的消息。

Kafka的Topic可以被分成多个分区（Partitions），每个分区都是有序且持久化的消息日志。分区是Topic在物理上的分割，用于实现数据的横向扩展和并行处理。每个分区可以在不同的服务器上进行复制，以提供数据冗余和故障恢复机制。

1.6 分区(Partitions)

在Kafka中，分区（Partitions）是Topic的物理单元，用于水平划分和存储数据。每个Topic可以被分成一个或多个分区，每个分区都是一个有序、不可变的消息日志。
分区leader的选举由控制器负责具体实施。

1.7 副本(replica)

在Kafka中，每个分区都可以配置多个分区副本（Partition Replicas）。分区副本是分布在不同节点上的数据备份，用于提供数据冗余和故障容错。

以下是关于Kafka分区副本的一些关键概念和特性：

1.复制机制：每个分区可以配置一个或多个副本。副本之间通过复制机制保持数据的一致性。当生产者发送消息时，它们将被写入主副本（Leader Replica），而主副本会将消息复制到其他副本（Follower Replicas）。
2.主副本和从副本：每个分区只有一个主副本，它负责处理所有的读写请求。其他副本是从副本，它们与主副本保持同步，并提供备份数据以供故障恢复。
3.数据复制和同步：Kafka使用复制日志（Replication Log）的方式进行数据复制和同步。主副本将消息写入日志，并将日志传输给从副本，从副本按顺序应用这些消息以保持数据的一致性。
4.容错和可用性：分区副本提供了故障容错和数据冗余的机制。如果主副本发生故障，Kafka会自动选择一个从副本作为新的主副本，以确保分区的可用性和持续的数据写入。
5.负载均衡：分区副本的配置可以实现负载均衡。Kafka会将分区副本尽可能分布在不同的节点上，以平衡数据的读写负载和提供更好的性能。
6.ISR（In-Sync Replicas）：ISR是指与主副本保持同步的副本集合。只有在ISR中的副本才能成为新的主副本。如果副本与主副本的同步进度滞后，它将被移出ISR，直到追赶上同步进度。

分区副本在Kafka中是实现高可用性、数据冗余和故障容错的关键机制。它们提供了数据的持久性和可用性保证，以及在节点故障时的自动故障转移。

1.8 Consumer Group（消费者组）

消费者可以组成一个消费者组。每个消费者组可以订阅一个或多个主题，并共享消息的处理负载。Kafka 会将消息广播给消费者组中的所有消费者。

1.9 Offset（偏移量）

偏移量是消息在分区中的唯一标识符。消费者可以通过指定偏移量来读取分区中的消息。Kafka 会跟踪每个消费者在每个分区中的偏移量，并确保消费者可以继续从上次离开的位置读取消息。

1.10 Rebalance

Kafka 的 Rebalance 是指在消费者组中增加或减少消费者时，自动重新分配分区的过程。当消费者加入或离开消费者组时，Kafka 会自动进行 Rebalance 操作，以确保每个消费者在消费者组中处理尽可能相等的负载。
三个触发Rebalance的情况：

1.消费者组成熟数量发生变化
2.订阅的主题数量发生变化
3.订阅的主题的分区数量发生变化

1.11 Coordinator

新版的消费者客户端对此进行了重新设计，将全部消费组分成多个子集，每个消费组的子集在服务端对应一个 GroupCoordinator 对其进行管理，GroupCoordinator是Kafka服务端中用于管理消费组的组件。
而消费者客户端中的 ConsumerCoordinator组件负责与 GroupCoordinator进行交互。

1.12 LEO(Log end offset)

Leo 是指副本日志的当前末尾偏移量。它表示副本已经成功复制的消息的最高偏移量。所有新的消息都将追加到 Leo 之后。Leo 用于确定要从哪个偏移量开始复制消息。

1.13 HW(High Watermark)

HW 是指副本的高水位标记。它表示副本已经成功应用到消费者的最高偏移量。也就是说，消费者可以确保已经消费并处理了 HW 之前的所有消息。HW 用于跟踪消费者的进度，以及确定哪些消息可以被安全地删除。文章来源地址https://www.toymoban.com/news/detail-836353.html

到了这里，关于深入学习Kafka之概念解析的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！