Kafka-消费者-KafkaConsumer分析-SubscriptionState

这篇具有很好参考价值的文章主要介绍了Kafka-消费者-KafkaConsumer分析-SubscriptionState。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

KafkaConsumer从Kafka拉取消息时发送的请求是FetchRequest(具体格式后面介绍),在其中需要指定消费者希望拉取的起始消息的offset。

为了消费者快速获取这个值,KafkaConsumer使用SubscriptionState来追踪TopicPartition与offset对应关系。

图展示了SubscriptionState依赖的类以及其核心字段。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
SubscriptionType是SubscriptionState的一个内部枚举类型,表示的是订阅Topic的模式,分为四类。

  • NONE:SubscriptionState.subscriptionType的初始值。
  • AUTO_TOPICS:按照指定的Topic名字进行订阅,自动分配分区。
  • AUTO_PATTERN:按照指定的正则表达式匹配Topic进行订阅,自动分配分区。
  • USER_ASSIGNED:用户手动指定消费者消费的Topic以及分区编号。

TopicPartitionState表示的是TopicPartition的消费状态,其关键字段如下所示。

  • position:记录了下次要从Kafka服务端获取的消息的offset。
  • committed:记录了最近一次提交的offset。
  • paused:记录了当前TopicPartition是否处于暂停状态,与Consumer接口的pause方法相关。
  • resetStrategy:OffsetResetStrategy枚举类型,重置position的策略。同时,此字段是否为空,也表示了是否需要重置position的值。

TopicPartitionState提供了管理上面四个字段方法,比较简单,不再赘述。
在前面介绍Consumer接口时提到过,subscribe()方法和assign()方法是互斥的。其实上面介绍的三种模式都是互斥的。下面是setSubscriptionType()方法的代码,无论选择哪种模式都会调用此方法进行设置,如图3-10所示。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
下面介绍SubscriptionState的核心字段。

  • subscriptionType:SubscriptionType枚举类型,表示订阅的模式。
  • subscribedPattern:使用AUTO_PATTERN模式时,是按照此字段记录的正则表达式对所有Topic进行匹配,对匹配符合的Topic进行订阅。
  • subscription:如果使用AUTO_TOPICS或AUTO_PATTERN模式,则使用此集合记录所有订阅的Topic。向subscription集合中添加数据的方法只有changeSubscription方法,而调用changeSubscription()方法有两处,如图所示。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
在图中的①处,使用的是AUTO_TOPICS模式订阅;

图中的②处使用AUTOPATTERN模式订阅。

我们在前面介绍Metadata的时候提到过,可以在其上添加Listener,当Metadata更新时会触发Metadata.Listener.onMetadataUpdate()方法,图中的②处就是在Metadata的Listener中通过subscribedPattern模式过滤Topic,并调用changeSubscription()方法修改subscription集合。

  • userAssignment:如果使用USER_ASSIGNED模式,则此集合记录了分配给当前消费者的TopicPartition集合。SubscriptionType模式是互斥的,所以userAssignment集合与subscription集合也是互斥的。
  • assignment:Map<TopicPartition,TopicPartitionState>类型,无论使用什么订阅模式,都使用此集合记录每个TopicPartition的消费状态。
  • groupSubscription:在前面描述的协议中,Consumer Group中会选举一个Leader,Leader使用该集合记录Consumer Group中所有消费者订阅的Topic,而其他Follower的该集合中只保存了其自身的订阅的Topic。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
图中的①处是将消费者自身订阅的Topic添加到groupSubscribe集合;

②处是在Leader收到JoinGroupResponse时调用,在JoinGroupResponse中包含了全部消费者订阅的Topic,在此时将Topic信息添加到groupSubscribe集合。

③处则是将groupSubscribe中其他消费者订阅的Topic删除,只留下自身订阅的Topic(即subscription集合),这是groupSubscription集合收缩的场景。

  • needsPartitionAssignment:标记是否需要进行一次分区分配。这里简单了解一下修改needPartitionAssignment的场景和含义,如图所示。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式
图中的①、⑤处将needsPartitionAssignment设置为true是因为消费者订阅的Topic发生了变化,所以需要进行分区分配;

③处将needsParitionAssignment设置为false是因为使用USER_ASSIGNED订阅模式,所以不需要分区分配操作;

④处是成功得到SyncGroupResponse中的分区分配结果时的操作,此时Rebalance操作结束,将needsPartitionAssignment设置为false;

②处的场景比较复杂,调用②处将needRessignment设置为true,主要是因为在某些请求响应中出现了ILLEGAL_GENERATION等异常,或是订阅的Topic出现了分区数量的变化,调用关系如图所示。

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式

  • needsFetchCommittedOffsets:标记是否需要从GroupCoordinator获取最近提交的offset。当出现异步提交offset操作或是Rebalance操作刚完成时会将其置为true,成功获取最近提交offset之后会设置为fasle。
  • defaultResetStrategy:默认OffsetResetStrategy策略。
  • listener:ConsumerRebalanceListener类型,用于监听分区分配操作。

SubscriptionState中的方法主要是管理上面的几个集合字段,操作比较简单,不再详细介绍。下面简单分析前面示例中使用的subscribe()方法:

Kafka-消费者-KafkaConsumer分析-SubscriptionState,队列,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-800890.html

到了这里,关于Kafka-消费者-KafkaConsumer分析-SubscriptionState的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka-消费者-KafkaConsumer分析-PartitionAssignor

    Leader消费者在收到JoinGroupResponse后,会按照其中指定的分区分配策略进行分区分配,每个分区分配策略就是一个PartitionAssignor接口的实现。图是PartitionAssignor的继承结构及其中的组件。 PartitionAssignor接口中定义了Assignment和Subscription两个内部类。 进行分区分配需要的两方面的数

    2024年01月20日
    浏览(52)
  • Kafka-消费者-KafkaConsumer分析-Rebalance

    在开始介绍Rebalance操作的实现细节之前,我们需要明确在哪几种情况下会触发Rebalance操作: 有新的消费者加入Consumer Group。 有消费者宕机下线。消费者并不一定需要真正下线,例如遇到长时间的GC、网络延迟导致消费者长时间未向GroupCoordinator发送HeartbeatRequest时,GroupCoordina

    2024年01月20日
    浏览(39)
  • 多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)

    记录 :466 场景 :一个KafkaProducer在一个Topic发布消息,多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup,达到一条消息被多个不同的ConsumerGroup消费。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装 :https://blog.csdn.net/zha

    2024年02月16日
    浏览(46)
  • kafka在创建KafkaConsumer消费者时,发生Exception in thread “main“ org.apache.kafka.common.KafkaException: Faile

    原因:可能是序列化和反序列化没正确使用。将以下代码修改正确再次运行。 将以上代码的 StringDeserializer 反序列化,确认无误!!!

    2024年02月13日
    浏览(54)
  • 保障效率与可用,分析Kafka的消费者组与Rebalance机制

    上手第一关,手把手教你安装kafka与可视化工具kafka-eagle Kafka是什么,以及如何使用SpringBoot对接Kafka 架构必备能力——kafka的选型对比及应用场景 Kafka存取原理与实现分析,打破面试难关 防止消息丢失与消息重复——Kafka可靠性分析及优化实践 我们上一期从可靠性分析了消息

    2024年02月06日
    浏览(46)
  • 13、Kafka ------ kafka 消费者API用法(消费者消费消息代码演示)

    消费者API的核心类是 KafkaConsumer,它提供了如下常用方法: 下面这些方法都体现了Kafka是一个数据流平台,消费者通过这些方法可以从分区的任意位置、重新开始读取数据。 根据KafkaConsumer不难看出,使用消费者API拉取消息很简单,基本只要几步: 1、创建KafkaConsumer对象,创建

    2024年04月11日
    浏览(49)
  • 分布式 - 消息队列Kafka:Kafka消费者和消费者组

    1. Kafka 消费者是什么? 消费者负责订阅Kafka中的主题,并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是:在Kafka的消费理念中还有一层消费组的概念,每个消费者都有一个对应的消费组。当消息发布到主题后,只会被投递给订阅它的每个消费组中的一个消费者

    2024年02月13日
    浏览(45)
  • kafka配置多个消费者groupid kafka多个消费者消费同一个partition(java)

    kafka是由Apache软件基金会开发的一个开源流处理平台。kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 kafka中partition类似数据库中的分表数据,可以起到水平扩展数据的目的,比如有a,b,c,d,e,f 6个数据,某个topic有两个partition,一

    2024年01月22日
    浏览(86)
  • Kafka3.0.0版本——消费者(消费者组详细消费流程图解及消费者重要参数)

    创建一个消费者网络连接客户端,主要用于与kafka集群进行交互,如下图所示: 调用sendFetches发送消费请求,如下图所示: (1)、Fetch.min.bytes每批次最小抓取大小,默认1字节 (2)、fetch.max.wait.ms一批数据最小值未达到的超时时间,默认500ms (3)、Fetch.max.bytes每批次最大抓取大小,默

    2024年02月09日
    浏览(47)
  • 10、Kafka ------ 消费者组 和 消费者实例,分区 和 消费者实例 之间的分配策略

    形象来说:你可以把主题内的多个分区当成多个子任务、多个子任务组成项目,每个消费者实例就相当于一个员工,假如你们 team 包含2个员工。 同理: 同一主题下,每个分区最多只会分给同一个组内的一个消费者实例 消费者以组的名义来订阅主题,前面的 kafka-console-consu

    2024年01月19日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包