flink如何监听kafka主题配置变更

9月前作者：lixia0417mul2 分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了flink如何监听kafka主题配置变更。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景：

从前一篇文章我们知道flink消费kafka主题时是采用的手动assign指定分区的方式，这种消费方式是不处理主题的rebalance操作的，也就是消费者组中即使有消费者退出或者进入也是不会触发消费者所消费的分区的，那么疑问就来了，那是否比如kafka主题分区变多，或者新增了满足flink消费条件的kafka主题时，flink的kafka消费者是如何感知到并消费的？

源码追踪：

1.入口类StreamSource的run方法,这是数据源函数
flink如何监听kafka主题配置变更,flink,flink,kafka,大数据
这个方法中runWithPartitionDiscovery内容如下：

继续往下，可以看到开启了一个线程定时从broker中拉取监听的主题的分区数量
flink如何监听kafka主题配置变更,flink,flink,kafka,大数据

当获取到新增主题分区后，首先添加到KafkaFetch类的unassignedPartitionsQueue字段中，表明这个算子任务需要新增监听
flink如何监听kafka主题配置变更,flink,flink,kafka,大数据
注意KafkaFetch类的unassignedPartitionsQueue就是对应的KafkaConsumerThread类的unassignedPartitionsQueue字段,

然后在KafkaConsumerThread的run方法中就会不断检查是否有新增分区，如果有就使用assign指派
flink如何监听kafka主题配置变更,flink,flink,kafka,大数据

具体哪个分区指派给哪个算子任务的逻辑在如下代码中
flink如何监听kafka主题配置变更,flink,flink,kafka,大数据文章来源地址https://www.toymoban.com/news/detail-631860.html

到了这里，关于flink如何监听kafka主题配置变更的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

flink如何初始化kafka数据源的消费偏移

我们知道在日常非flink场景中消费kafka主题时，我们只要指定了消费者组，下次程序重新消费时是可以从上次消费停止时的消费偏移开始继续消费的，这得益于kafka的_offset_主题保存的关于消费者组和topic偏移位置的具体偏移信息,那么flink应用中重启flink应用时，flink是从topic的什

2024年02月16日
浏览(48)
实战Java springboot 采用Flink CDC操作SQL Server数据库获取增量变更数据

目录前言： 1、springboot引入依赖： 2、yml配置文件 3、创建SQL server CDC变更数据监听器 4、反序列化数据,转为变更JSON对象 5、CDC 数据实体类 6、自定义ApplicationContextUtil 7、自定义sink 交由spring管理，处理变更数据我的场景是从SQL Server数据库获取指定表的增量数据，查

2024年02月10日
浏览(90)
kafka如何动态消费新增topic主题

一、解决痛点使用spring-kafka客户端，每次新增topic主题，都需要硬编码客户端并重新发布服务，操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic，缺点是并发数需要手动改并且重启服务。对于业务逻辑相似场景，创建新主题动态监听可以用kafka-batch-starter组件二、组件

2023年04月21日
浏览(41)
restful web服务实现mysql+debezium+kafka对mysql数据库的业务实时变更数据监控

请写java程序，创建restful web服务，示范利用RestController、Debezium和KafkaListener通过binlog日志监控并获得mysql业务数据库变更，请用具体数据集举例说明以上程序各步骤处理结果该问题首先要了解restful web服务，Debezium和kafka相关知识。 1.restful web服务 RESTful是HTTP接口调用的一种特殊

2024年01月21日
浏览(63)
springboot简单使用kafka消费者监听，以及kafka配置账号密码

2024年02月16日
浏览(54)
mongodb使用docker搭建replicaSet集群与变更监听

在mongodb如果需要启用变更监听功能(watch)，mongodb需要在replicaSet或者cluster方式下运行。 replicaSet和cluster从部署难度相比，replicaSet要简单许多。如果所存储的数据量规模不算太大的情况下，那么使用replicaSet方式部署mongodb是一个不错的选择。 mongodb版本：mongodb-6.0.5 两台主机：主

2024年02月02日
浏览(38)
Element UI DatePicker 监听年月切换按钮并获取变更

需求：在每切换一次年月时调用接口获取数据，传参为当前切换成的年月。需要监听DatePicker是否显示，用input获得焦点时触发的focus事件（element自带）。并绑定4个切换按钮的click事件。 html： js：参考：element-ui DatePicker 年、月选择改变时获取当前的年月_lingwueryao的博客

2024年02月11日
浏览(78)
kafka常用查看主题，消费数据的排查命令[重要!!!]

1.命令如下： bin/kafka-topics.sh --list --zookeeper 10.239.192.182 2.截图如下： 1.使用的命令 bin/kafka-consumer-groups.sh --bootstrap-server 10.239.192.182:9092 --list 2.截图如下： kafka查看数据_Kafka 数据积压情况查看 - IT界的一名小学生 - 博客园 1.使用命令 bin/kafka-consumer-groups.sh --bootstrap-server 10.23

2023年04月08日
浏览(57)
解密Kafka主题的分区策略：提升实时数据处理的关键

大家好，我是哪吒。 Kafka几乎是当今时代背景下数据管道的首选，无论你是做后端开发、还是大数据开发，对它可能都不陌生。开源软件Kafka的应用越来越广泛。面对Kafka的普及和学习热潮，哪吒想分享一下自己多年的开发经验，带领读者比较轻松地掌握Kafka的相关知识。上

2024年02月05日
浏览(43)
Kafka3.1部署和Topic主题数据生产与消费

本章节主要讲述Kafka3.1X版本在Windows11主机下部署以及JAVA对Kafka应用： 1.安装JDK配置环境变量 2.Zookeeper（zookeeper-3.7.1） zk 部署后的目录位置：D:setupapache-zookeeper-3.7.1 3.安装Kafka3.1X 3.1 下载包（kafka_2.12-3.1.2.tgz） Kafka 3.2、解压并进入Kafka目录：根目录：D:setupkafka3.1.2 3、编辑

2024年02月09日
浏览(40)