【Kafka】Kafka consumer lag 为负数

9月前作者：kiraraLou 分类：Toy博客阅读(53) 违法举报

这篇具有很好参考价值的文章主要介绍了【Kafka】Kafka consumer lag 为负数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

最近对Kafka 集群部署了 Kafka_exporter 监控，并集成了 granfana 图标展示。

发现 Consumer Group Lag 有时候为负数。于是进行一番查询，并总结整理下。

具体情形

从下图可以看出，consumer group 值有时候出现负数的情况。

【Kafka】Kafka consumer lag 为负数,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-542390.html

具体原因

消息过期了（超过默认7天），已经被清理掉了，这时候topic最新的 end-offset是从0开始，而__consumer_offset 不为0，则为负数。
Producer 的 offset 是通过 JMX 轮询获得的，Consumer 的 offset 是从 kafka 内的 __consumer_offsets 的 topic 中直接读取到的，很明显轮询获取 offset 比直接从 topic 拿 offset 慢一点，也就可能会出现 Lag 计算后为负数的情况。

到了这里，关于【Kafka】Kafka consumer lag 为负数的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

分布式 - 消息队列Kafka：Kafka 消费者的消费位移

01. Kafka 分区位移对于Kafka中的分区而言，它的每条消息都有唯一的offset，用来表示消息在分区中对应的位置。偏移量从0开始，每个新消息的偏移量比前一个消息的偏移量大1。每条消息在分区中的位置信息由一个叫位移（Offset）的数据来表征。分区位移总是从 0 开始，假设一

2024年02月12日
浏览(50)
分布式 - 消息队列Kafka：Kafka消费者的分区分配策略

Kafka 消费者负载均衡策略？ Kafka 消费者分区分配策略？ 1. 环境准备创建主题 test 有5个分区，准备 3 个消费者并进行消费，观察消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。 ① 创建主题 test，该主题有5个分区，2个副本： ② 创建3个消费者CustomConsu

2024年02月13日
浏览(47)
分布式 - 消息队列Kafka：Kafka生产者架构和配置参数

生产者发送消息流程参考图1：先从创建一个ProducerRecord对象开始，其中需要包含目标主题和要发送的内容。另外，还可以指定键、分区、时间戳或标头。在发送ProducerRecord对象时，生产者需要先把键和值对象序列化成字节数组，这样才能在网络上传输。接下来，如果没有显式

2024年02月13日
浏览(50)
分布式 - 消息队列Kafka：Kafka生产者发送消息的方式

不管是把Kafka作为消息队列、消息总线还是数据存储平台，总是需要一个可以往Kafka写入数据的生产者、一个可以从Kafka读取数据的消费者，或者一个兼具两种角色的应用程序。 Kafka 生产者是指使用 Apache Kafka 消息系统的应用程序，它们负责将消息发送到 Kafka 集群中的一个或多

2024年02月13日
浏览(44)
分布式 - 消息队列Kafka：Kafka消费者和消费者组

1. Kafka 消费者是什么？消费者负责订阅Kafka中的主题，并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是：在Kafka的消费理念中还有一层消费组的概念，每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者

2024年02月13日
浏览(45)
分布式 - 消息队列Kafka：Kafka 消费者消费位移的提交方式

最简单的提交方式是让消费者自动提交偏移量，自动提交 offset 的相关参数： enable.auto.commit：是否开启自动提交 offset 功能，默认为 true; auto.commit.interval.ms：自动提交 offset 的时间间隔，默认为5秒；如果 enable.auto.commit 被设置为true，那么每过5秒，消费者就会自动提交 poll() 返

2024年02月12日
浏览(48)
分布式 - 消息队列Kafka：Kafka消费者分区再均衡(Rebalance)

01. Kafka 消费者分区再均衡是什么？消费者群组里的消费者共享主题分区的所有权。当一个新消费者加入群组时，它将开始读取一部分原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时，它将离开群组，原本由它读取的分区将由群组里的其他消费者读取。分区

2024年02月12日
浏览(40)
分布式 - 消息队列Kafka：Kafka 消费者消息消费与参数配置

01. 创建消费者在读取消息之前，需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里。为简单起见，这里只提供4个必要的属性：bootstrap.servers、key.deserializer 和 value.deserializer。 ① bootstrap.servers 指

2024年02月12日
浏览(45)
分布式 - 消息队列Kafka：Kafka生产者发送消息的分区策略

01. Kafka 分区的作用分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的

2024年02月13日
浏览(54)
分布式应用之Zookeeper和Kafka

1.定义 2.特点 3.数据结构 4.选举机制第一次选举非第一次选举 5.部署 1.概念中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。 2.消息队列型 3.Web应用型（代理服务器） 1.为什么需要MQ 2.消息队列作用 3.消息队列模式 ①点对

2024年02月15日
浏览(46)