Kafka分区消息积压排查指南

9月前作者：沉默终止分类：Toy博客阅读(53) 违法举报

这篇具有很好参考价值的文章主要介绍了Kafka分区消息积压排查指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

怎么查看kafka积压量,kafka

针对某个TOPIC只有几个分区积压的场景，可以采用以下方法进行排查：

消息生产是否指定key？

如果指定了消息key，那么消息会指定生产到hash(key)的分区中。如果指定了key，那么有下列几种可能：
- 生产该key的消息体内容与消息处理逻辑是否有与其他分区不同
- 该key处理逻辑代码中是否有处理异常，导致偏移量无法正常提交
- 该key消息量大小比其他分区多：不指定消息key，使Kafka分区之间的数据均匀分布
如果不指定key的场景：文章来源地址https://www.toymoban.com/news/detail-628735.html
- 订阅该TOPIC的消费组中消费者有多少个？每个消费组负责多少个分区？如果消费者个数过少，比如说有50个分区，但只有3个消费者，那么一个消费者平均要消费16个分区。这种情况可以尝试增加消费者个数，如果使用的是spring-kafka，可以尝试增加concurrency=4/8
- 是否有消费者频繁Rebalance情况发生，导致偏移量无法提交？如果有，可以参考https://blog.csdn.net/weixin_43180484/article/details/131031640?spm=1001.2014.3001.5502进行排查
- 吞吐量不够，消费速度赶不上
  - 尝试增加fetch.min.bytes参数（建议调整值1~100000）
  - 增加消费者个数
  - 生产端增加消息压缩:compress.type=lz4

到了这里，关于Kafka分区消息积压排查指南的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka消息积压的原因和处理的方法

Kafka作为目前主流的消息中间件，被广泛的应用在了生产环境中。消息积压是日常生产经常遇到的问题，下面我们来展开了说一下。上游数据激增（生产侧原因）：由于业务系统，访问量徒增，如热点事件，热门活动等，导致了大量的数据涌入业务系统，有可能导致

2024年02月11日
浏览(36)
kafka（五）大数量消息持续积压几个小时如何解决

发生了线上故障，几千万条数据在 MQ 里积压很久。是修复 consumer 的问题，让他恢复消费速度，然后等待几个小时消费完毕？这是个解决方案。不过有时候我们还会进行临时紧急扩容。一个消费者一秒是 1000 条，一秒 3 个消费者是 3000 条，一分钟是 18 万条。

2024年02月13日
浏览(41)
kafka 基础概念、命令行操作（查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、查看消费者组、更新消费者的偏移位置）

kafka官网 Broker 一台kafka服务器就是一个broker，可容纳多个topic。一个集群由多个broker组成； Producer 生产者，即向kafka的broker-list发送消息的客户端； Consumer 消费者，即向kafka的broker-list订阅消息的客户端； Consumer Group 消费者组是逻辑上的一个订阅者，由多个

2024年02月01日
浏览(61)
如何查看kafka的topic的消费者组有没有积压

Kafka 自带的命令行工具 kafka-consumer-groups.sh 来查看消费者组的消费情况，包括是否有积压。具体步骤如下：打开命令行终端，进入 Kafka 安装目录下的 bin 文件夹。输入以下命令，查看消费者组的消费情况： ./kafka-consumer-groups.sh --bootstrap-server --describe --group kafka-consumer-groups.

2023年04月18日
浏览(90)
Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。为了更方便地分析问题，我们先忽略消费者组的设计，在增加消费者之前，架

2024年01月22日
浏览(50)
分布式 - 消息队列Kafka：Kafka生产者发送消息的分区策略

01. Kafka 分区的作用分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的

2024年02月13日
浏览(54)
消息队列-Kafka-消费方如何分区与分区重平衡

消费分区资料来源于网络消费者订阅的入口：KafkaConsumer#subscribe 消费者消费的入口：KafkaConsumer#poll 处理流程：对元数据重平衡处理：KafkaConsumer#updateAssignmentMetadataIfNeeded 协调器的拉取处理：onsumerCoordinator#poll 执行已完成的【消费进度】提交请求的回调函数：invokeCompletedOff

2024年04月14日
浏览(33)
Kafka 消息不能正常消费问题排查

事情的起因是用户在 app 上查不到订单了，而订单数据是从 mysql 的 order_search 表查询的，order_search 表的数据是从 oracle 的 order 表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常

2024年01月18日
浏览(51)
分布式 - 消息队列Kafka：Kafka消费者的分区分配策略

Kafka 消费者负载均衡策略？ Kafka 消费者分区分配策略？ 1. 环境准备创建主题 test 有5个分区，准备 3 个消费者并进行消费，观察消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。 ① 创建主题 test，该主题有5个分区，2个副本： ② 创建3个消费者CustomConsu

2024年02月13日
浏览(47)
分布式 - 消息队列Kafka：Kafka消费者分区再均衡(Rebalance)

01. Kafka 消费者分区再均衡是什么？消费者群组里的消费者共享主题分区的所有权。当一个新消费者加入群组时，它将开始读取一部分原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时，它将离开群组，原本由它读取的分区将由群组里的其他消费者读取。分区

2024年02月12日
浏览(40)