Kafka分区消息积压排查指南

这篇具有很好参考价值的文章主要介绍了Kafka分区消息积压排查指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

怎么查看kafka积压量,kafka

针对某个TOPIC只有几个分区积压的场景,可以采用以下方法进行排查:

  1. 消息生产是否指定key?

    如果指定了消息key,那么消息会指定生产到hash(key)的分区中。如果指定了key,那么有下列几种可能:

    • 生产该key的消息体内容与消息处理逻辑是否有与其他分区不同
    • 该key处理逻辑代码中是否有处理异常,导致偏移量无法正常提交
    • 该key消息量大小比其他分区多:不指定消息key,使Kafka分区之间的数据均匀分布
  2. 如果不指定key的场景:文章来源地址https://www.toymoban.com/news/detail-628735.html

    • 订阅该TOPIC的消费组中消费者有多少个?每个消费组负责多少个分区?如果消费者个数过少,比如说有50个分区,但只有3个消费者,那么一个消费者平均要消费16个分区。这种情况可以尝试增加消费者个数,如果使用的是spring-kafka,可以尝试增加concurrency=4/8
    • 是否有消费者频繁Rebalance情况发生,导致偏移量无法提交?如果有,可以参考https://blog.csdn.net/weixin_43180484/article/details/131031640?spm=1001.2014.3001.5502进行排查
    • 吞吐量不够,消费速度赶不上
      • 尝试增加fetch.min.bytes参数(建议调整值1~100000)
      • 增加消费者个数
      • 生产端增加消息压缩:compress.type=lz4

到了这里,关于Kafka分区消息积压排查指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka消息积压的原因和处理的方法

            Kafka作为目前主流的消息中间件,被广泛的应用在了生产环境中。消息积压是日常生产经常遇到的问题,下面我们来展开了说一下。 上游数据激增(生产侧原因):由于业务系统,访问量徒增,如热点事件,热门活动等,导致了大量的数据涌入业务系统,有可能导致

    2024年02月11日
    浏览(31)
  • kafka(五)大数量消息持续积压几个小时如何解决

          发生了线上故障,几千万条数据在 MQ 里积压很久。是修复 consumer 的问题,让他恢 复消费速度,然后等待几个小时消费完毕?这是个解决方案。不过有时候我们还会进行临时 紧急扩容。        一个消费者一秒是 1000 条,一秒 3 个消费者是 3000 条,一分钟是 18 万条。

    2024年02月13日
    浏览(30)
  • kafka 基础概念、命令行操作(查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、 查看消费者组 、更新消费者的偏移位置)

    kafka官网 Broker   一台kafka服务器就是一个broker,可容纳多个topic。一个集群由多个broker组成; Producer   生产者,即向kafka的broker-list发送消息的客户端; Consumer   消费者,即向kafka的broker-list订阅消息的客户端; Consumer Group   消费者组是 逻辑上的一个订阅者 ,由多个

    2024年02月01日
    浏览(39)
  • 如何查看kafka的topic的消费者组有没有积压

    Kafka 自带的命令行工具 kafka-consumer-groups.sh 来查看消费者组的消费情况,包括是否有积压。 具体步骤如下: 打开命令行终端,进入 Kafka 安装目录下的 bin 文件夹。 输入以下命令,查看消费者组的消费情况: ./kafka-consumer-groups.sh --bootstrap-server --describe --group kafka-consumer-groups.

    2023年04月18日
    浏览(74)
  • Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

    我们知道当消息生产者生产的速度快于消费者的消费速度时,会产生大量的消息积压,大多数人的想法是增加消费者的数量来提升消费速度,这个想法在RocketMQ中是可行的,但是在Kafka中不一定可行。为了更方便地分析问题,我们先忽略消费者组的设计,在增加消费者之前,架

    2024年01月22日
    浏览(35)
  • 分布式 - 消息队列Kafka:Kafka生产者发送消息的分区策略

    01. Kafka 分区的作用 分区的作用就是提供负载均衡的能力,或者说对数据进行分区的主要原因,就是为了实现系统的高伸缩性。不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个节点的机器都能独立地执行各自分区的

    2024年02月13日
    浏览(37)
  • 消息队列-Kafka-消费方如何分区与分区重平衡

    消费分区 资料来源于网络 消费者订阅的入口:KafkaConsumer#subscribe 消费者消费的入口:KafkaConsumer#poll 处理流程: 对元数据重平衡处理:KafkaConsumer#updateAssignmentMetadataIfNeeded 协调器的拉取处理:onsumerCoordinator#poll 执行已完成的【消费进度】提交请求的回调函数:invokeCompletedOff

    2024年04月14日
    浏览(22)
  • Kafka 消息不能正常消费问题排查

    事情的起因是用户在 app 上查不到订单了,而订单数据是从 mysql 的 order_search 表查询的,order_search 表的数据是从 oracle 的 order 表同步过来的,查不到说明同步有问题 首先重启,同步数据,问题解决,然后查找原因。首先看日志,有如下两种情况 有的容器消费消息的日志正常

    2024年01月18日
    浏览(35)
  • 分布式 - 消息队列Kafka:Kafka消费者的分区分配策略

    Kafka 消费者负载均衡策略? Kafka 消费者分区分配策略? 1. 环境准备 创建主题 test 有5个分区,准备 3 个消费者并进行消费,观察消费分配情况。然后再停止其中一个消费者,再次观察消费分配情况。 ① 创建主题 test,该主题有5个分区,2个副本: ② 创建3个消费者CustomConsu

    2024年02月13日
    浏览(32)
  • 分布式 - 消息队列Kafka:Kafka消费者分区再均衡(Rebalance)

    01. Kafka 消费者分区再均衡是什么? 消费者群组里的消费者共享主题分区的所有权。当一个新消费者加入群组时,它将开始读取一部分原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时,它将离开群组,原本由它读取的分区将由群组里的其他消费者读取。 分区

    2024年02月12日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包