如何查看kafka的topic的消费者组有没有积压

这篇具有很好参考价值的文章主要介绍了如何查看kafka的topic的消费者组有没有积压。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Kafka 自带的命令行工具 kafka-consumer-groups.sh 来查看消费者组的消费情况,包括是否有积压。

具体步骤如下:

打开命令行终端,进入 Kafka 安装目录下的 bin 文件夹。

输入以下命令,查看消费者组的消费情况:

./kafka-consumer-groups.sh --bootstrap-server --describe --group
kafka-consumer-groups.sh --bootstrap-server 11.243.32.212:9092 --describe --group logstash1
其中, 是 Kafka 集群的 broker 地址,多个 broker 之间用逗号分隔; 是要查看的消费者组的名称。

查看输出结果,其中 CURRENT-OFFSET 表示当前消费的偏移量,LOG-END-OFFSET 表示当前主题分区的最新偏移量,LAG 表示当前消费者组滞后的消息数量。如果 LAG 不为 0,说明消费者组存在积压。

例如,下面是一个消费者组存在积压的示例输出:

GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
my-consumer my-topic 0 1242 1250 8 consumer-1-125a4668-0f07-4b22-b822-1cb16f8e4b4f /127.0.0.1 consumer-1
my-consumer my-topic 1 1035 1035 0 consumer-1-125a4668-0f07-4b22-b822-1cb16f8e4b4f /127.0.0.1 consumer-1
my-consumer my-topic 2 1060 1062 2 consumer-1-125a4668-0f07-4b22-b822-1cb16f8e4b4f /127.0.0.1 consumer-1
在这个示例中,消费者组 my-consumer 在主题 my-topic 的分区 0 和 2 中存在积压。文章来源地址https://www.toymoban.com/news/detail-417342.html

到了这里,关于如何查看kafka的topic的消费者组有没有积压的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)

    记录 :466 场景 :一个KafkaProducer在一个Topic发布消息,多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup,达到一条消息被多个不同的ConsumerGroup消费。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装 :https://blog.csdn.net/zha

    2024年02月16日
    浏览(45)
  • 多个消费者订阅一个Kafka的Topic(使用@KafkaListener和KafkaTemplate)

    记录 :465 场景 :一个Producer在一个Topic发布消息,多个消费者Consumer订阅Kafka的Topic。每个Consumer指定一个特定的ConsumerGroup,达到一条消息被多个不同的ConsumerGroup消费。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。 Kafka集群安装 :https://blog.csdn.net/zhangbeizhen18/arti

    2024年02月15日
    浏览(47)
  • kafka配置大全broker、topic、生产者和消费者等配置介绍

    每个kafka broker中配置文件 server.properties 默认必须配置的属性如下: **bootstrap.servers** - 指定生产者客户端连接kafka集群所需的broker地址列表,格式为host1:port1,host2:port2,可以设置一个或多个。这里并非需要所有的broker地址,因为生产者会从给定的broker里寻找其它的broker。 **key

    2024年02月05日
    浏览(47)
  • Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法

    生产环境Kafka集群压力大,Topic读写压力大,消费的lag比较大,因此通过扩容Topic的分区,增大Topic的读写性能 理论上下游消费者应该能够自动消费到新的分区,例如flume消费到了新的分区,但是实际情况是存在flink消费者没有消费到新的分区 出现无法消费topic新的分区这种情况

    2024年02月14日
    浏览(56)
  • Kafka:主题创建、分区修改查看、生产者、消费者

    1.创建主题 2.查看所有主题 3.查看详细主题 序号从0开始计算 Partition:分区数,该主题有3个分区 Replica:副本数,该主题有3个副本 Leader:副本数中的主的序号,生产消费的对象 1.修改分区数 修改的分区数量不可以小于或者等于当前主题分区的数量,否则会报错 在根目录kaf

    2024年02月11日
    浏览(87)
  • 【Kafka每日一问】Kafka消费者故障,出现活锁问题如何解决?

    在Kafka中,消费者的“活锁”通常是指消费者实例持续失败并重新加入消费者组,但却始终无法成功处理消息。这种现象可能会导致消费者组不断触发重平衡(rebalance),而消息却没有被实际消费。以下是一些解决或缓解活锁问题的策略: 1. 优化消息处理逻辑 消费者可能由于

    2024年01月20日
    浏览(51)
  • springboot整合rocketmq:一个消费者组怎么订阅多个topic

            一个消费者组中的所有消费者订阅关系,可以多个topic,多个tag,但是必须一致,否则就倒沫子了,如下图:  下面贴了如下结构的代码  一个消费组(消费者)订阅多个topic的代码(只写了一个消费组的,其他类似): 结果:

    2024年02月15日
    浏览(53)
  • 如何查看Kafka的Topic消费情况

    进入kafka安装目录,然后执行以下命令  2.10为Scala版本,0.10.0.2.5.3.0为kafka版本  

    2024年02月10日
    浏览(41)
  • 消息队列Pulsar入门(一) 生产者/消费者/Topic详解,附源码演示

    部署问题 连接Pulsar 创建方式 简单方法创建 loadConf自定义配置创建 Pulsar官网 发送模式 同步发送 异步发送 访问方式/发送方式 Share模式(默认情况) 请注意: Exclusive WaitForExclusive 创建方式 简单方法创建 监听器方法创建 loadConf自定义配置创建 多主题订阅 传入List数组的多主题订阅

    2024年02月08日
    浏览(44)
  • 13、Kafka ------ kafka 消费者API用法(消费者消费消息代码演示)

    消费者API的核心类是 KafkaConsumer,它提供了如下常用方法: 下面这些方法都体现了Kafka是一个数据流平台,消费者通过这些方法可以从分区的任意位置、重新开始读取数据。 根据KafkaConsumer不难看出,使用消费者API拉取消息很简单,基本只要几步: 1、创建KafkaConsumer对象,创建

    2024年04月11日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包