如何查看Kafka的Topic消费情况

这篇具有很好参考价值的文章主要介绍了如何查看Kafka的Topic消费情况。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Linux kafka常用命令

1 kafka常用命令

1.1 启动kafka

nohup ./kafka-server-start.sh ../config/server.properties &&>/dev/null 2>&1 &

或者不指定日志输出位置和设置

./kafka-server-start.sh ../config/server.properties &

1.2 查看所有topic

./kafka-topics.sh --zookeeper 172.18.111.106:2181 --list

1.3 删除topic

./kafka-topics.sh --delete --zookeeper 172.18.111.106:2181 --topic audit_db_audit_data_topic

1.4 查看某一分组消费情况

./kafka-consumer-groups.sh --bootstrap-server 172.18.111.106:9092 --describe --group kafka_result_id

1.5 所有分组消费情况

./kafka-consumer-groups.sh --bootstrap-server 172.18.111.106:9092 --describe --all-groups

1.6 消费某一topic

./kafka-console-consumer.sh --bootstrap-server 172.18.111.106:9092 --topic task_result_topic --from-beginning

1.7 启动生产客户端

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kfcs

1.8 查看某一topic的消费情况 

./kafka-topics.sh --bootstrap-server 172.18.111.106:9092  --describe --topic xxxx

1.9 创建topic

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 1 --replication-factor 1

1.10 查看kafka版本号

进入kafka安装目录,然后执行以下命令

find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

kafka查看topic消费情况,kafka

 2.10为Scala版本,0.10.0.2.5.3.0为kafka版本

2 kafka0.10.0.2.5.3.0版本命令

kafka查看topic消费情况,kafka

查看所有topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-topics.sh --zookeeper 2.zookeeper1 --list

查看topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-topics.sh --zookeeper 2.zookeeper1 --describe --topic xxxx

查看消费者组
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-consumer-groups.sh --zookeeper 2.zookeeper1 --list

查看消费者情况
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-consumer-groups.sh --zookeeper 2.zookeeper1 --describe --group kafka_result_id

从某一时间开始消费某一topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-console-consumer.sh --zookeeper 2.zookeeper1 --topic com_dbapp_odps_topic --reset-offsets --to-datetime 2023-05-18T00:00:00.000 -execute

从最开始开始消费某一topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-console-consumer.sh --zookeeper 2.zookeeper1 --topic task_result_topic --from-beginning

 文章来源地址https://www.toymoban.com/news/detail-691749.html

到了这里,关于如何查看Kafka的Topic消费情况的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka如何动态消费新增topic主题

    一、解决痛点 使用spring-kafka客户端,每次新增topic主题,都需要硬编码客户端并重新发布服务,操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic,缺点是并发数需要手动改并且重启服务 。对于业务逻辑相似场景,创建新主题动态监听可以用kafka-batch-starter组件 二、组件

    2023年04月21日
    浏览(27)
  • Kafka/Spark-01消费topic到写出到topic

    消费者代码 注意点 consumerConfigs是定义的可变的map的类型的,具体如下 consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG , groupId)是为了不限制groupId特意写的传参 是使用自带的kafka工具类createDirectStream方法去消费kafak 的数据,详细参数解释如下 Subscribe传参需要指定泛型,这边指定string,

    2024年02月09日
    浏览(26)
  • Kafka某个Topic无法消费问题

    12月28日,公司测试环境Kafka的task.build.metadata.flow这个topic突然无法消费。 其他topic都正常使用,这个topic只有一个分区,并且只有一个消费者 首先登录服务器,运行kafka的cli命令,查看消费者组的详情。 由上图可以发现,task.build.metadata.flow这个topic,最新offset是2,但是当前o

    2024年02月03日
    浏览(37)
  • kafka消费多个topic的使用

    我们在业务中难免遇到一个kafka消费多个topic的消息,本文帮助大家如何在业务中用一个类消费多个topic消息 配置类1

    2024年02月11日
    浏览(31)
  • Kafka - Topic 消费状态常用命令

    replication-factor:指定副本数量 partitions:指定分区 查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数 这里同样需要根据新、旧版本的consumer,分别指

    2024年01月25日
    浏览(35)
  • Flink实现同时消费多个kafka topic,并输出到多个topic

    1)代码使用的 flink版本为1.16.1 ,旧版本的依赖及api可能不同,同时使用了hutool的JSON工具类,两者均可自行更换; 2)本次编写的两个方案,均只适用于 数据源topic来自同一个集群 ,且kafka消费组相同,暂未研究flink的connect算子join多条流 代码涉及 Hadoop相关环境 ,若无该环境

    2023年04月20日
    浏览(65)
  • 自定义kafka客户端消费topic

    使用自定义的KafkaConsumer给spring进行管理,之后在注入topic的set方法中,开单线程主动订阅和读取该topic的消息。 后端服务不需要启动时就开始监听消费,而是根据启动的模块或者用户自定义监听需要监听或者停止的topic 使用的spring集成2.1.8.RELEASE的版本,在@KafkaListener注解中没

    2024年02月02日
    浏览(41)
  • Kafka某Topic的部分partition无法消费问题

    今天同事反馈有个topic出现积压。于是上kfk管理平台查看该topic对应的group。发现6个分区中有2个不消费,另外4个消费也较慢,总体lag在增长。查看服务器日志,日志中有rebalance 12 retry 。。。Exception,之后改消费线程停止。 查阅相关rebalance资料:   分析Rebalance 可能是 Consu

    2024年02月12日
    浏览(31)
  • 全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)

    最近在学习kafka相关的知识,特将学习成功记录成文章,以供大家共同学习。 首先要注意的是, Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。 在 Kafka 中, Topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。 物理上

    2024年01月25日
    浏览(30)
  • kafka查看topic和消息内容命令

    ①创建一个测试用的topic ② 用Kafka的console-producer在topic test 生产消息 ③ 用Kafka的console-consumer 消费topic test的消息 ④查询topic,进入kafka目录: ⑤查询topic内容: ⑥查看topic 为 test的 详细信息 ⑦往topic 为 test的内部生产消息 ⑧从topic 为test的内部消费消息 ⑨删除kafka的测试top

    2024年02月11日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包