Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

这篇具有很好参考价值的文章主要介绍了Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、查看kafka队列中topic信息

1.1、查看所有topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --list

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

1.2、查看kafka中指定topic的详情

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --topic ai_jl_analytic --describe

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

2、查看消费者consumer的group列表

2.1 查看所有的group

./kafka-consumer-groups.sh --bootstrap-server 10.128.106.52:9092 --list

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

2.2 查看指定的group

./kafka-consumer-groups.sh --bootstrap-server 10.128.106.52:9092 --group ai-trace --describe

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

3、创建、修改、删除topic

3.1 创建topic

./kafka-topics.sh --create --zookeeper 10.128.106.52:2181 --topic test --partitions 8 --replication-factor 1
#创建topic名为test,分区数为8,副本数为1

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

3.2 修改topic分区数量

./kafka-topics.sh --zookeeper 10.128.106.52:2181 -alter --partitions 12 --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

3.3 删除topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --delete --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

执行topic删除命令时,出现提示

Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

这条命令其实并不执行删除动作,仅仅是在zookeeper上标记该topic要被删除而已,同时也提醒用户一定要提前打开delete.topic.enable开关,否则删除动作是不会执行的。
解决办法:
a)在server.properties中设置delete.topic.enable参数为ture
b)如下操作:
1.登录zookee客户端:./bin/zookeeper-client
2.找到topic所在目录:ls /brokers/topics
3.执行删除命令:rmr /brokers/topics/test
Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

4、模拟生产者/消费者

4.1 生产者生产消息:

./kafka-console-producer.sh --broker-list 10.128.106.52:9092 --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

4.2 消费者消费消息:

./kafka-console-consumer.sh --bootstrap 10.128.106.52:9092 --topic server

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者文章来源地址https://www.toymoban.com/news/detail-425923.html

到了这里,关于Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用kafka-consumer-group.sh查看消息消费情况,CONSUMER-ID,HOST,CLIENT-ID不显示问题分析

    在使用使用kafka-consumer-group.sh查看消息消费情况,消息都已经消费完了,但是CONSUMER-ID,HOST,CLIENT-ID字段的信息不显示,而且,消费实例也在运行中,却出现了 Consumer group \\\'manage.group1\\\' has no active members., 如下图所示: 消费者的代码如下: 之所以出现上面的的问题,是因为使

    2024年02月16日
    浏览(48)
  • rabbitmq topic模式设置#通配符情况下 消费者队列未接收消息问题排查解决

    生产者配置 Exchange:topic_exchange_shcool Routing key:topic.shcool.# 消费者代码配置 Exchange:topic_exchange_shcool Routing key:topic.shcool.user 其实以上代码看着没有问题,意思是代码生成一个队列,并把【topic.shcool.user】队列和生产者的【topic_exchange_shcool】exchange绑定,但是生产者发送消息是

    2024年02月11日
    浏览(48)
  • Kafka - 主题Topic与消费者消息Offset日志记录机制

    可以根据业务类型,分发到不同的Topic中,对于每一个Topic,下面可以有多个分区(Partition)日志文件: kafka 下的Topic的多个分区,每一个分区实质上就是一个队列,将接收到的消息暂时存储到队列中,根据配置以及消息消费情况来对队列消息删除。 可以这么来理解Topic,Partitio

    2024年02月03日
    浏览(54)
  • kafka查看topic和消息内容命令

    ①创建一个测试用的topic ② 用Kafka的console-producer在topic test 生产消息 ③ 用Kafka的console-consumer 消费topic test的消息 ④查询topic,进入kafka目录: ⑤查询topic内容: ⑥查看topic 为 test的 详细信息 ⑦往topic 为 test的内部生产消息 ⑧从topic 为test的内部消费消息 ⑨删除kafka的测试top

    2024年02月11日
    浏览(56)
  • 如何查看kafka的topic的消费者组有没有积压

    Kafka 自带的命令行工具 kafka-consumer-groups.sh 来查看消费者组的消费情况,包括是否有积压。 具体步骤如下: 打开命令行终端,进入 Kafka 安装目录下的 bin 文件夹。 输入以下命令,查看消费者组的消费情况: ./kafka-consumer-groups.sh --bootstrap-server --describe --group kafka-consumer-groups.

    2023年04月18日
    浏览(89)
  • JAVA实时获取kafka各个主题下分区消息的消费情况

    通过指定 主题 和 消费者组 调用方法,实时查看主题下分区消息的消费情况(消息总数量、消费消息数量、未消费的消息数量)。

    2024年02月13日
    浏览(62)
  • kafka 分布式的情况下,如何保证消息的顺序消费?

    目录 一、什么是分布式 二、kafka介绍 三、消息的顺序消费 四、如何保证消息的顺序消费   分布式是指将计算任务分散到多个计算节点上进行并行处理的一种计算模型。在分布式系统中,多台计算机通过网络互联,共同协作完成任务。每个计算节点都可以独立运行,并且可以

    2024年02月10日
    浏览(55)
  • Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法

    生产环境Kafka集群压力大,Topic读写压力大,消费的lag比较大,因此通过扩容Topic的分区,增大Topic的读写性能 理论上下游消费者应该能够自动消费到新的分区,例如flume消费到了新的分区,但是实际情况是存在flink消费者没有消费到新的分区 出现无法消费topic新的分区这种情况

    2024年02月14日
    浏览(56)
  • 全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)

    最近在学习kafka相关的知识,特将学习成功记录成文章,以供大家共同学习。 首先要注意的是, Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。 在 Kafka 中, Topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。 物理上

    2024年01月25日
    浏览(43)
  • Kafka系列之消息重新消费

    需求来源,在review前人留下的屎山代码时发现如下截图所示的代码片段: 也就是说代码是空实现的。另外,从类名定义也知道需求未实现。 于是有此需求:已经消费过的消息重新消费。 调研下来,主要有以下3种可能性方案 修改偏移量,即offset,可通过脚本快速实现 新增

    2024年02月02日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包