Kafka - Topic命令 & 命令行操作

这篇具有很好参考价值的文章主要介绍了Kafka - Topic命令 & 命令行操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

零、前置

一、Topic命令

查看当前服务器中的所有 topic

创建 first topic

查看 first 主题的详情

修改分区数量

删除 topic

二、生产者命令行操作

发送消息

三、消费者命令行操作

消费 first 主题中的数据


零、前置

Kafka集群的搭建:Kafka + Zookeeper + Hadoop 集群配置


一、Topic命令

参数 功能
--bootstrap-server 连接的 Kafka Broker 主机名称和端口号
--topic 操作的 topic 名称
--create 创建主题
--delete 删除主题
--alter 修改主题
--list 查看所有主题
--describe 查看主题详细描述
--partitions 设置分区数
--replication-factor 设置分区副本
--config 更新系统默认的配置

查看当前服务器中的所有 topic

注意位置:

cd /opt/module/kafka
bin/kafka-topics.sh --bootstrap-server test1:9092 --list

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

因为咱们还没有创建主题,所以这里是空着的。

创建 first topic

bin/kafka-topics.sh --bootstrap-server test1:9092 --create --partitions 1 --replication-factor 3 --topic first

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

选项说明:

--topic 定义 topic 名

--replication-factor 定义副本数

--partitions 定义分区数

查看 first 主题的详情

bin/kafka-topics.sh --bootstrap-server test1:9092 --describe --topic first

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

修改分区数量

注:分区数只能增加不能减少

bin/kafka-topics.sh --bootstrap-server test1:9092 --alter --topic first --partitions 3

减少时则会报错:

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

删除 topic

bin/kafka-topics.sh --bootstrap-server test1:9092 --delete --topic first

二、生产者命令行操作

参数 描述
--bootstrap-server 连接的 Kafka Broker 主机名称和端口号
--topic 操作的 topic 名称

发送消息

bin/kafka-console-producer.sh --bootstrap-server test1:9092 --topic first

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式


三、消费者命令行操作

参数 描述
--bootstrap-server 连接的 Kafka Broker 主机名称和端口号
--topic 操作的 topic 名称
--from-beginning 从头开始消费
--group 指定消费者组名称

消费 first 主题中的数据

bin/kafka-console-consumer.sh --bootstrap-server test1:9092 --topic first

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

 可以看到这里消费不到咱们之前发的 hello world ,如果想要查看之间生产的数据需要加上 --from-beginning

bin/kafka-console-consumer.sh --bootstrap-server test1:9092 --from-beginning --topic first

kafka命令行查看topic,Zookeeper,Kafka,zookeeper,kafka,分布式

加上重新进入后即可消费到之前的数据。文章来源地址https://www.toymoban.com/news/detail-594591.html


到了这里,关于Kafka - Topic命令 & 命令行操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何查看Kafka的Topic消费情况

    进入kafka安装目录,然后执行以下命令  2.10为Scala版本,0.10.0.2.5.3.0为kafka版本  

    2024年02月10日
    浏览(38)
  • kafka topic和topic权限操作

    创建 查询 删除 增加 移除 查询

    2024年02月12日
    浏览(37)
  • 怎样查看kafka写数据送到topic是否成功

    要查看 Kafka 写数据是否成功送到主题(topic),可以通过以下几种方法来进行确认: Kafka 生产者确认机制 :Kafka 提供了生产者的确认机制,您可以在创建生产者时设置 acks 属性来控制确认级别。常见的确认级别包括 0、1 和 all。当设置为 1 或 all 时,生产者会等待主题的 le

    2024年01月18日
    浏览(36)
  • Kafka - Topic 消费状态常用命令

    replication-factor:指定副本数量 partitions:指定分区 查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数 这里同样需要根据新、旧版本的consumer,分别指

    2024年01月25日
    浏览(52)
  • 如何查看kafka的topic的消费者组有没有积压

    Kafka 自带的命令行工具 kafka-consumer-groups.sh 来查看消费者组的消费情况,包括是否有积压。 具体步骤如下: 打开命令行终端,进入 Kafka 安装目录下的 bin 文件夹。 输入以下命令,查看消费者组的消费情况: ./kafka-consumer-groups.sh --bootstrap-server --describe --group kafka-consumer-groups.

    2023年04月18日
    浏览(85)
  • Kafka - 获取 Topic 生产者发布数据命令

    从头开始获取 20 条数据(等价于时间升序) ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic your-topic --from-beginning --max-messages 20 获取最新 20 条数据(等价于时间降序)去掉 --from-beginning 即可(默认) ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic your-topic --max-me

    2024年02月14日
    浏览(37)
  • kafka创建topic、添加配置等相关操作

    装有kafka的系统命令行界面执行以下命令创建名为test的topic 说明: --create                      表示要对kafka执行创建的操作  --zookeeper               指定自己的zookeeper连接地址,这里是localhost:2180 --replication-factor      指定保存数据的副本数,这里是2,可以根据自己

    2023年04月12日
    浏览(34)
  • Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

    执行topic删除命令时,出现提示 这条命令其实并不执行删除动作,仅仅是在zookeeper上标记该topic要被删除而已,同时也提醒用户一定要提前打开delete.topic.enable开关,否则删除动作是不会执行的。 解决办法: a)在server.properties中设置delete.topic.enable参数为ture b)如下操作: 1.登

    2023年04月26日
    浏览(53)
  • kafka通过命令行删除指定topic下所有records

     1、kafka环境配置  由于在windows环境下,在kafka官网下载下来Apache Kafka需要将E:kafka_2.12-3.3.1binwindows下的路径加入到环境变量中,方便直接使用kafka工具,其他系统直接使用bin下的工具即可: 2、配置kafka指定topic的json文件,命名为delete.json,此文件放在任意位置都可: 可以查

    2024年02月14日
    浏览(38)
  • 使用kafka-clients的Java API操作Kafka集群的Topic

    记录 :464 场景 :在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka集群的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装 :https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文

    2024年02月09日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包