kafka创建topic、添加配置等相关操作

这篇具有很好参考价值的文章主要介绍了kafka创建topic、添加配置等相关操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、创建topic

装有kafka的系统命令行界面执行以下命令创建名为test的topic

kafka-topics --create --zookeeper localhost:2180 --replication-factor 2 --partitions 3 --topic test

说明:

--create                      表示要对kafka执行创建的操作 

--zookeeper               指定自己的zookeeper连接地址,这里是localhost:2180

--replication-factor      指定保存数据的副本数,这里是2,可以根据自己需求指定

--partitions                  指定保存数据的分区数,这里是3,可以根据自己需求指定

--topic                         指定要创建的topic(kafka里面的表)名字

二、kafka命令行消费者

在kafka节点执行kafka-console-consumer命令行工具

kafka-console-consumer --bootstrap-server test1:9192,test2:9192,test3:9192 --topic test

说明:

--bootstrap-server       指定kafka的块地址,这里是 test1:9192,test2:9192,test3:9192 需要替换自己的kafka块连接地址。(ps:只要网络可以通信,使用该命令行消费工具也可以指定其他kafka集群的topic进行消费)

--topic                         指定需要进行消费的kafka topic

其他参数:

--from-beginning         添加该参数表示从topic的最开始位置进行消费,不指定则默认从topic的最新位置进行消费

三、kafka命令行生产者

kafka-console-producer --broker-list test1:9092,test2:9092,test3:9092 --topic test

说明:

--broker-list                 指定kafka的块地址,这里是 test1:9192,test2:9192,test3:9192 需要替换自己的kafka块连接地址。(ps:只要网络可以通信,使用该命令行生产者工具也可以指定其他kafka集群的topic进行生产数据)

--topic                         指定生产数据的kafka topic

四、删除topic

如果要删除topic和数据块,需要设置kafka的配置文件server.properites

添加delete.topic.enable=true

然后重启kafka。如果只是逻辑删除topic,并不删除数据块,则可以不配置。

kafka-topics --zookeeper localhost:2181 --topic test --delete

说明:

--delete                         表示要对kafka执行删除的操作 

--zookeeper                   指定自己的zookeeper连接地址,这里是localhost:2180

--topic                            指定要删除的topic名字

五、kafka单个topic增加配置

这里以单独把topic test的数据保存天数设置为永久为例。

kafka-configs --zookeeper localhost:2181 --alter --add-config 'retention.ms=-1' --entity-name test --entity-type topics

说明:

--zookeeper                   指定自己的zookeeper连接地址,这里是localhost:2180

--alter                             表示要进行配置修改命令

--add-config                    要添加的键值对配置。方括号可用于对包含逗号的值进行分组:'k1 = v1, k2 = [v1, v2, v3], k3 = v3'

--entity-name                 要操作实体的名称,topic名、客户端id、userID、brokerID

--entity-type                   实体配置的类型可以是topics、clients、users、brokers文章来源地址https://www.toymoban.com/news/detail-410925.html

到了这里,关于kafka创建topic、添加配置等相关操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker 安装kafka 并创建topic 进行消息通信

            Apache Kafka是一个分布式流处理平台,用于构建高性能、可扩展的实时数据流应用程序。本文将介绍如何使用Docker容器化技术来安装和配置Apache Kafka。 1、kafka安装必须先安装Zookpper 2、下载镜像 3、查看下载好的镜像 4、启动Kafka 5、查看是否创建好Kafka容器 6、进入到

    2024年03月15日
    浏览(44)
  • kafka2.x常用命令:创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费

    原创/朱季谦 接触kafka开发已经两年多,也看过关于kafka的一些书,但一直没有怎么对它做总结,借着最近正好在看《Apache Kafka实战》一书,同时自己又搭建了三台kafka服务器,正好可以做一些总结记录。 本文主要是记录如何在kafka集群服务器上创建topic,查看topic列表、分区、

    2024年02月03日
    浏览(48)
  • Docker中Kafka容器创建/更新Topic支持多分区

    自行通过docker部署好kafka,并启动相关容器。 假设Topic为http_capture。 检测Kafka运行正常后,如果Topic为http_capture的主题存在,则更新分区为5个,若不存在Topic,则新建。

    2024年04月26日
    浏览(45)
  • Kafka - Topic命令 & 命令行操作

    目录 零、前置 一、Topic命令 查看当前服务器中的所有 topic 创建 first topic 查看 first 主题的详情 修改分区数量 删除 topic 二、生产者命令行操作 发送消息 三、消费者命令行操作 消费 first 主题中的数据 Kafka集群的搭建:Kafka + Zookeeper + Hadoop 集群配置 参数 功能 --bootstrap-server

    2024年02月16日
    浏览(36)
  • Linux安装Kafka,创建topic、生产者、消费者

    1.创建安装目录/usr/local/kafka mkdir /usr/local/kafka 2.进入安装包目录 cd /usr/local/kafka  3.下载安装包 wget https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz 4.解压安装包 tar -zxvf kafka_2.12-3.3.1.tgz 5.进入cd kafka_2.12-3.3.1目录 cd kafka_2.12-3.3.1/ 6.修改zookeeper配置 cat ./config/zookeeper.properties | grep

    2023年04月17日
    浏览(50)
  • 【SpringBoot】在Springboot中怎么设置Kafka自动创建Topic

    我们在开发过程中使用Kafka会遇到topic太多,自己创建太费劲,所以想一次配置终身使用,自己去创建topic,和flyway一样自己去创建表,今天总结一下配置方式。

    2024年02月11日
    浏览(40)
  • kafka启动创建topic报错:zookeeper is not a recognized option

    当前使用版本:kafka_2.13-3.4.0 使用老版本的创建topic的命令,是用 zookeeper 来创建,但是报错如下  D:SoftwareDoumentkafka_2.13-3.4.0 .binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Exception in thread \\\"main\\\" joptsimple.UnrecognizedOptionException: zookeeper

    2024年02月07日
    浏览(39)
  • 使用kafka-clients的Java API操作Kafka集群的Topic

    记录 :464 场景 :在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka集群的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装 :https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文

    2024年02月09日
    浏览(45)
  • 使用spring-kafka的Java API操作Kafka集群的Topic

    记录 :462 场景 :在Spring Boot微服务集成spring-kafka-2.8.2操作Kafka集群的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。 Kafka集群安装 :https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件: 解析:

    2024年02月10日
    浏览(44)
  • 使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic

    记录 :460 场景 :在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka安装 :https://blog.csdn.net/zhangbeizhen18/article/details/129071395 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件: 解析

    2024年02月09日
    浏览(74)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包