kafka2.x和3.x相关命令

这篇具有很好参考价值的文章主要介绍了kafka2.x和3.x相关命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

#####################
Kafka2.x命令
#####################

创建topic

kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --create --replication-factor 3 --partitions 3 --topic event_oper_input
kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --create --replication-factor 3 --partitions 3 --topic event_oper_output

查看当前所有topic

kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --list

删除topic

kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --delete --topic event_oper

创建生产者

kafka-console-producer.sh --broker-list n11hdp01:6667,n12hdp02:6667,n13hdp03:6667 --topic event_oper_input

创建消费者

kafka-console-consumer.sh --bootstrap-server n11hdp01:6667,n12hdp02:6667,n13hdp03:6667 --topic event_oper
kafka-console-consumer.sh --bootstrap-server n11hdp01:6667,n12hdp02:6667,n13hdp03:6667 --topic event_oper_output

查看topic详情

kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --describe --topic event_oper

修改分区数

kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --alter --topic event_oper --partitions 6

#####################
Kafka3.x命令
#####################

查看所有topic

./kafka-topics.sh --bootstrap-server 192.168.10.100:9092 --list

创建topic

./kafka-topics.sh --bootstrap-server 192.168.10.100:9092 --create --replication-factor 1 --partitions 1 --topic test

查看topic详情

./kafka-topics.sh --bootstrap-server 192.168.10.100:9092 --describe --topic test

修改分区数(注意:分区数只能增加,不能减少)

./kafka-topics.sh --bootstrap-server 192.168.10.100:9092 --alter --topic test --partitions 3

删除topic

./kafka-topics.sh --bootstrap-server 192.168.10.100:9092 --delete --topic test

启动生产者

./kafka-console-producer.sh --bootstrap-server 192.168.10.100:9092 --topic test

启动消费者

./kafka-console-consumer.sh --bootstrap-server 192.168.10.100:9092 --topic test

把主题中所有的数据都读取出来(包括历史数据)

./kafka-console-consumer.sh --bootstrap-server 192.168.10.100:9092 --from-beginning --topic test文章来源地址https://www.toymoban.com/news/detail-706075.html

到了这里,关于kafka2.x和3.x相关命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka2.x版本配置SSL进行加密和身份验证

    背景:找了一圈资料,都是东讲讲西讲讲,最后我还没搞好,最终决定参考官网说明。 官网指导手册地址:Apache Kafka 需要预备的知识,keytool和openssl 关于keytool的参考:keytool的使用-CSDN博客 关于openssl的参考:openssl常用命令大全_openssl命令参数大全-CSDN博客 先只看SSL安全机制

    2024年03月22日
    浏览(28)
  • Kafka环境搭建与相关启动命令

    一、Kafka环境搭建 点击下载kafka_2.11-2.3.1.tgz文件链接 1、上传kafka_2.11-2.3.1.tgz,解压kafka_2.11-2.3.1.tgz,得到kafka_2.11-2.3.1文件夹 1)上传 #使用mobaxterm将 kafka_2.11-2.3.1.tgz 传入tools文件夹 #用下面代码进入tools文件夹 #查看传入成功没 2)解压到training文件夹 2、 kafka需要安装zookeeper使用

    2024年02月10日
    浏览(25)
  • Kafka的启动、关闭及相关命令

    Kafka是一个分布式流处理平台,用于构建可扩展的、高吞吐量的实时数据流应用程序。在使用Kafka时,我们需要了解如何启动和关闭Kafka服务以及相关的命令。本文将详细介绍Kafka的启动、关闭过程,并提供相关的命令示例。 Kafka的启动 在启动Kafka之前,首先需要确保已经安装

    2024年02月03日
    浏览(30)
  • centos 7 kafka2.6单机安装及动态认证SASL SCRAM配置

    目录 1.kfaka安装篇 1.1 安装jdk 1.2安装kafka 2.安全篇 2.1 kafka安全涉及3部份: 2.2 Kafka权限控制认证方式 2.3 SASL/SCRAM-SHA-256 配置实例 2.3.1 创建用户 2.3.2 创建 JAAS 文件及配置 3.测试 3.1 创建测试用户 3.2 配置JAAS 文件 3.2.1 生产者配置 3.2.2 消费者配置 3.3 消息收发测试 依赖环境:

    2024年02月07日
    浏览(27)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(32)
  • Kafka系列——详解创建Kafka消费者及相关配置

    参考自kafka系列文章——消费者创建与配置 在读取消息之前,需要先创建一个 KafkaConsumer 对象。 创建 KafkaConsumer 对象与创建 KafkaProducer 对象非常相似——把想要传给消费者的属性放在 Properties 对象里,后面深入讨论所有属性。这里我们只需要使用 3 个必要的属性: bootstrap.

    2024年02月09日
    浏览(31)
  • 大数据之Kafka————java来实现kafka相关操作

    一、在java中配置pom 二、生产者方法 (1)、Producer Java中写在生产者输入内容在kafka中可以让消费者提取 [root@kb144 config]# kafka-console-consumer.sh --bootstrap-server 192.168.153.144:9092 --topic kb22 (2)、Producer进行多线程操作   生产者多线程是一种常见的技术实践,可以提高消息生产的并发性

    2024年02月11日
    浏览(25)
  • Kafka相关知识

    Broker:kafka集群中的实例 Topic:队列的主题,逻辑概念; Partition:Topic分区,物理概念,同意parttion内消息有序; Producer Consumer:生产消息的客户端 消费消息的客户端,kafka认为是服务器。 将每个Topic划分为多个分区Partition,每个分区时一组有序的消息日志,分区内每条消息都

    2024年02月03日
    浏览(14)
  • kafka相关面试点整理

    kafka的零拷贝原理 : 如果需要将磁盘中内容发送到远程服务器, 有几个过程 内核空间到用户空间会发生切换。 read buffer和 socket Buffer之间切换。 应用程序可以不需要再从内核拷贝到用户程序, 同时也不用再从用户态拷贝到内核态。 可以提高io。 kafka如何避免重复消费? k

    2024年02月16日
    浏览(16)
  • kafka 消费者相关参数

    是否自动提交,默认是true,通常为了保证消费的数据不异常,设置成false。设置false时,配合max.poll.interval.ms参数,根据自身消费者处理消息的能力,进行设值,消费消息后手动提交。 使用消费者组管理时调用poll()之间的最大延迟。这为消费者在获取更多记录之前可以空闲的

    2024年02月05日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包