kafka3.4.0集群搭建(无zookeeper)

这篇具有很好参考价值的文章主要介绍了kafka3.4.0集群搭建(无zookeeper)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

注意:低版本需要安装zookeeper,在2.8及以上可移除zookeeper

前往官网下载

!!!不要下载src文件

kafka3.4.0集群搭建(无zookeeper)

1.解压文件

tar xzf kafka_2.13-3.4.0.tgz

kafka3.4.0集群搭建(无zookeeper)

进入文件

cd kafka_2.13-3.4.0

kafka3.4.0集群搭建(无zookeeper)

进入

cd config/kraft

kafka3.4.0集群搭建(无zookeeper)

2.修改server.properties以下属性

vim server.properties

kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)

3.我们需要在启动服务器之前创建kafka集群id。执行下列命令,并记下运行生成的uuid:

./bin/kafka-storage.sh random-uuid

kafka3.4.0集群搭建(无zookeeper)

Z_aPqvh6SPyxIIHEo9Os8A

!!!只需要一个集群ID

4.接下来我们格式化所有存储目录:

#server1

./bin/kafka-storage.sh format -t Z_aPqvh6SPyxIIHEo9Os8A -c ./config/kraft/server.properties

#server2

./bin/kafka-storage.sh format -t Z_aPqvh6SPyxIIHEo9Os8A -c ./config/kraft/server.properties

#server3

./bin/kafka-storage.sh format -t Z_aPqvh6SPyxIIHEo9Os8A -c ./config/kraft/server.properties

kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)

5.可以使用以下命令在守护程序模式下启动kafka服务器

#server1

./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

#server2

./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

#server3

./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)
kafka3.4.0集群搭建(无zookeeper)

jps查看是否启动

kafka3.4.0集群搭建(无zookeeper)

6.使用以下命令创建hello-kraft topic:

./bin/kafka-topics.sh --create --topic hello-kraft --partitions 3 --replication-factor 3 --bootstrap-server 10.136.3.201:9091

kafka3.4.0集群搭建(无zookeeper)

7.生产和消费kafka数据

使用以下命令开启一个生产者

bin/kafka-console-producer.sh --broker-list 10.136.3.201:9091 --topic hello-kraft

kafka3.4.0集群搭建(无zookeeper)

在另一个终端中,使用以下命令启动消费者,注意,监听的集群另一个节点

bin/kafka-console-consumer.sh --bootstrap-server 10.136.3.202:9092 --topic hello-kraft

测试:生产者输入 成功

kafka3.4.0集群搭建(无zookeeper)

消费者消费

kafka3.4.0集群搭建(无zookeeper)

列出所有topic查看

bin/kafka-topics.sh --list --bootstrap-server 10.136.3.201:9091文章来源地址https://www.toymoban.com/news/detail-436576.html

到了这里,关于kafka3.4.0集群搭建(无zookeeper)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CentOS7中新版本自带zookeeper搭建Kafka集群

    一、zookeeper在kafka中的具体作用     它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中,Kafka通过Zookeeper管理集群控制,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Con

    2024年02月08日
    浏览(75)
  • Kafka3.0.0版本——Broker(Zookeeper服务端存储的Kafka相关信息)

    1.1、先启动三台zookeeper集群服务,再启动三台kafka集群服务 启动三台zookeeper集群服务 启动三台kafka集群服务 1.2、使用PrettyZoo连接zookeeper客户端工具 PrettyZoo视化工具下载、安装、使用参考如下 Zookeeper可视化工具PrettyZoo的下载、安装链接:https://wwwxz.blog.csdn.net/article/details/1303

    2024年02月14日
    浏览(27)
  • Kafka3.0.0版本——集群部署(linux环境-centos7)

    三台服务器 服务器名称 服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 Zookeeper集群安装参考此博文链接:https://wwwxz.blog.csdn.net/article/details/129280956?spm=1001.2014.3001.5502 3.1、官网下载地址 官网下载地址:http://kafka.apache.org/downloads.html 3.2、下载

    2024年02月04日
    浏览(35)
  • Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群

    目录 1 Zookeeper 1.1 Zookeeper 定义 1.2 Zookeeper 工作机制 1.3 Zookeeper 特点 1.4 Zookeeper 数据结构 1.5 Zookeeper 应用场景 1.6 Zookeeper 选举机制 2 部署 Zookeeper 集群 2.1 安装前准备 2.2 安装 Zookeeper 3 Kafka 3.1 为什么需要消息队列(MQ) 3.2 使用消息队列的好处 3.3 消息队列的两种模式 3.4 Kafka 定义

    2024年02月08日
    浏览(32)
  • 大数据 Ranger2.1.0 适配 Kafka3.4.0

    根据官方说明Kafka3.0以上版本将会被替换权限认证方式,包括 类和方法 的变换,所以需要对ranger中继承 kafka 的实现中,修改相应的逻辑 Kafka3.0以上版本将会被替换权限认证方式,包括 类和方法 的变换, Github PR https://github.com/apache/kafka/pull/10450 apache-rangerpom.xml,该文件中主要

    2024年02月08日
    浏览(28)
  • kafka---- zookeeper集群搭建

    Hostname Ip Root Prac-zk-133 172.16.144.133 root Prac-zk-134 172.16.144.134 root Prac-zk-135 172.16.144.135 root 172.16.144.133 Prac-zk-133 172.16.144.134 Prac-zk-134 172.16.144.135 Prac-zk-135 zkServer.sh start-foreground 使用它启动会出现地址已在使用 Zookeeper启动失败(java.net.BindException: 地址已在使用 端口被占用了,把218

    2024年02月11日
    浏览(30)
  • jdk+zookeeper+kafka 搭建kafka集群

    环境准备 环境资源包: jdk-8u341-linux-x64.tar.gz kafka_2.12-2.2.0.tgz zookeeper-3.4.14.tar.gz server-id ip 状态 server1 10.206.120.10 leader server2 10.206.120.2 follower server3 10.206.120.3 follower 一、安装jdk 因为kafka需要Java环境,所以优先配置jdk环境,若已经配置了java环境,此步骤可以忽略 二、zookeeper集群

    2024年02月04日
    浏览(33)
  • zookeeper + kafka集群搭建详解

    2023年04月11日
    浏览(64)
  • kafka 集群 ZooKeeper 模式搭建

    Apache Kafka是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序 Kafka 官网:Apache Kafka 关于ZooKeeper的弃用 根据 Kafka官网信息,随着Apache Kafka 3.5版本的发布,Zookeeper现已被标记为已弃用。未来计划在Apache Kafka(4.0版)的下一

    2024年02月05日
    浏览(41)
  • Docker 搭建 zookeeper、kafka 集群

    首先创建一个自定义网络,后续的所有容器都放入同一个内网中,容器之间还可以通过容器名称进行直接访问,在后续的配置中只需要写明容器名称即可,会自动找到对应的IP地址,防止重启容器后IP地址发生变化时,还要去修改配置文件的操作 创建目录 启动zookeeper 进入zo

    2024年02月10日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包