linux部署kafka3.5.1(单机)

这篇具有很好参考价值的文章主要介绍了linux部署kafka3.5.1(单机)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载jdk17

kafka3.x版本需要jdk11以上版本才能更好的兼容,jdk11、jdk17都是LTS长期维护版本,而且jdk17支持springboot3.x,所以我选择了openjdk17。

下载地址: Archived OpenJDK GA Releaseshttps://jdk.java.net/archive/

二、上传jdk安装包解压

openjdk-17_linux-x64_bin.tar.gz 安装包上传到服务器的安装目录

执行命令解压: tar -zxvf openjdk-17_linux-x64_bin.tar.gz

三、配置jdk环境变量

由于我使用的不是root用户安装kafka的,所以我把环境变量配在~/.bashrc文件中了

vim ~/.bashrc

按 i 编辑,文件末尾追加内容如下:

export JAVA_HOME=/usr/local/jdk/jdk17

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH = .:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH = $JAVA_HOME/bin:$PATH

:wq 保存退出

source ~/.bashrc 执行环境变量脚本

验证是否生效: java -version

四、下载kafka3.5.1

官方网站太卡,建议通过国内清华大学的开源软件镜像站下载。

下载路径:清华大学开源软件镜像站 | Tsinghua Open Source Mirror清华大学开源软件镜像站,致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务,帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。https://mirrors.tuna.tsinghua.edu.cn/

五、上传kafka安装包解压

cd /home/kafka/soft

tar -zxvf kafka_2.13-3.5.1.tgz

六、配置kafka配置文件

6.1zookeeper模式

6.1.1修改kafka配置文件

vim conf/server.properties

--修改kafka的数据存储目录

log.dir=/home/kafka/soft/kafka_2.13-3.5.1/dataKafka

--内部地址

listeners=PLAINTEXT://:9092

--对外暴露地址(一般用公网地址,如果是局域网使用,也可以是内网地址)

advertised.listeners=PLAINTEXT://公网ip:9092  

6.1.2修改zookeeper配置文件

vim conf/zookeeper.properties

--修改zookeeper的数据存储目录

dataDir=/home/kafka/soft/kafka_2.13-3.5.1/dataZookeeper

6.2kraft模式

6.2.1修改kraft配置文件

路径:/home/kafka/soft/kafka_2.13-3.5.1/config/kraft/server.properties

--修改kafka的数据存储目录

log.dir=/home/kafka/soft/kafka_2.13-3.5.1/datakraft

--内部地址

listeners=PLAINTEXT://:9092

--对外暴露地址(一般用公网地址,如果是局域网使用,也可以是内网地址)

advertised.listeners=PLAINTEXT://公网ip:9092 

七、启动kafka

7.1 zookeeper模式

7.1.1启动zookeeper

./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

查看启动日志 

tail -222f logs/zookeeper.out

7.1.2启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

tail -222f logs/kafkaServer.out 或 tail -222f logs/server.log

7.2 kraft模式

7.2.1启动kafka

(1) 获取uuid:./bin/kafka-storage.sh random-uuid

(2) 将uuid写入配置文件中:

./bin/kafka-storage.sh format -t [uuid] -c ./config/kraft/server.properties

(3) 启动命令: ./bin/kafka-server-start.sh -daemon config/kraft/server.properties

(4) 查看日志:tail -222f logs/kafkaServer.out 或 tail -222f logs/server.log

八、测试主题的生产和消费

8.1创建主题测试
./bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test
./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test

8.2生产者测试
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

>[输入自己想要生成的消息]

8.3消费者测试

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --group testGroup文章来源地址https://www.toymoban.com/news/detail-655403.html

到了这里,关于linux部署kafka3.5.1(单机)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka3.6.0集群部署

    环境准备 机器环境 系统 主机名 IP地址 centos7.9 kafka01 192.168.200.51 centos7.9 kafka02 192.168.200.52 centos7.9 kafka03 192.168.200.53 所需软件 hosts设置 java环境设置 zookeeper安装部署 创建软件安装目录 解压安装 修改配置 分发软件 kafka02与kafka03软链接 kafka02与kafka03修改myid 防火墙放行端口 设置

    2024年02月04日
    浏览(37)
  • kafka3.4.0版本升级--helm部署

    最近由于kafka的漏洞需要升级至3.4.0版本,之前由于不是helm部署,升级起来出现了权限问题、挂盘问题,在k8s搞了许久都搞不定,狠下心来,直接来一波helm安装,在2月份的时候,helm官网已推出chart-21.0.1包(https://artifacthub.io/packages/helm/bitnami/kafka)。用chart-21.0.1包准备开搞。

    2024年02月16日
    浏览(38)
  • Kafka3.1部署和Topic主题数据生产与消费

    本章节主要讲述Kafka3.1X版本在Windows11主机下部署以及JAVA对Kafka应用: 1.安装JDK配置环境变量 2.Zookeeper(zookeeper-3.7.1) zk 部署后的目录位置:D:setupapache-zookeeper-3.7.1 3.安装Kafka3.1X 3.1 下载包(kafka_2.12-3.1.2.tgz) Kafka 3.2、 解压并进入Kafka目录: 根目录:D:setupkafka3.1.2 3、 编辑

    2024年02月09日
    浏览(40)
  • Linux本地部署1Panel服务器运维管理面板并实现公网访问

    1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。高效管理,通过 Web 端轻松管理 Linux 服务器,包括主机监控、文件管理、数据库管理、容器管理等 下面我们介绍在Linux 本地安装1Panel 并结合cpolar 内网穿透工具实现远程访问1Panel 管理界面 执行如下命令一键安装 1Panel: 安

    2024年02月04日
    浏览(98)
  • 华为云云耀云服务器L实例评测 | Linux系统宝塔运维部署H5游戏

    本章节内容,我们主要介绍华为云耀服务器L实例,从云服务的优势讲起,然后讲解华为云耀服务器L实例资源面板如何操作,如何使用宝塔运维服务,如何使用运维工具可视化安装nginx,最后部署一个自研的H5的小游戏(6岁的小朋友玩的很开心😁)。 前端的同学如果想把自己

    2024年02月07日
    浏览(58)
  • 单机部署Kafka和开启SASL认证

    操作系统:linux apache-zookeeper-3.8.1-bin.tar.gz kafka_2.13-3.4.0.tgz 1.上传zookeeper 与kafka到 /opt 2、解压 tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz tar -zxvf  kafka_2.13-3.4.0.tgz mv apache-zookeeper-3.8.1-bin zookeeper mv kafka_2.13-3.4.0 kafka 3、修改zookeeper配置文件并启动 修改zoo.cfg,增加以下命令 创建zk_server_j

    2024年01月22日
    浏览(42)
  • docker容器单机部署zookeeper+kafka集群

    KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 其中zookeeper会转化成zookeeper的ip kafka1: 10.21.214.66 其中10.21.214.66 填写宿主机ip

    2024年02月19日
    浏览(43)
  • Kafka单机版部署说细教程

            因为项目中要使用KAFKA,自己搭建一个单机版,作测试服务器使用,已经过测试,可以使得,分享有需要的朋友。 一、 kafka环境搭建         下载kafka单机版,可以使用源码的方式和安装包的方式安装。使用安装包的方式进行安装,只需要进行解压运行即可。

    2024年02月15日
    浏览(37)
  • docker-compose部署kafka单机和集群

    使用 docker-compose 部署 Kafka:3.5。 从 3.3 版本后,Kafka 引入了 KRaft 来替代 ZooKeeper,所以我们不必再部署 zk 了。 记得修改 KAFKA_CFG_ADVERTISED_LISTENERS 的 ip 为自己的 记得修改 KAFKA_CFG_ADVERTISED_LISTENERS 的 ip 地址为自己的 我们之后测试肯定用集群部署,就算是测试,也不用单机模式,

    2024年02月01日
    浏览(56)
  • 单机部署Kafka和开启SASL认证以及基础命令使用

    ​ 操作系统:linux kafka:kafka_2.13-3.3.2 zookeeper:apache-zookeeper-3.7.1-bin 1.下载zookeeper和kafka安装包 2.解压 3.修改zookeeper配置文件并启动 修改zoo.cfg文件,增加以下命令 创建zk_server_jaas.conf文件(开启kafka sasl认证使用),文件内容 此外,认证过程需要导入kafka的依赖类,在下载的kafka

    2024年01月18日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包