windows/linux 安装zookeeper + Kafka (含自启动)运行教学

这篇具有很好参考价值的文章主要介绍了windows/linux 安装zookeeper + Kafka (含自启动)运行教学。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先我们来花两分钟了解一下:

什么是zookeeper?

什么是kafka?

为什么kafka依赖zookeeper和javaSDK?

Zookeeper 和 Kafka 都是 Apache 软件基金会中的开源软件。

Zookeeper 是一个分布式协调服务,它提供了一个基于树形结构的命名空间来协调分布式系统的各个部分。Zookeeper 能够跟踪各个分布式系统组件的状态,并在这些组件之间协调消息传递,从而帮助开发者构建高可用性、可伸缩性的分布式系统。

Kafka 是一个分布式流处理平台,它具有高吞吐量、低延迟的特点。Kafka 通过发布-订阅模式来处理消息,同时提供了流式处理和批处理的支持。Kafka 可以用于处理各种类型的数据,包括日志、指标、事件、事务等。

Kafka 依赖于 Zookeeper 来存储集群的元数据和状态信息,包括 Kafka 的主题、分区、副本等。Kafka 还使用 Zookeeper 来选举控制器和领导者,并协调各个 Kafka 节点之间的同步和复制操作。因此,Kafka 不能单独运行,必须与 Zookeeper 一起使用。

此外,Kafka 还依赖于 Java SDK 来提供对 Java 程序的支持。Kafka 是用 Java 语言编写的,因此需要 Java 运行时环境来运行。Kafka 的客户端 API 也是用 Java 语言编写的,因此需要 Java SDK 来进行开发和编译。

接下来让我一起大展身手=======》

请耐心看完再操作,感谢浏览,一键三连下次再见~

目录

什么是zookeeper?

什么是kafka?

为什么kafka依赖zookeeper和javaSDK?

下载 JAVA JDK(Windows)

下载 JAVA JDK(Linux)

下载 Kafka 及控制台包

下载 ZooKeeper (Windows与Linux)

配置 ZooKeeper(Windows)

配置 ZooKeeper(Linux)

启动 ZooKeeper(Windows)

启动 ZooKeeper(Linux)

设置开机启动 ZooKeeper(Linux)

配置 Kafka(Windows)

配置 Kafka(Linux)

启动 Kafka(Windows)

启动 配置 Kafka(Windows)

调试Kafka 生产者与消费者消息互通机制(Windows)

启动 Kafka(Linux)

设置开机启动Kafka(Linux)


下载 JAVA JDK(Windows)

在开始之前,需要下载并安装 ,下载地址 Ja、va Downloads | Oracle。

安装地址选择时请记录安装地址哦!!!!!

在“环境变量”设置中,找到“系统变量”中的“新建”按钮,然后输入以下内容:

  • 变量名:JAVA_HOME
  • 变量值:Java 安装目录的路径

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

下载 JAVA JDK(Linux)

在开始之前,需要下载并安装 ,下载地址 Ja、va Downloads | Oracle。

选择Linux版本下载,我这里下载了

apache-zookeeper-3.7.1-bin.tar.gz

通过winscp或其他软件放在你的linux上

我这里的示例目录放在/opt/tempFile文件夹下

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

  1. 然后解压安装包,可以使用以下命令:

    tar -zxvf jdk-*.tar.gz 

    解压后会在当前目录下生成一个名为 jdk-* 的目录。*代表的是你下载的JDK版本哦请自行替换!!

  2. 将解压后的目录移动到合适的位置,比如 /opt 目录下:

    sudo mv jdk-* /opt
  3. 设置环境变量。可以编辑 /etc/profile 文件,在文件末尾添加以下内容:

    export JAVA_HOME=/opt/jdk-* export PATH=$PATH:$JAVA_HOME/bin 

    其中,* 表示 JDK 版本号,具体替换为解压后的目录名。

  4. 使环境变量生效,执行以下命令:

    ource /etc/profile 
  5. 验证 Java 是否安装成功,执行以下命令:

    java -version 

    如果成功安装,将会输出 JDK 的版本号信息。

至此,Java 的安装和环境变量的配置就完成了。

下载 Kafka 及控制台包

在开始之前,需要下载并安装 Apache Kafka。你可以从官方网站下载 Kafka:Apache Kafka

 这一步不解压与安装,后续会详细说明,!!!!别急哦~~

下载 ZooKeeper (Windows与Linux)

可以从 ZooKeeper 的官方网站(https://zookeeper.apache.org/)下载最新版本的 ZooKeeper

我这里下载的是: apache-zookeeper-3.7.1-bin.tar.gz

配置 ZooKeeper(Windows)

在 ZooKeeper 的解压缩目录中,找到 conf 文件夹,该文件夹包含了 ZooKeeper 的配置文件。以下是一些需要注意的配置选项:

  • dataDir:指定 ZooKeeper 存储数据的目录,默认为 /tmp/zookeeper

在 ZooKeeper 中,dataDir 是指数据存储目录,用于存储 ZooKeeper 的数据快照和事务日志。它可以是相对路径或绝对路径,具体取决于在配置文件中指定的路径格式。

如果使用相对路径,则相对路径是相对于 ZooKeeper 的安装目录。例如,如果安装目录为 C:\zookeeper,并且 dataDir 被设置为 data,则数据存储目录将位于 C:\zookeeper\data

如果使用绝对路径,则直接指定完整路径即可。例如,如果 dataDir 被设置为 C:\zookeeper\data,则数据存储目录将位于 C:\zookeeper\data

  • clientPort:指定客户端连接到 ZooKeeper 服务器的端口号,默认为 2181。
  • tickTime:指定 ZooKeeper 服务器之间的心跳间隔时间(以毫秒为单位),默认为 2000。

可以根据需要修改这些选项的值,以便更好地满足实际需求。修改完成后,将 conf 文件夹复制到一个安全的位置(例如 /etc/zookeeperC:\zookeeper\conf)。

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

PS:请注意此处官网下载的包只有zoo_sample.cfg (示例文件),zoo.cfg需要自行复制后zoo_sample.cfg文件后更名配置使用

配置 ZooKeeper(Linux)

在 ZooKeeper 的解压缩目录中,找到 conf 文件夹,该文件夹包含了 ZooKeeper 的配置文件。以下是一些需要注意的配置选项:

  • dataDir:指定 ZooKeeper 存储数据的目录,默认为 /tmp/zookeeper

在 ZooKeeper 中,dataDir 是指数据存储目录,用于存储 ZooKeeper 的数据快照和事务日志。它可以是相对路径或绝对路径,具体取决于在配置文件中指定的路径格式。

如果使用相对路径,则相对路径是相对于 ZooKeeper 的安装目录。例如,如果安装目录为 C:\zookeeper,并且 dataDir 被设置为 data,则数据存储目录将位于 C:\zookeeper\data

如果使用绝对路径,则直接指定完整路径即可。例如,如果 dataDir 被设置为 C:\zookeeper\data,则数据存储目录将位于 C:\zookeeper\data

  • clientPort:指定客户端连接到 ZooKeeper 服务器的端口号,默认为 2181。
  • tickTime:指定 ZooKeeper 服务器之间的心跳间隔时间(以毫秒为单位),默认为 2000。

可以根据需要修改这些选项的值,以便更好地满足实际需求。修改完成后,将 conf 文件夹复制到一个安全的位置(例如 /opt/zookeeper/data/如不存在文件,直接创建后指向即可)。

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

ZooKeeper 的配置文件为 conf/zoo.cfg,需要进行以下修改:

tickTime=2000 
dataDir=/opt/zookeeper/data
clientPort=2181

创建 ZooKeeper 数据目录

在上一步中,我们将 dataDir 设置为 /var/lib/zookeeper,需要手动创建该目录:

$ sudo mkdir -p /var/lib/zookeeper

 PS:请注意此处官网下载的包只有zoo_sample.cfg (示例文件),zoo.cfg需要自行复制后zoo_sample.cfg文件后更名配置使用

启动 ZooKeeper(Windows)

在 Windows 系统上,可以使用命令行启动 ZooKeeper

当前安装目录:C:\apache-zookeeper-3.7.1-bin

  • 在 Windows 系统上,打开命令提示符,并进入 ZooKeeper 的解压缩目录,然后执行以下命令:
#切换目录至C:\apache-zookeeper-3.7.1-bin\bin文件夹下
cd /d  C:\apache-zookeeper-3.7.1-bin\bin>

#运行该服务
zkServer.cmd

 正常情况下没有ERROR警告释出,基本Zookeeper已经启动完成了,我这边的图示

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

启动 ZooKeeper(Linux)

  1. 启动 ZooKeeper

    启动 ZooKeeper 需要执行以下命令:

    $ cd apache-zookeeper-3.7.1-bin $ bin/zkServer.sh start 

    如果看到以下输出,则代表 ZooKeeper 启动成功:

     

设置开机启动 ZooKeeper(Linux)

        待更新

配置 Kafka(Windows)

开始使用 Kafka ,将其解压到自己选择的目录下

示例当前目录C:\Kafka

我们需要对其创建环境变量(windows怎么新增修改环境变量,请自行百度)

系统变量中,选择Path变量,新建当前解压目录下的bin文件夹

启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

 保存退出

检查自己kafka bin文件夹下是否多了windows文件夹,没有的话就是你的环境变量配置有误哦

配置 Kafka(Linux)

待更新文章来源地址https://www.toymoban.com/news/detail-712476.html

启动 Kafka(Windows)

在 Windows 系统上,打开命令提示符,并进入 kafka的解压缩目录,然后执行以下命令:

#切换至kafka根目录
cd /d  C:\Kafka

#运行kafkaf服务
.\bin\windows\kafka-server-start.bat .\config\server.properties

 正常情况下没有ERROR警告释出,基本kafka已经启动完成了,我这边的图示启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux

启动 配置 Kafka(Windows)

待更新

调试Kafka 生产者与消费者消息互通机制(Windows)

  1. 打开一个新的命令行窗口。

  2. 进入 Kafka 的安装目录,然后进入 bin 目录。

  3. 运行以下命令来启动 Kafka 的控制台生产者:

  4. 执行cd C:/Kafka/bin/windows
    
  5. 执行 afka-console-producer.bat --broker-list localhost:9092 --topic test

    这将启动一个控制台生产者,它将向名为 test 的主题发送消息。请注意,这里使用的是本地 Kafka 服务器的默认地址和端口,如果你的 Kafka 服务器位于不同的主机或使用了不同的端口,请相应地修改命令中的参数。

  6. 等待几秒钟,直到控制台显示类似于以下内容的提示符启动kafka自带的zookeeper,笔记,kafka,windows,java,zookeeper,linux (啥也没有就对了)

  7. 这表明控制台生产者已经准备好了,可以开始向 Kafka 发送消息了。

  8. 在控制台中输入一些文本,然后按回车键发送消息。例如:

    Hello ,this is u first Kafka! 

    这将向 test 主题发送一条消息,其内容为Hello ,this is u first Kafka!

  9. 打开另一个命令行窗口,进入 Kafka 的 bin 目录,然后运行以下命令来启动控制台消费者:

    kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning 

    这将启动一个控制台消费者,它将从 test 主题订阅消息,并显示在控制台中。请注意,--from-beginning 参数表示从主题的开头开始消费消息,以便能够查看在启动消费者之前发送的消息。

  10. 在控制台消费者窗口中,你应该能够看到之前发送的消息:

    这表明 Kafka 已经成功启动,并且可以通过控制台生产者和消费者来发送和接收消息

启动 Kafka(Linux)

待更新

设置开机启动Kafka(Linux)

待更新

到了这里,关于windows/linux 安装zookeeper + Kafka (含自启动)运行教学的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • window版安装kafka并提供启动快捷脚本

    kafka下载地址: 链接:https://pan.baidu.com/s/1DpcGXvpTYAcG_fvS-p9-3g?pwd=1234  提取码:1234 官网:https://kafka.apache.org/downloads 注意不需要单独安装zk,里面包括zk Kafka解压包目录不要太深了,太深会提示下面信息 输入行太长。 命令语法不正确。   黑窗口 执行下面命令    出现下图表示

    2024年02月10日
    浏览(31)
  • Kafka(Windows)安装配置启动(常见错误扫雷)教程

    访问Kafka: https://kafka.apache.org/downloads 选择相应的版本 下载到本地后,将文件解压到 D:kafka_2.11-2.4.0,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹binwindows 下放的是在Windows系统启动zookeeper和kafka的可执行文件,子文件夹config下放的是zookeeper和kafka的配置文件。

    2024年02月09日
    浏览(34)
  • Zookeeper篇——搭建Zookeeper服务器,docker搭建并启动Zookeeper服务,一篇文章手把手教学!

    ZooKeeper是一个分布式服务框架,基于Paxos算法实现,提供高可用的数据管理和应用程序协调服务。它的目标是提供一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。 ZooKeeper曾是Hadoop的正式子项目,后发展成为Apache顶级项目,与Hadoop密切相关但却没有任

    2024年04月28日
    浏览(51)
  • 启动zookeeper和kafka时 kafka无法启动或者闪退

    目录 一.问题: kafka无法启动或者kafka启动以后 kafka进程自动挂掉 二.解决办法: 1.关闭kafka和zookeeper(先关kafka再关zookeeper) 2.删除kafa和zookeeper的日志  3.再启动zookeeper和kafka就正常了 4.为了避免下次出现这个问题,在解决时,还要继续重复一遍如此繁琐的操作,建议写一个删除日志的脚

    2023年04月16日
    浏览(39)
  • 启动zookeeper和kafka时kafka报错或闪退一直无法启动

    最近启动项目时偶尔会遇到启动zookeeper后Kafka无法启动的问题;在此记录一下解决办法。 步骤: 1. 关闭zookeeper和Kafka运行窗口 2. 删除zookeeper和Kafka日志 注:查看Kafka的日志保存位置,找到工具中文件config-server.properties log.dirs=/tmp/kafka-logs , 这是kafka工具日志的默认位置 我的ka

    2024年02月11日
    浏览(41)
  • Zookeeper保姆级安装教学

    上传压缩包到/usr/local/soft tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 解压 mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7 改名字 在三台主机中配置环境变量 3.修改配置文件zookeeper中conf目录下的zoo_sample.cfg为zoo.cfg 4.修改三个zookeeper节点中的zoo.cfg文件,修改dataDir 在最后添加 server.0=master:2888:3888 se

    2024年03月12日
    浏览(29)
  • Windows11安装运行Linux

    学习Linux,为了省钱不想买一台云服务器,或者不想装VMware虚拟机,win11可以通过这种方式安装Linux(Ubuntu) 一、开启Windows功能 1.在window11的搜索框内,搜索\\\"Windows功能\\\",出现了“启用或关闭Windows功能”,点击打开。 2.勾选\\\"适用于Linux的Windows子系统\\\",“虚拟机平台”,“Wi

    2024年02月05日
    浏览(59)
  • window Zookeeper 启动;

    本文对window Zookeeper zk 启动 进行介绍; ZooKeeper 是一个开源的分布式协调服务,它提供了一个简单的接口和可靠的协调机制,可以帮助分布式系统实现高可用性和一致性。ZooKeeper 主要用于管理分布式系统中的元数据、配置信息、命名服务、分布式锁等,以协调和同步分布式系

    2024年04月09日
    浏览(48)
  • Windows11安装运行Linux(Ubuntu)应用

    输入 windows 打开界面 选择 虚拟机监控程序平台 、 适用于linux的子系统 、 虚拟机平台 在 Windows 系统中,\\\"虚拟机平台\\\"和\\\"虚拟机监控程序平台\\\"是两个与虚拟化相关的功能,但它们各自有着不同的作用和用途。 虚拟机平台 (Virtual Machine Platform): 这个功能允许你在 Windows 操作系

    2024年04月11日
    浏览(40)
  • kafka内置zookeeper启动失败报错INFO ZooKeeper audit is disabled. (org.apache.zookeeper.audit.ZKAuditProvider)

    寻找资料发现是zookeeper设置参数问题 修改kafka安装目录下config文件中的zookeeper.properties文件 安装目录图片如下 修改如下参数 在文件中添加audit.enable=true

    2024年02月12日
    浏览(113)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包