【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)

这篇具有很好参考价值的文章主要介绍了【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

01 引言

1.1 官网地址

官网:https://kafka.apache.org/quickstart
中文官网:https://kafka.apachecn.org/1/#apache-kafka

1.2 概述简介

Apache Kafka 是一个开源分布式事件流平台,已被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序

1.3 kafka与zookeeper

Kafka和Zookeeper之间的关系可以概括为紧密的合作关系。Kafka是一个高性能、可扩展的分布式发布订阅消息系统,主要用于处理大规模的实时数据流。而Zookeeper则是一个分布式协调服务,负责管理和协调分布式系统中的各种资源。

02 部署zookeeper

2.1 下载组件包

官网:https://archive.apache.org/dist/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
网盘:https://pan.baidu.com/s/1TbgZXmK5_O8W4iZiuFicgw?pwd=yyds

2.2 解压压缩包

(1)解压到任意路径

如:E:\apache-zookeeper-3.6.4-bin

(2)解压后的目录创建数据目录data

如:E:\apache-zookeeper-3.6.4-bin\data

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

2.3 修改zoo配置

配置文件路径:E:\apache-zookeeper-3.6.4-bin\config

(1)zoo_sample.cfg文件改名为zoo.cfg

(2)修改zoo.cfg文件里面的datadir数据路径

dataDir=/tmp/zookeeper
修改为:dataDir=E:\apache-zookeeper-3.6.4-bin\data

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

2.4 设置系统变量

1.此电脑–属性–高级系统设置–环境变量–新建zookeeper环境变量

变量名:ZOOKEEPER_HOME

变量值:zk地址,如:E:\apache-zookeeper-3.6.4-bin

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

2.环境变量Path新建追加%ZOOKEEPER_HOME%\bin

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

2.5 启动zookeepe服务

(1)服务端启动

tips:使用管理员权限启动cmd命令窗口,执行zkServer启动服务

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

(2)客户端连接

tips:使用管理员权限再重新启动一个新的cmd命令窗口,执行zkCli

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

03 部署kafka

3.1 下载组件包

官网:https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
网盘:https://pan.baidu.com/s/1Av4ZwQPUaAntwVxz79Ne9w?pwd=yyds

3.2 解压安装包

(1)解压到任意目录,如:E:\kafka_2.12-3.5.1

(2)解压后创建对应的日志logs目录,如:E:\kafka_2.12-3.5.1\logs

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

3.3 修改配置

文件路径:E:\kafka_2.12-3.5.1\config\server.properties

log.dirs=/tmp/kafka-logs
改为
log.dirs=E:\kafka_2.12-3.5.1\logs


#listeners=PLAINTEXT://localhost:9092
改为
listeners=PLAINTEXT://localhost:9092

3.4 启动kafka服务端

tips:启动kafka服务端前记得先启动zookeeper服务端

E:
#进入对应的盘
cd kafka_2.12-3.5.1
#启动服务
.\bin\windows\kafka-server-start.bat .\config\server.properties

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

3.5 创建主题

E:
#进入对应的盘,记得是进入到windows盘,执行bat命令
cd kafka_2.12-3.5.1\bin\windows

#创建主题
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 5 --topic aurora_test

#查询主题
kafka-topics.bat --bootstrap-server localhost:9092 --list

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper

3.6 模拟生产者生成消息

tips:使用管理员权限新建cmd命令窗口,通过生产者生成消息

E:
#进入对应的盘,记得是进入到windows盘,执行bat命令
cd kafka_2.12-3.5.1\bin\windows

#启动生产者
kafka-console-producer.bat --broker-list localhost:9092 --topic aurora_test

#输入任意数据
aaa

3.7 启动消费者消费消息

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic aurora_test --from-beginning

windows本地kafka环境搭建,kafka专栏,windows,kafka,分布式,zookeeper文章来源地址https://www.toymoban.com/news/detail-857755.html

到了这里,关于【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 01_kafka_环境搭建安装_topic管理

    略 hostnamectl set-hostname kafka_1 /etc/sysconfig/network /etc/hosts ping kafka_1 测试 由于 集群中的 Leader 的监控 和 Topic 元数据 存储在 Zookeeper 中 ,所以需要安装 zk; https://zookeeper.apache.org/releases.html 中选择需要的版本; conf 目录 复制zoo_sample.cfg 为 zoo.cfg, 修改其中的配置 dataDir 指定自己的

    2024年02月07日
    浏览(27)
  • Kafka之安装本地windows环境

    解压kafka_2.13-3.5.0.tgz。 注意:您的本地环境必须安装Java 8+。 1 启动zookeeper服务 2. 启动Kafka broker 服务 好了,你现在有了一个基本的Kafka环境了 KAFKA是一个分布式事件流平台,可让您跨许多机器阅读,写作,存储和处理事件(也称为文档中的记录或消息)。 示例活动是付款交易

    2024年02月15日
    浏览(22)
  • Ubuntu18.04 docker kafka 本地测试环境搭建

    Kafka是一种分布式流处理平台,也是一个高吞吐量的分布式发布订阅消息系统。它由LinkedIn开发,并于2011年成为Apache软件基金会的顶级项目。 Kafka的设计目标是能够处理大规模的消息流,并提供持久性、高吞吐量和低延迟的特性。它的核心概念是发布-订阅模型,其中消息被组

    2024年02月15日
    浏览(51)
  • Window下搭建kafka运行环境

    互联网项目中经常用到MQ,由于本地项目开发连接测试环境kafka很不方便,所有在本机搭建一个kafka,方便开发测试。 提示:Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 下载Zookeeper地址:https://zookeeper.apache.org/releases.html 下载kafka地址:http://kafka

    2024年02月01日
    浏览(30)
  • Windows本地搭建PHP环境

    本文是根据Windows平台本地搭建PHP环境,超详细!(Apache+PHP+Mysql)这篇文章而写,参考这篇文章安装时遇到了一些问题。解决掉这些问题就想着记录一下吧。 Apache下载地址 下载好之后找个目录解压 php下载地址 下载好之后找个目录解压 详细安装教程 1、打开Apache解压目录下的

    2024年02月16日
    浏览(38)
  • Windows11搭建kafka-python环境

    2023年10月30日
    浏览(44)
  • 【运维知识大神篇】运维人必学的Docker教程1(Docker安装部署+Docker镜像管理+容器管理常用命令+搭建docker的本地yum源+windows系统安装docker环境)

    本篇文章开始给大家介绍Docker,这个是我非常喜欢的一个服务,介绍给大家,希望大家也能喜欢! 目录 何为容器 Docker环境安装部署 一、yum安装(CentOS7.9) 二、rpm包安装(CentOS) 三、卸载docker环境 四、安装指定的docker版本 五、Ubuntu安装docker环境 六、使用deb安装docker 七、

    2024年01月18日
    浏览(75)
  • 尚医通day01-【项目环境搭建和医院设置详细步骤】(内附源码)

    项目名称: 尚医通预约挂号统一平台 项目原型: https://www.114yygh.com 北京市预约挂号统一平台 项目技术栈: 前后端分离 后端技术:SpringBoot + SpringCloud + MyBatisPlus + MySQL + MongoDB + Redis + RabbitMQ + Docker + EasyExcel + API远程接口调用 + SDK远程接口调用 + 对称加密和非对称加密 + 数字签

    2024年02月08日
    浏览(26)
  • Stable Diffusion本地搭建windows and linux(附搭建环境)

    1.使用git工具下载项目文件到本地文件夹,命令如下: 然后进入该文件夹: 2.运行自动化脚本 运行webui.sh安装一些python环境 这个时候如果遇到root用户的报错,如下: 可以注释掉webui.sh的63-74行的内容,如下所示: #fi 如果遇到下面的报错: 可以运行下面命令 #物理机上运行:

    2024年02月08日
    浏览(29)
  • Springboot集成kafka(环境搭建+演示)|超级详细,建议收藏

    上一期,我是带着大家入门了 SpringBoot整合WebSocket ,今天我再来一期kafka的零基础教学吧。不知道大家对kafka有多少了解,反正我就是从搭建开始,然后再加一个简单演示,这就算是带着大家了个门哈,剩下的我再后边慢慢出教程给大家说。 演示环境:idea2021 + springboot 2.3.1R

    2024年02月02日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包