上手第一关,手把手教你安装kafka与可视化工具kafka-eagle

这篇具有很好参考价值的文章主要介绍了上手第一关,手把手教你安装kafka与可视化工具kafka-eagle。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
终于又开新专栏啦(其实是填坑),相信很多同学对kafka都有一定的了解了,我们以前在RabbitMQ的选型中,也提到过两者的对比,那么今天我们就正式开始Kafka的学习吧,老规矩,先来一篇手把手安装教程,因为后续主要是用于自身学习,所以还是以windows的安装为例

📕作者简介:战斧,从事金融IT行业,有着多年一线开发、架构经验;爱好广泛,乐于分享,致力于创作更多高质量内容
📗本文收录于 kafka 专栏,有需要者,可直接订阅专栏实时获取更新
📘高质量专栏 云原生、RabbitMQ、Spring全家桶 等仍在更新,欢迎指导
📙Zookeeper Redis dubbo docker netty等诸多框架,以及架构与分布式专题即将上线,敬请期待


一、环境与下载

在进行后续步骤前需要保证环境中已经安装并配置了JDK,存在JDK后,再进行kafka的下载,

我们可以通过kafka其官网:https://kafka.apache.org/downloads 来进行下载,目前的发布版本为3.5.1,且推荐的Scala版本2.13,那我们此次就用这个版本。

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
当然,笔者也知道很多小伙伴打不开网页,所以笔者也把这份包给上传上来了(如果没被CSDN下架的话),点此下载

二、安装

解压后请务必将其放在目录较浅的位置,否则在后续执行命令时可能会提示输入行太长,如下,我们不仅将其解压后的文件直接放在E盘根目录,而且缩写了其名字。

此时我们来到它目录下的bin目录,bin目录本级存的是在linux下的运行脚本,其下还有个windows子目录
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

在该windos目录下,就是windows使用的批处理脚本了

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

我们都知道 kafka 的运行需要 Zookeeper ,但是不需要我们额外安装,其本身就包含了Zookeeper的服务


三、启动

启动Kafka有两个必要的服务:ZookeeperKafka 本身。

1. 启动ZK

在Kafka的根目录中,进入config目录。您将看到一个名为zookeeper.properties的文件。
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

使用文本编辑器打开该文件并更改dataDir的值,即ZK数据的存储位置,例如:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

在保存过后,我们回到ZK启动脚本的目录下,并在目录位置输入cmd,回车进入命令行

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

然后在命令行中输入 以下命令来启动 ZK

zookeeper-server-start.bat ../../config/zookeeper.properties

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

如果没有报错就是启动成功了。

2. 启动Kafka

在Kafka的根目录中,进入config目录,您将看到一个名为server.properties的文件。

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

使用文本编辑器打开该文件并更改以下参数的值:

broker.id:每台Kafka服务器需要一个唯一的broker.id值。
listeners:Kafka默认使用9092端口,可以更改此端口。
log.dirs:Kafka默认使用/tmp/kafka-logs作为数据存储目录,可以更改此目录,我们提前创建目录,然后设置该目录为日志目录,如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

保存并关闭文件后,回到目录E:\kafka\bin\windows,使用以下命令启动Kafka服务器

kafka-server-start.bat ../../config/server.properties

Kafka启动后,您将看到以下输出:
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

至此,说明kafka的启用就完成了。

四、可视化工具 EFAK(kafka-eagle)

同我们在前面讲解的ZK安装一样,kafka本身也没有提供可视化页面,但是市面上有很多开源的可视化工具,我们接下来就讲讲他们的安装及使用,我们选取其中的 EFAK来说, 请注意,在安装EFAK之前,你至少需要安装了JDK、kafka、mysql的环境后,再进行后续操作

1. kafka开启JMX

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,实际上,用户能够在任何Java应用程序中使用这些代理和服务实现管理。用人话说,就是对外暴露更多数据,方便某些监控之类的插件来使用

我们先要打开刚刚的kafka启动脚本 kafka-server-start.bat,如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

在脚本中找到一个会执行到的位置,设置JMX的端口,并保存如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

做完该步骤后,记得重启kafka

2. 下载及配置

我们打开它的官网:http://www.kafka-eagle.org/,如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

直接下载其最新版,或者使用笔者上传的压缩包 https://download.csdn.net/download/u011709538/88381629

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
当我们将其解压缩后,需要注意到,如果使用其默认的启动脚本,我们还需要维护两个环境变量JAVA_HOMEKE_HOME,前者不必多说,后者为EFAK的安装根目录,在本例中为

E:\efak-web-3.0.1\efak-web-3.0.1

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

配置好环境变量后,我们还需要在数据库中选一个库,或者是新建一个库,笔者这边是按推荐建立了一个名为ke的库,如下:
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

然后在system-config.properties配置文件中连接该库

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

同时别忘记,在该配置文件中还要配置kafka的JMX的地址,不然是拿不到kafka的数据的

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
最后,修改一下ZK的配置,把我们上面启动的ZK的位置给他填上去,填完注意保存后再关闭

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

最后进入EFAK的bin目录,运行其 ke.bat 文件进行启动

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

3. 启动故障及解决

在这一步笔者的电脑出现了几个问题,我们一一来说:

① 错误信息 C:\Program’ is not recognized as an internal or external command

该故障如下图:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
经查验,发现是启动脚本中存在

%JAVA_HOME%\bin\jar -xvf %KE_HOME%\kms\webapps\ke.war

这样的语句,因为笔者的JAVA_HOME设置路径,目录Program Files存在空格,导致执行命令时出现异常,
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
所以可以把JAVA_HOME的路径中的Program Files为改为PROGRA~1,即如下:
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

② tomcat 启动乱码

运行命令实际上是执行一个war包,并启动一个tomcat,并弹出一个新的命令行窗口,我们在tomcat 的窗口中看见大量的乱码,如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
这主要是其内置的日志输出中文,编码为UTF-8,而命令行的编码格式默认为GBK导致的,这个问题有很多方式解决,笔者提供三种思路:

方案一:Tomcat启动时会检查本地语言环境,因为笔者电脑是中文环境,才会输出中文日志。实际上在生产中部署于linux环境时,基本都是英文环境,所以我们可以把运行参数中的语言环境设置为英文即可。

我们打开 catalina 的脚本

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

在日志输出的设置上,指定英文输出,如下图,即加上

-Duser.language=en -Duser.region=US

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

方案二:既然其日志输出编码格式为GBK,那我们就修改tmacat输出日志的编码成GBK,该方案需修改tomcat的日志配置文件,如下:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
将其控制台输出的编码格式改为GBK

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

方案三:修改我们控制台的编码,此方案我们可以设置命令提示行的属性来完成,操作如下:

我们先打开命令行,输入 chcp 65001

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装
然后单击菜单可以看到菜单
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

点击属性可观察到它的编码格式

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

但是这样的设置仅仅是针对当前窗口的,当我们启动tomcat时,它会打开另一个命令窗口,我们可以设法让其不会打开其他窗口,而继续在本窗口输出。我们可以打开启动tomcat 的脚本

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

将其执行参数从 start 改为 run ,这样就不会再弹其他窗口了

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

③ mysql 时区值异常

如下图,在启动过程中,连接mysql时在获取时区信息时出现异常,这个其实在高版本mysql上很多人都遇到过,如下图:
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

我们只需要在mysql 时把时区设置一下就可以,以root 用户设置时区

set global time_zone='+8:00';

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

④ 表缺失

由于EFAK对数据库的控制不够精细,所以可能会出现建表故障,导致启动后没有建表成功,此时还需要手动建表,其建表脚本我已经上传,可自行点击: 建表脚本下载

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

3. 启动与登录

在解决完上述各项问题后,我们成功启动了 kafka-eagle。此时可以打开http://127.0.0.1:8048/,看到如下页面:

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

输入默认的用户名:admin 及密码 123456 即可进入管理页面

上手第一关,手把手教你安装kafka与可视化工具kafka-eagle,kafka,kafka,分布式,kafka-eagle,EFAK,kafka安装

总结

在本篇技术博文中,我们详细地教你如何安装kafka,还有它的可视化工具 kafka-eagle,中间也列举了一些异常以及它的处理方式,真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中,我们将讲解他们的使用及运行原理,希望同学们能喜欢文章来源地址https://www.toymoban.com/news/detail-713172.html

到了这里,关于上手第一关,手把手教你安装kafka与可视化工具kafka-eagle的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 记录--手把手教你Vue+ECharts+高德地图API实现天气预报数据可视化

    记录--手把手教你Vue+ECharts+高德地图API实现天气预报数据可视化

    所谓数据可视化,我们可以理解为从宏观角度来看一眼就能看出来整个数据的占比,走向。对于数据可视化,很多互联网公司是很看重这一块的,包括大厂;就比如阿里的淘宝,双十一的时候往往就需要将消费者的一些数据通过图的形式展现出来。接下来我们就来实现一个天

    2024年02月07日
    浏览(8)
  • 手把手教你安装ubantu22(详细图文)

    手把手教你安装ubantu22(详细图文)

    安装平台:VMware® Workstation 16 Pro iso镜像:ubuntu-22.04.1-desktop-amd64.iso         下载连接: Ubuntu 22.04.1 LTS (Jammy Jellyfish) https://www.releases.ubuntu.com/22.04/ 第一步:点击“创建新的虚拟机” 第二步: 选“自定义(高级)”,点“下一步”  第三步:默认就可以,点“下一步”  第

    2024年02月04日
    浏览(8)
  • 数据库:如何安装SQL,手把手教你

    数据库:如何安装SQL,手把手教你

    我们只选择两个: SQLEXPR_x64_CHS.exe SQLManagementStudio_x64_CHS.exe 如果你是32位系统就选择x86的(9102年了,应该都是64位的了吧)选中后下载到你经常保存文件的地方即可(这个地方并不是sql要安装的地方)。 全部下载后如图所示 正式安装 先安装SQL,再安装 SQL Management Studio 双击

    2024年01月16日
    浏览(56)
  • Matlab安装必看,手把手教你安装matlab

    Matlab安装必看,手把手教你安装matlab

    目录 一 ,Matlab介绍 二,安装matlab2021b Matlab是一种高级计算机语言和交互式环境,广泛用于科学、工程、金融和其他领域的数据分析、可视化和数值计算。它是由MathWorks公司开发的,最初发布于1984年,目前已经成为了工程、科学和金融领域中最流行的计算机语言之一。 Matl

    2024年02月03日
    浏览(6)
  • 手把手教你创建VS离线安装包

    没有现成的iso 以前的VS一个ISO搞定安装 但现在VS都是在线安装模式了,有些工作机 处于无法联网状态,又需要安装VS时需要离线包 其实现在VS提供了离线安装包的命令行创建方式,下面以VS2019社区版为例,VS2022也是一样操作 下载VS Community 安装exe点击这里,假设放在D盘 打开

    2024年02月05日
    浏览(8)
  • win10没有iis怎么安装_手把手教你安装

    win10没有iis怎么安装_手把手教你安装

    电脑安装上windows10后发现好像没有iis功能,IIS是一种Web(网页)服务组件,其中包括Web服务器、FTP服务器、NNTP服务器和SMTP服务器,分别用于网页浏览、文件传输、新闻服务和邮件发送等方面。如果win10没有iis功能,那可以试试下文教程来安装添加一下。 具体方法如下: 1、首

    2024年02月04日
    浏览(9)
  • 手把手教你安装python环境 Mac Windows

    手把手教你安装python环境 Mac Windows

    大家好,我是宁一。 Python安装是小白学习Python的第一道坎。 我们每个人的电脑环境不一样,一模一样的步骤,我的电脑一点问题也没有,但是你的电脑可能会出现各种各样的问题。 现在很火的编程教学大多直接省略了安装Python这一步,在他们设置好的环境中直接敲代码。

    2024年02月01日
    浏览(10)
  • 手把手教你JDK+IDEA的安装和环境配置

    手把手教你JDK+IDEA的安装和环境配置

                      目录 1.先安装JDK  1.1 查看电脑是多少位的系统 1.2 安装和电脑系统相同位的JDK  2.给JDK配置环境 2.1 配置jDK环境三步走 2.2 检查JDK环境配置好没好 3.安装IDEA 3.1 下载安装包 3.2 安装JDEA安装包 4.在IDEA上创建一个项目 因为刚重装了系统,所以JDK和IDEA都没了,所

    2024年02月02日
    浏览(12)
  • 手把手教你安装Altium designer 22 【超级详细】

    手把手教你安装Altium designer 22 【超级详细】

    百度网盘:Altium Designer 22 链接:https://pan.baidu.com/s/1h7JRgMChxAgKbzC5Jn9YXw 提取码:w3f8 官方下载链接: 官方文件仅含有安装包 Altium Designer 22中文版新功能: 1.原理图改进 原理图图纸入口和 PDF 输出的交叉选择。 为项目添加交叉引用后,您可以轻松地跟踪项目原理图之间的网络连

    2024年02月06日
    浏览(10)
  • 手把手教你安装Jupyter Notebook(保姆级教程)

    手把手教你安装Jupyter Notebook(保姆级教程)

    Jupyter Notebook 是一个基于 Web 的交互式计算环境,支持多种编程语言,包括 Python、R、Julia 等。它的主要功能是将代码、文本、数学方程式、可视化和其他相关元素组合在一起,创建一个动态文档,用于数据分析、机器学习、科学计算和数据可视化等方面。Jupyter Notebook 提供了

    2023年04月26日
    浏览(12)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包