kafka tool下载安装和使用

这篇具有很好参考价值的文章主要介绍了kafka tool下载安装和使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载安装

下载连接:https://www.kafkatool.com/download.html

kafka tool官网介绍

Kafka工具是用于管理和使用Apache Kafka集群的GUI应用程序。
它提供了一种直观的UI,可让用户快速查看Kafka集群中的对象以及集群主题中存储的消息。
它包含面向开发人员和管理员的功能。
主要功能如下:
1. 快速查看所有的Kafka集群,包括:  brokers,topics,consumers
2. 查看分区中的内容并添加新消息
3. 查看消费者的偏移量
4. 以漂亮的格式展示Json和XML消息
5. 添加删除主题,以及其它管理功能
6. 将单个消息从集群分区保存到本地
7. 编写自己的插件,可以自定义数据格式
8. Kafka工具可以在包括Windows,Linux和Mac OS等系统上运行

根据自己的操作系统选择合适的安装包,Kafka 0.10及之前版本请选择 Kafka Tool 1.0.3,下载完之后一路next即可完成安装,双击exe文件启动kafka tool

kafka tool下载安装和使用

 

二、使用

1、参数修改

安装目录下有个kafkatool.vmoptions文件,用于修改jvm参数,因为当kafka里面数据量比较大时,查询Kafka集群数据时需要更大的内存来避免频繁的垃圾回收或者内存溢出,同时,设置最大堆内存和最小堆内存相同,避免垃圾回收完成后JVM重新分配内存

kafka tool下载安装和使用

注意:这里也不要修改的过大,不然机器内存不足,会导致工具无法正常使用!

2、连接kafka

2.1、非ssl方式连接

File–> Add New Connection 或者右键Clusters–> Add New Connection创建新的连接

首先配置Properties

kafka tool下载安装和使用

 接下来配置Advanced

kafka tool下载安装和使用

 add之后,选择刚刚添加的连接,点击界面右下方的connect按钮即可连接

2.2、需要ssl方式连接

如果是需要ssl 方式连接,除了上面非ssl 两个步骤还需配置security, 选择准备好的jks文件和密码

kafka tool下载安装和使用

 在JAAS config 中配置用户和密码

kafka tool下载安装和使用

 注意advanced sasl选择 

 3、使用Kafka Tool查看Broker信息

点开我们之前获取到的连接可以查看集群broker的ID,Host和Port信息

kafka tool下载安装和使用

 4、使用Kafka Tool查看和管理Topic

查看topic整体信息

任意选择一个topic

Properties里,你能够获取到该topic的总偏移量,key和消息的类型
如下图所示:

kafka tool下载安装和使用

 通过Data查看topic的数据(会将二进制的消息转换成我们能看懂的格式),可以选择查询最早或者最新偏移量的数据,并指定每个分区显示的条数

kafka tool下载安装和使用

 在这里,我们还可以看到每条消息的详细信息,如下图:
我们可以看到,每条消息所在分区,对应偏移量,消息大小,消息的时间戳,以及消息的原始值(我这里是二进制的)

kafka tool下载安装和使用

 

查看topic具体分区信息

我们以上文中列举的topic的分区5为例
Properties包括: 分区的id,分区的leader,起始偏移量,截止偏移量,分区大小等信息

kafka tool下载安装和使用

Replicas包括每个副本集的broker信息,以及每个副本是否同步,如下图所示:

 kafka tool下载安装和使用

 Data包含如下内容查看消息,添加消息等,具体细节如下图:
和Topic下的Data有所区别,不同的地方在下图中用红线标出

kafka tool下载安装和使用

为分区增加消息 

1. 点击Data下面的 + 按钮
2. 弹出框选择Add Multiple Message
3. 设置消息配置选项(每行内容,key.message分隔符,以及是否使用16进制)
4. Data文本框按格式输入要添加消息
5. 点击add按钮添加消息
kafka tool下载安装和使用

 

添加和删除topic

点击界面左侧的Topics,在界面右侧的弹出框中包括刷新,打印,创建topic,删除topic
具体操作如下图:

kafka tool下载安装和使用

 添加topic

1. 点击Topics里的 + 按钮 2. 设置topic信息(名字,分区数,副本数) 3. 点击add按钮 4. topic创建成功

kafka tool下载安装和使用

删除topic

 1. 选中要删除的topic 2. 点击×按钮 3. 弹出来的提示框中选择是 4. topic删除

kafka tool下载安装和使用

 5、使用Kafka Tool查看和管理Consumer

界面左侧点击Consumers可以看到该集群的所有消费者组
在下面列出来的消费者组中,随便点击一个
右侧会出现包含Properties和Offsets选项的界面

Properties包含如下内容:
消费者组(组名)Id,消费者类型,偏移量存储位置
如下图:

kafka tool下载安装和使用

 

Offsets包含如下信息:

它提供了刷新,打印,编辑功能
可以获取到消费者组消费的topic信息,分区偏移量信息,获取消费端的偏移量,积压的偏移量,以及偏移量最后提交时间
具体如下图所示

kafka tool下载安装和使用

 看一下它的编辑功能:

1. 选择要编辑的消费者组 2. 点击编辑按钮 3. 选择设置偏移量方式(从起始位置消费,从截止位置消费,或者从指定的偏移量开始消费) 4. 点击update完成设置

kafka tool下载安装和使用

 看一下更新之后的效果:
可以看到: 消费端的偏移量和topic的截止消费量基本一致(不等的原因是,topic一直有数据推送)
同时,消费端的数据积压也清空了

kafka tool下载安装和使用

 在实际生产中,我们可以通过这种方式跳过我们不需要消费的数据,以提高消费端性能,减少资源占用!

参考文章链接文章来源地址https://www.toymoban.com/news/detail-450302.html

到了这里,关于kafka tool下载安装和使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • BeeWare无法连接https下载依赖包

     本人android开发新手,打算用python+beeware开发一个简单的anroid程序,结果在按照beeware教程创建测试程序时,新建的程序使用briefcase build android 一直出现报错。 表现为无法连接dl.google.com下载对应的包。 按照网上教程折腾一天,差一点从入门到放弃。现在将踩的坑记录下来,以

    2024年02月04日
    浏览(41)
  • KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用

    KAFKA (2.12-2.2.1)常用命令 #集群地址以逗号分隔如 ip1:9092, ip2:9092, ip3:9092 ./kafka-topics.sh --list --bootstrap-server ip:9092 ./kafka-topics.sh --bootstrap-server ip:9092 --create --topic demo0218 --partitions 1 --replication-factor 1 查看某个topic ./kafka-topics.sh --bootstrap-server ip:9092 --describe --topic demo0218 #修改demo0218分

    2024年02月03日
    浏览(36)
  • Spring Tool Suite 4(STS)的下载安装

    Spring Tool Suite(sts)简介 Spring Tool Suite(sts)就是一个基于Eclipse的开发环境, 用于开发Spring应用程序。它提供了一个现成的使用环境来实现, 调试, 运行, 和部署你的Spring应用程序。包括为关键的的服务器和云计算,Git, Maven, AspectJ, 和最新的Eclipse版本提供整合支持。 换句话说

    2024年02月05日
    浏览(33)
  • Mac下载安装Memory Analyzer Tool(MAT)

    下载 MAT官网下载地址:  Eclipse Memory Analyzer Open Source Project | The Eclipse Foundation 安装出现问题与解决 运行时报以下错误:   按照如下步骤修改配置:右键mat--显示包内容--修改info.lpist文件配置;   info.lpist文件中新增以下两行,复制workspace的路径配置到文件中; string - data /

    2024年02月07日
    浏览(40)
  • Kafka-manager 下载、配置、连接

    hadoop - zookeeper - kafka - kafka-manager  kafka-manager是 yahoo的一个Kafka监控管理项目。所以是国外网站,下载资源慢,而且还需要sbt编译,就更慢了。 根据查找资料过程中,找到以下两个博客有现成的软件包。 kafka manager 2.0.0.0.zip : kafka manager 2.0 工具下载 已打包完成_51CTO博客_kafk

    2024年02月07日
    浏览(41)
  • Big Data Tools插件(详细讲解安装,连接,包教包会!!!)

    🐮博主syst1m 带你 acquire knowledge! ✨博客首页——syst1m的博客💘 😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈 😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕ 🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样

    2024年02月03日
    浏览(42)
  • IDEA 中使用 Big Data Tools 连接大数据组件

    简介 Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,数字开放空间,Microsoft Azure 和 Hadoop 分布式文件系统(HDFS)来监视和处理数据的特定功能。 下面来看一下 Big Data Tools 的安装和使用,主要会配置

    2023年04月08日
    浏览(66)
  • PowerBi连接MySQL提示需安装组件才能使用,本人删去已经下载好的组件,再做一份详细教程。

    当我们用PowerBi连接Mysql时候,他突然提示我们需要安装组件。 检查自己的MySQL版本 打开cmd运行框,输入命令 mysql -uroot -p ,再输入数据库密码 输入 select version(); 我这里是8.0.16版本,记住自己的版本号 下载 mysql connector https://downloads.mysql.com/archives/c-net/ 选择自己对于的版本号下载

    2024年02月05日
    浏览(46)
  • kafka下载与安装教程

    一、下载安装zookeeper:https://downloads.apache.org/zookeeper 本次使用kafka_2.12-2.8.1.tgz内置zookeeper服务,以下zookeeper安装可以忽略!!! 解压: 修改配置文件: 修改zoo.cfg内容: 启动: 测试: 二.下载kafka安装包安装及配置kafka: kafka官网下载链接: https://kafka.apache.org/downloads.html 4.3.修改

    2024年02月02日
    浏览(47)
  • kafka下载安装部署

    Apache kafka 是一个分布式的基于push-subscribe的消息系统,它具备快速、可扩展、可持久化的特点。它现在是Apache旗下的一个开源系统,作为hadoop生态系统的一部分,被各种商业公司广泛应用。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批

    2024年02月02日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包