感谢点赞和关注 ,每天进步一点点!加油!
目录
一、概述
二、环境信息
三、安装和使用
3.1 下载Offset Explorer 和安装
3.2 软件配置
3.2.1Properties
3.2.2Properties
3.2.3Advanced
3.2.4 JAAS config
3.2.5修改配置文件
3.3 基本使用
3.3.1查看topic分区列表及分区leader位置信息
3.3.2查看数据
一、概述
Offset Explorer(以前称为Kafka Tool)是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI,允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。
一些关键功能包括:
- 快速查看所有Kafka集群,包括它们的代理、主题和消费者
- 查看分区中的消息内容并添加新消息
- 查看消费者的偏移量,包括Apache Storm Kafka spout消费者
- 以漂亮的打印格式显示JSON、XML和Avro消息
- 添加和删除主题以及其他管理功能
- 将分区中的单个消息保存到本地硬盘驱动器
- 编写您自己的插件,允许您查看自定义数据格式
- Offset Explorer在Windows、Linux和Mac OS上运行
二、环境信息
系统环境:windows 10
Offset explorer版本:2.2
Kafka版本:Kafka2.0.0
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-2.png)
三、安装和使用
3.1 下载Offset Explorer 和安装
下载地址:Offset Explorer
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-3.png)
下载到本地的 .exe文件
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-4.png)
Next
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-5.png)
accept Next
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-6.png)
安装路径 ,Next
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-7.png)
Next
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-8.png)
Finish
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-9.png)
3.2 软件配置
3.2.1Properties
下载安装完毕,进行新增连接,启动offsetexplorer.exe,在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。
- 集群名称:可随意填写;
- 集群版本:需要确认,不同版本之间差异大;
- zookeeper所在的服务器ip地址:
- 端口;
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-10.png)
3.2.2Properties
配置安全项,根据自己环境选择选择,我的环境是SASL_PLAINTEXT,下面选择SASL_PLAINTEXT即可。
SASL_PLAINTEXT:使用SASL框架来做认证和数据加密,使用明文传输数据
SASL_SSL:使用SASL框架来做认证和数据加密,使用SSL加密传输数据
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-11.png)
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-12.png)
3.2.3Advanced
Bootstrap servers:配置自己的kafka的broker地址
SASL Mechanism: 填写GSSAPI(这里表示SASL的实现,GSSAPI是一套接口,现在只有Kerberos v5实现了这个接口;这里实际就是指的是Kerberos)
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-13.png)
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-14.png)
3.2.4 JAAS config
如果不是使用GSSAPI可以参考官网;否则有两种方法,第一种命令行启动添加配置,第二种修改配置文件;
我们 JAAS 也可以不用配置 直接用参数 添加到 offsetexplorer.exe 启动命令后面。
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-15.png)
update 配置后 cd 到 offsetexplorer 的安装目录,添加启动参数 krb5.conf。
offsetexplorer.exe -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf
JAAS 中没有配置可以 在启动参数中添加 JAAS.conf 路径。
offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf
3.2.5修改配置文件
找到offset explorer安装目录,然后打开offsetexplorer.vmoptions文件,在末尾添加如下信息(保存关闭,以后每次启动都会生效,如果访问其他KDC集群,请修改配置然后重启):
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-16.png)
3.3 基本使用
3.3.1查看topic分区列表及分区leader位置信息
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-17.png)
3.3.2查看数据
kafka成功连接之后可以看到该kafka的Topics信息,如果是集群kafka,可以看到集群下所有节点的信息。
- 打开某一个topic,点击Data查看数据,一开始是没有数据的;
- 选择消费方式,是从开始消费还是从最新开始消费;
- 选消费方式后,点击左上角的“绿色三角符号” 播放按钮才会展示数据,可设置查询的条数。
列表分别展示:消息所属的partition(分区) , offset(偏移量), message(消息数据),timestamp(数据生成时间戳),
选中具体数据后,查看下方面板
![Kafka可视化工具-Offset Explorer使用](https://imgs.yssmx.com/Uploads/2023/04/419052-18.png)
————————————————
参考链接
原文链接:Offset explorer连接Kerberos认证的Kafka_offset连接kafka_过悟的博客-CSDN博客
原文链接:Kafka消息可视化工具-Offset Explorer使用_kafka消息查看工具_水w的博客-CSDN博客文章来源:https://www.toymoban.com/news/detail-419052.html
原文链接:Kafka的终极UI工具丨Offset Explorer功能简介_offsetexplorer_51component技术交流的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-419052.html
感谢点赞和关注!
到了这里,关于Kafka可视化工具-Offset Explorer使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!