【可视化工具】Kafka-Offset Explorer使用-Toy模板网

这篇具有很好参考价值的文章主要介绍了【可视化工具】Kafka-Offset Explorer使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

offset explorer,大数据运维,kafka,Offset Explorer,可视化工具

感谢点赞和关注，每天进步一点点！加油！

一、概述

二、环境信息

三、安装和使用

3.1 下载Offset Explorer 和安装

3.2 软件配置

3.2.1Properties

3.2.2Properties

3.2.3Advanced

3.2.4 JAAS config

3.2.5修改配置文件

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据

一、概述

Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。

一些关键功能包括：

快速查看所有Kafka集群，包括它们的代理、主题和消费者
查看分区中的消息内容并添加新消息
查看消费者的偏移量，包括Apache Storm Kafka spout消费者
以漂亮的打印格式显示JSON、XML和Avro消息
添加和删除主题以及其他管理功能
将分区中的单个消息保存到本地硬盘驱动器
编写您自己的插件，允许您查看自定义数据格式
Offset Explorer在Windows、Linux和Mac OS上运行

二、环境信息

系统环境：windows 10

Offset explorer版本：2.2

Kafka版本：Kafka2.0.0

offset explorer,大数据运维,kafka,Offset Explorer,可视化工具

三、安装和使用

3.1 下载Offset Explorer 和安装

下载地址：Offset Explorer

下载到本地的 .exe文件

accept Next

安装路径，Next

Finish

3.2 软件配置

3.2.1Properties

下载安装完毕，进行新增连接，启动offsetexplorer.exe，在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。

集群名称：可随意填写；
集群版本：需要确认，不同版本之间差异大；
zookeeper所在的服务器ip地址：
端口；

3.2.2Properties

配置安全项,根据自己环境选择选择，我的环境是SASL_PLAINTEXT，下面选择SASL_PLAINTEXT即可。

SASL_PLAINTEXT：使用SASL框架来做认证和数据加密，使用明文传输数据

SASL_SSL：使用SASL框架来做认证和数据加密，使用SSL加密传输数据

3.2.3Advanced

Bootstrap servers：配置自己的kafka的broker地址

SASL Mechanism: 填写GSSAPI（这里表示SASL的实现，GSSAPI是一套接口，现在只有Kerberos v5实现了这个接口；这里实际就是指的是Kerberos）

3.2.4 JAAS config

如果不是使用GSSAPI可以参考官网；否则有两种方法，第一种命令行启动添加配置，第二种修改配置文件;

我们 JAAS 也可以不用配置直接用参数添加到 offsetexplorer.exe 启动命令后面。

com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";

update 配置后 cd 到 offsetexplorer 的安装目录，添加启动参数 krb5.conf。

offsetexplorer.exe  -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

JAAS 中没有配置可以在启动参数中添加 JAAS.conf 路径。

offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf