Kafka可视化工具-Offset Explorer使用

这篇具有很好参考价值的文章主要介绍了Kafka可视化工具-Offset Explorer使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Kafka可视化工具-Offset Explorer使用

感谢点赞和关注 ,每天进步一点点!加油!

目录

一、概述

二、环境信息

三、安装和使用

3.1 下载Offset Explorer 和安装

3.2 软件配置

3.2.1Properties

3.2.2Properties

3.2.3Advanced

3.2.4 JAAS config

3.2.5修改配置文件

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据


一、概述


Offset Explorer(以前称为Kafka Tool)是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI,允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。

一些关键功能包括:

  1. 快速查看所有Kafka集群,包括它们的代理、主题和消费者
  2. 查看分区中的消息内容并添加新消息
  3. 查看消费者的偏移量,包括Apache Storm Kafka spout消费者
  4. 以漂亮的打印格式显示JSON、XML和Avro消息
  5. 添加和删除主题以及其他管理功能
  6. 将分区中的单个消息保存到本地硬盘驱动器
  7. 编写您自己的插件,允许您查看自定义数据格式
  8. Offset Explorer在Windows、Linux和Mac OS上运行

二、环境信息


系统环境:windows 10

Offset explorer版本:2.2

Kafka版本:Kafka2.0.0

Kafka可视化工具-Offset Explorer使用

三、安装和使用


3.1 下载Offset Explorer 和安装

下载地址:Offset Explorer

Kafka可视化工具-Offset Explorer使用

下载到本地的 .exe文件

Kafka可视化工具-Offset Explorer使用

Next

Kafka可视化工具-Offset Explorer使用

accept Next

Kafka可视化工具-Offset Explorer使用

安装路径 ,Next

Kafka可视化工具-Offset Explorer使用

Next

Kafka可视化工具-Offset Explorer使用

Finish

Kafka可视化工具-Offset Explorer使用

3.2 软件配置

3.2.1Properties

下载安装完毕,进行新增连接,启动offsetexplorer.exe,在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。

  • 集群名称:可随意填写;
  • 集群版本:需要确认,不同版本之间差异大;
  • zookeeper所在的服务器ip地址:
  • 端口;
Kafka可视化工具-Offset Explorer使用

3.2.2Properties

配置安全项,根据自己环境选择选择,我的环境是SASL_PLAINTEXT,下面选择SASL_PLAINTEXT即可。

SASL_PLAINTEXT:使用SASL框架来做认证和数据加密,使用明文传输数据

SASL_SSL:使用SASL框架来做认证和数据加密,使用SSL加密传输数据

Kafka可视化工具-Offset Explorer使用
Kafka可视化工具-Offset Explorer使用

3.2.3Advanced

Bootstrap servers:配置自己的kafka的broker地址

SASL Mechanism: 填写GSSAPI(这里表示SASL的实现,GSSAPI是一套接口,现在只有Kerberos v5实现了这个接口;这里实际就是指的是Kerberos)

Kafka可视化工具-Offset Explorer使用
Kafka可视化工具-Offset Explorer使用

3.2.4 JAAS config

如果不是使用GSSAPI可以参考官网;否则有两种方法,第一种命令行启动添加配置,第二种修改配置文件;

我们 JAAS 也可以不用配置 直接用参数 添加到 offsetexplorer.exe 启动命令后面。

com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";
Kafka可视化工具-Offset Explorer使用

update 配置后 cd 到 offsetexplorer 的安装目录,添加启动参数 krb5.conf。

offsetexplorer.exe  -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

JAAS 中没有配置可以 在启动参数中添加 JAAS.conf 路径。

offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

3.2.5修改配置文件

找到offset explorer安装目录,然后打开offsetexplorer.vmoptions文件,在末尾添加如下信息(保存关闭,以后每次启动都会生效,如果访问其他KDC集群,请修改配置然后重启):

Kafka可视化工具-Offset Explorer使用

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

Kafka可视化工具-Offset Explorer使用

3.3.2查看数据

kafka成功连接之后可以看到该kafka的Topics信息,如果是集群kafka,可以看到集群下所有节点的信息。

  • 打开某一个topic,点击Data查看数据,一开始是没有数据的;
  • 选择消费方式,是从开始消费还是从最新开始消费;
  • 选消费方式后,点击左上角的“绿色三角符号” 播放按钮才会展示数据,可设置查询的条数。

列表分别展示:消息所属的partition(分区) , offset(偏移量), message(消息数据),timestamp(数据生成时间戳),

选中具体数据后,查看下方面板

Kafka可视化工具-Offset Explorer使用

————————————————

参考链接

原文链接:Offset explorer连接Kerberos认证的Kafka_offset连接kafka_过悟的博客-CSDN博客

原文链接:Kafka消息可视化工具-Offset Explorer使用_kafka消息查看工具_水w的博客-CSDN博客

原文链接:Kafka的终极UI工具丨Offset Explorer功能简介_offsetexplorer_51component技术交流的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-419052.html


感谢点赞和关注!

到了这里,关于Kafka可视化工具-Offset Explorer使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka消息监控管理工具Offset Explorer的使用教程

    Offset Explorer是一款用于监控和管理Apache Kafka集群中消费者组偏移量的开源工具。它提供了一个简单直观的用户界面,用于查看和管理Kafka消费者组偏移量的详细信息。 Offset Explorer具有以下主要功能和特点: 实时监控:Offset Explorer可以实时监控Kafka集群中的消费者组偏移量。它

    2024年02月16日
    浏览(33)
  • 【kafka】Kafka 可视化工具Kafka Eagle安装和使用

    Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件,可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作

    2023年04月15日
    浏览(33)
  • Kafka Tool(Kafka 可视化工具)安装及使用教程

    http://www.kafkatool.com/download.html 不同版本的Kafka对应不同版本的工具,个人使用的是2.11,所以下载的是最新的2.0.8版本(Kafka0.11之后版本就需要用Kafka Tool 2) (Linux版本点击Download会直接打开,可以右键下载) Windows,直接点击下载下来的exe文件,一键安装即可。 1)启动 Kafka

    2024年02月07日
    浏览(33)
  • Kafka可视化管理工具kafka-manager部署安装和使用

    为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。 它支持管理多个集群、选择副本、副本重新

    2024年02月16日
    浏览(28)
  • Kafka 可视化工具 Kafka Tool

    使用Kafka的小伙伴,有没有为无法直观地查看 Kafka 的 Topic 里的内容而发过愁呢? 下面推荐给大家一款带有可视化页面的Kafka工具: Kafka Tool (目前最新版本是 2.0.4 ) 下载地址 http://www.kafkatool.com/download.html 下载界面 不同版本的Kafka对应不同版本的工具,个人使用的是0.11,所

    2024年02月12日
    浏览(28)
  • kafka map kafka可视化工具

    kafka-map是使用Java17和React开发的一款kafka可视化工具。 目前支持的功能有: 多集群管理 集群状态监控(分区数量、副本数量、存储大小、offset) 主题创建、删除、扩容(删除需配置delete.topic.enable = true) broker状态监控 消费者组查看、删除 重置offset 消息查询(支持String和j

    2024年03月28日
    浏览(34)
  • kafka可视化工具整理(七)

    零、主流kafka可视化工具有两种 ①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用 ②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用 一、本地服务 offsetexplorer 1、去kafkatool官网下载Offset E

    2024年02月06日
    浏览(28)
  • kafka可视化工具-kafkamap

    安装openjdk11 kafka-map 依赖openjdk11 下载链接 https://learn.microsoft.com/zh-cn/java/openjdk/download#openjdk-11 执行命令: tar -zxvf openjdk-11.0.1_linux-x64_bin.tar.gz 部署kafka-map 链接: https://pan.baidu.com/s/16-chx9WP7U9ocSMLMJMAMg?pwd=1234 提取码: 1234 在环境上解压: 执行命令:tar -xf kafka-map.tar, 修改配置文件

    2024年02月06日
    浏览(25)
  • Docker安装kafka可视化管理工具 - Kafka Manager

    说明 :此处是在前面使用Docker安装kafka的基础之上,再来使用Docker安装kafka-manager 第一步:使用下述命令从Docker Hub查找镜像,此处我们要选择的是sheepkiller所构建的kafka-manager镜像 第二步:使用下述命令来启动kafka-manager容器  ZK_HOSTS :配置zookeeper服务的地址 kafka-manager服务的默

    2024年02月12日
    浏览(36)
  • Docker安装kafka可视化管理工具 - Kafka Eagle

    目前关于Docker安装Kafka Eagle没有什么特别出名的镜像,只有nickzurich/efak这个镜像可以考虑下,但这个的收欢迎程度不是很高,所以也少用一点,仅了解一下就可以。 第一步:使用下述命令拉取最新的nickzurich/efak镜像 第二步:使用下述命令启动容器 EFAK_CLUSTER_ZK_LIST :配置的是

    2024年02月07日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包