kafka可视化工具整理(七)

这篇具有很好参考价值的文章主要介绍了kafka可视化工具整理(七)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

零、主流kafka可视化工具有两种

①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用

②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用

一、本地服务 offsetexplorer

1、去kafkatool官网下载Offset Explorer,可以安装windows版本或者linux版本

下载安装

2、启动配置

kafka可视化工具整理(七)

kafka可视化工具整理(七)

后续就可以查看topic数据

kafka可视化工具整理(七)

 修改文字类型如图

kafka可视化工具整理(七)

 就可以正常看到数据了

二、Web服务 kafdrop

1、主要功能:

1、查看Kafka代理 -主题和分区分配以及控制器状态

2、查看主题 -分区数,复制状态和自定义配置

3、浏览消息 -JSON,纯文本和Avro编码

4、查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后

5、创建新主题

6、查看ACL

2、安装步骤

①安装jdk11

②安装zookeeper

③安装kafka

④kafdrop源码下载

1、源码地址:github地址:GitHub - obsidiandynamics/kafdrop: Kafka Web UIhttps://github.com/obsidiandynamics/kafdrop
git仓 https://github.com/obsidiandynamics/kafdrop.git​​​​​​https://github.com/obsidiandynamics/kafdrop.git

2、IDEA中使用maven打包成jar包

3、启动jar包带着以下命令

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092
4、启动命令

startup.sh

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092

restart.sh

ps -ef | grep kafdrop-3.29.0.jar | grep -v grep | awk '{print $2}' | xargs kill -9
rm -rf nohup.out
nohup ./startup.sh > nohup.out &

3、启动完成后

页面访问 1.2.3.4:9000 可以看到kafka集群页面。可以创建topic,删除topic,查看数据,查看分区等操作

kafka可视化工具整理(七)

三、kafka常用排错命令


kafka-topics.sh --create --bootstrap-server 1.2.3.4:9092 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh --list --bootstrap-server 1.2.3.4:9092

./kafka-consumer-groups.sh  --bootstrap-server 1.2.3.4:9092  --list 查询group列表
./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092   --describe --group test-group 查询group消费者情况

 上篇文章:从零开始 kafka集群部署,拒绝挖坑,每一步都经过本人调试成功

 kafka简介与集群部署安装(一)kafka简介与集群部署安装(一)_无敌小田田的博客-CSDN博客零、坐标火星,leader让研究一下kafka+websocket做一套即时通讯工具出来,需求紧急,调研了一番。一、Kafka简介1、消息队列(Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Javhttps://blog.csdn.net/qq_36602951/article/details/121175749kafka使用+集成Java(二)

kafka使用+集成Java(二)_无敌小田田的博客-CSDN博客零、kafka集成已经整合完毕,接下来要做的就是和java打通一、https://blog.csdn.net/qq_36602951/article/details/121317250kafka+websocket示例(三)

https://blog.csdn.net/qq_36602951/article/details/121325381https://blog.csdn.net/qq_36602951/article/details/121325381

完成前三步之后,后续就可以根据业务来定制不同的功能了,

接下来将扩展websocket功能

SpringBoot+websocket构造聊天室(四)

(18条消息) SpringBoot+websocket构造聊天室(四)_无敌小田田的博客-CSDN博客https://blog.csdn.net/qq_36602951/article/details/121436617第六步:kafka实现消息队列 简单应用

kafka实现应用之间消息队列实战(六)_无敌小田田的博客-CSDN博客零、聊天室计划取消,应用中有一个场景应用到了kafka消息队列,在主服务中会有用户注册的操作,后续需要给用户推送相关的消息发送短信。于是分为两个服务,第一个为用户服务负责注册用户,注册完后将用户保存到kafka队列中,第二个消息服务会从kafka队列拿用户信息,来进行后续的追踪。一、代码1、配置文件#kafka地址spring.kafka.longze.bootstrap-servers=10.20.30.40:9092#kafka组spring.kafka.longze.cust.grhttps://blog.csdn.net/qq_36602951/article/details/123151570
第七步:kafka可视化工具整理

https://blog.csdn.net/qq_36602951/article/details/123198590https://blog.csdn.net/qq_36602951/article/details/123198590文章来源地址https://www.toymoban.com/news/detail-457577.html

到了这里,关于kafka可视化工具整理(七)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka Tool(Kafka 可视化工具)安装及使用教程

    http://www.kafkatool.com/download.html 不同版本的Kafka对应不同版本的工具,个人使用的是2.11,所以下载的是最新的2.0.8版本(Kafka0.11之后版本就需要用Kafka Tool 2) (Linux版本点击Download会直接打开,可以右键下载) Windows,直接点击下载下来的exe文件,一键安装即可。 1)启动 Kafka

    2024年02月07日
    浏览(33)
  • Kafka可视化工具-Offset Explorer使用

    感谢点赞和关注 ,每天进步一点点!加油! 目录 一、概述 二、环境信息 三、安装和使用 3.1 下载Offset Explorer 和安装 3.2 软件配置 3.2.1Properties 3.2.2Properties 3.2.3Advanced 3.2.4 JAAS config 3.2.5修改配置文件 3.3 基本使用 3.3.1查看topic分区列表及分区leader位置信息 3.3.2查看数据 Offset E

    2023年04月20日
    浏览(30)
  • kafka及可视化工具offset explorer

    KAFKA背景         Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个

    2024年02月16日
    浏览(34)
  • 化工园区数字孪生可视化管控平台,赋予园区安全环保智慧发展

    化工行业作为国民经济的支柱和工业发展的引擎,对安全生产、环保节能、应急管控有着很高的要求。目前国内外化工园区面临安全和环保两大压力。为有效解决这两大难题,巨蟹数科综合运用物联网、数字孪生等新一代信息技术,建设了数字孪生园区智慧化管理平台,对安

    2024年02月06日
    浏览(41)
  • Docker安装kafka可视化管理工具 - Kafka Eagle

    目前关于Docker安装Kafka Eagle没有什么特别出名的镜像,只有nickzurich/efak这个镜像可以考虑下,但这个的收欢迎程度不是很高,所以也少用一点,仅了解一下就可以。 第一步:使用下述命令拉取最新的nickzurich/efak镜像 第二步:使用下述命令启动容器 EFAK_CLUSTER_ZK_LIST :配置的是

    2024年02月07日
    浏览(36)
  • Docker安装kafka可视化管理工具 - Kafka Manager

    说明 :此处是在前面使用Docker安装kafka的基础之上,再来使用Docker安装kafka-manager 第一步:使用下述命令从Docker Hub查找镜像,此处我们要选择的是sheepkiller所构建的kafka-manager镜像 第二步:使用下述命令来启动kafka-manager容器  ZK_HOSTS :配置zookeeper服务的地址 kafka-manager服务的默

    2024年02月12日
    浏览(38)
  • kafka可视化web管理工具-KafkaMmap

    ​ 使用过kafka的小伙伴应该都知道kafka本身是没有管理界面的,所有操作都需要手动执行命令来完成。但有些命令又多又长,如果没有做笔记,别说是新手,就连老手也不一定能记得住,每次想要使用的时候都要上网搜索一下。有些崇尚geek精神的人或许觉得命令行才是真爱,

    2024年01月24日
    浏览(30)
  • 【可视化工具】Kafka-Offset Explorer使用

    感谢点赞和关注 ,每天进步一点点!加油! 目录 一、概述 二、环境信息 三、安装和使用 3.1 下载Offset Explorer 和安装 3.2 软件配置 3.2.1Properties 3.2.2Properties 3.2.3Advanced 3.2.4 JAAS config 3.2.5修改配置文件 3.3 基本使用 3.3.1查看topic分区列表及分区leader位置信息 3.3.2查看数据 Offset E

    2024年01月16日
    浏览(26)
  • 【数仓】Kafka消息可视化工具:Offset Explorer(原名kafka Tool)

    Offset Explorer(以前称为Kafka Tool)是一个用于管理和使用Apache Kafka®集群的GUI应用程序。 它提供了一个直观的界面,允许用户快速查看Kafka集群中的对象以及集群主题中存储的消息。 它包含面向开发人员和管理员的功能。 一些主要功能包括: 快速查看所有Kafka集群,包括其代

    2024年04月09日
    浏览(33)
  • Kafka可视化管理工具kafka-manager部署安装和使用

    为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。 它支持管理多个集群、选择副本、副本重新

    2024年02月16日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包