零、主流kafka可视化工具有两种
①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用
②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用
一、本地服务 offsetexplorer
1、去kafkatool官网下载Offset Explorer,可以安装windows版本或者linux版本
下载安装
2、启动配置
后续就可以查看topic数据
修改文字类型如图
就可以正常看到数据了
二、Web服务 kafdrop
1、主要功能:
1、查看Kafka代理 -主题和分区分配以及控制器状态
2、查看主题 -分区数,复制状态和自定义配置
3、浏览消息 -JSON,纯文本和Avro编码
4、查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后
5、创建新主题
6、查看ACL
2、安装步骤
①安装jdk11
②安装zookeeper
③安装kafka
④kafdrop源码下载
1、源码地址:github地址:GitHub - obsidiandynamics/kafdrop: Kafka Web UIhttps://github.com/obsidiandynamics/kafdrop
git仓 https://github.com/obsidiandynamics/kafdrop.githttps://github.com/obsidiandynamics/kafdrop.git
2、IDEA中使用maven打包成jar包
3、启动jar包带着以下命令
java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092
4、启动命令
startup.sh
java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092
restart.sh
ps -ef | grep kafdrop-3.29.0.jar | grep -v grep | awk '{print $2}' | xargs kill -9
rm -rf nohup.out
nohup ./startup.sh > nohup.out &
3、启动完成后
页面访问 1.2.3.4:9000 可以看到kafka集群页面。可以创建topic,删除topic,查看数据,查看分区等操作
三、kafka常用排错命令
kafka-topics.sh --create --bootstrap-server 1.2.3.4:9092 --replication-factor 3 --partitions 3 --topic test
kafka-topics.sh --list --bootstrap-server 1.2.3.4:9092
./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092 --list 查询group列表
./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092 --describe --group test-group 查询group消费者情况
上篇文章:从零开始 kafka集群部署,拒绝挖坑,每一步都经过本人调试成功
kafka简介与集群部署安装(一)kafka简介与集群部署安装(一)_无敌小田田的博客-CSDN博客零、坐标火星,leader让研究一下kafka+websocket做一套即时通讯工具出来,需求紧急,调研了一番。一、Kafka简介1、消息队列(Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Javhttps://blog.csdn.net/qq_36602951/article/details/121175749kafka使用+集成Java(二)
kafka使用+集成Java(二)_无敌小田田的博客-CSDN博客零、kafka集成已经整合完毕,接下来要做的就是和java打通一、https://blog.csdn.net/qq_36602951/article/details/121317250kafka+websocket示例(三)
https://blog.csdn.net/qq_36602951/article/details/121325381https://blog.csdn.net/qq_36602951/article/details/121325381
完成前三步之后,后续就可以根据业务来定制不同的功能了,
接下来将扩展websocket功能
SpringBoot+websocket构造聊天室(四)
(18条消息) SpringBoot+websocket构造聊天室(四)_无敌小田田的博客-CSDN博客https://blog.csdn.net/qq_36602951/article/details/121436617第六步:kafka实现消息队列 简单应用
kafka实现应用之间消息队列实战(六)_无敌小田田的博客-CSDN博客零、聊天室计划取消,应用中有一个场景应用到了kafka消息队列,在主服务中会有用户注册的操作,后续需要给用户推送相关的消息发送短信。于是分为两个服务,第一个为用户服务负责注册用户,注册完后将用户保存到kafka队列中,第二个消息服务会从kafka队列拿用户信息,来进行后续的追踪。一、代码1、配置文件#kafka地址spring.kafka.longze.bootstrap-servers=10.20.30.40:9092#kafka组spring.kafka.longze.cust.grhttps://blog.csdn.net/qq_36602951/article/details/123151570
第七步:kafka可视化工具整理文章来源:https://www.toymoban.com/news/detail-457577.html
https://blog.csdn.net/qq_36602951/article/details/123198590https://blog.csdn.net/qq_36602951/article/details/123198590文章来源地址https://www.toymoban.com/news/detail-457577.html
到了这里,关于kafka可视化工具整理(七)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!