【kafka-ui】支持kafka with kraft的可视化集群管理工具

这篇具有很好参考价值的文章主要介绍了【kafka-ui】支持kafka with kraft的可视化集群管理工具。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文在kafka3.3.1版本基础上进行测试

前言

在早期使用kafka的时候一般使用Kafka Tool或者kafka eagle,前者为桌面软件,后者为浏览器软件。总体来说体验一般,但是还比较够用。

但是从kafka3.3.1开始,已经正式抛弃zookeeper使用自己的仲裁器了,但是上述两种kafka可视化工具的更新好像并没有跟上,依然需要输入zookeeper的地址才可以连接,所以就变得不能用了。

为了解决这个问题,我找到了一个比较轻量好用的可视化工具kafka-ui。

kafka-ui,Kafka,kafka,分布式

kafka-ui

docker快速部署

docker run -p 8080 \
    --name kafka-ui \
    -e KAFKA_CLUSTERS_0_NAME=kafka9092 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:9092 \
    -e KAFKA_CLUSTERS_1_NAME=kafka9093 \
    -e KAFKA_CLUSTERS_1_BOOTSTRAPSERVERS=localhost:9093 \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -d provectuslabs/kafka-ui:latest 

上述docker容器启动后可以管理两个kafka集群,注意写法。

添加登录页面

默认kafka-ui是免登录的,为了防止所有人都可以登录产生误操作问题,在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。用户名密码根据自己需求修改倒数两行中的admin。

-e SERVER_SERVLET_CONTEXT_PATH="/" \
-e AUTH_TYPE="LOGIN_FORM" \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD="admin" \

配置好账号密码,删除并重建容器,再输入kafka-ui的地址,会出现如下页面,登录即可。

kafka-ui,Kafka,kafka,分布式

优点

1.页面非常简洁、清爽,支持夜间模式(v0.7)

kafka-ui,Kafka,kafka,分布式

首页

kafka-ui,Kafka,kafka,分布式

topic管理:支持查看topic元信息, 增加、删除topic,清除topic信息,往topic中添加数据等。

kafka-ui,Kafka,kafka,分布式

2. docker部署,非常方便

3.功能齐全,该有的功能全都有

4.集群连接方便,不管是连接旧版本的kafka还是3.3.1及以后版本的kafka,只需要指定kafka的ip端口即可,不需要指定任何其他内容。

5.官方文档非常详细,需要查看详细说明,可以点击链接跳转。

缺点

1.不支持页面添加集群,官方也解释了,这是一个无状态的服务,所以情有可原。但是因为项目是Springboot写的,docker部署的,如果添加集群可以重建docker容器,或者修改配置文件,重启容器,具体可以查看项目github说明,因为我没有用配置文件,这里没有详细介绍。

连接带认证的kafka集群

连接带认证的kafka集群在kafka-ui的github上面也有,但是文章写的不太全面,我测试了如下两种带认证集群的连接方式。需要可以参考。

连接SASL_PLAINTEXT认证的Kafka

如果集群没有配置SASL_PLAINTEXT认证可以参考我写的这篇文章。

连接SASL_PLAINTEXT认证的kafka需要添加如下三个环境变量,KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG变量指定的用户名密码需要与实际情况一致。

docker run -p 1992:8080 \
    --name kafka-ui \
    -e KAFKA_CLUSTERS_0_NAME=kafka9092 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:9092 \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG='org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";' \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -d provectuslabs/kafka-ui:latest

连接SSL认证的kafka

连接SSL认证的kafka需要额外添加如下四个环境变量,其中KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION变量指定的配置文件需要时在配置ssl时候提前生成的,如果需要做SSL认证,和生成证书,可以参考我写的这篇文章。

另外注意KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_PASSWORD变量中指定的密码也是实际的密码。文章来源地址https://www.toymoban.com/news/detail-781144.html

docker run -p 1993:8080 \
    --name kafka-ui-pwd \
    -e KAFKA_CLUSTERS_0_NAME=kafka8082 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:8082 \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SSL \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION=/cert/client.truststore.jks \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_PASSWORD=admin \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_ENDPOINT_IDENTIFICATION_ALGORITHM='' \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -v /data/users/yulei/ssl_cert:/cert \
    -d provectuslabs/kafka-ui:latest 

到了这里,关于【kafka-ui】支持kafka with kraft的可视化集群管理工具的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka可视化工具整理(七)

    零、主流kafka可视化工具有两种 ①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用 ②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用 一、本地服务 offsetexplorer 1、去kafkatool官网下载Offset E

    2024年02月06日
    浏览(40)
  • Kafka可视化利器 KafkaTool 发送kafka消息

    kafak是我们工作中常用的消息组件,今天在跟合作方联调的时候被告知上游没有准备好消息数据,没有办法从依赖方拿到消息但是我们还又想测试自己写的消息消费的代码,怎么办呢?常规的做法就是把消息消费的代码抽离出来包装成一个公共方法,提供一个Controller直接构造

    2024年01月19日
    浏览(40)
  • docker安装kafka并配置kafka可视化界面

    创建工作目录 在你的服务器可用位置,创建一个空白目录【名称随意】(如:我创建了一个名为work_space_kafka的目录)。 添加docker-compose.yml文件 在目录内创建一个文件,文件名为 docker-compose.yml ,并输入以下内容。 使用docker-compose命令构建容器 在服务器上,进入创建的工作目录

    2024年02月08日
    浏览(48)
  • 【kafka】Kafka 可视化工具Kafka Eagle安装和使用

    Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件,可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作

    2023年04月15日
    浏览(51)
  • kafka-ui通过docker部署

    container_name:容器名 ports:端口映射 DYNAMIC_CONFIG_ENABLED: \\\"true“——启用动态配置 volumes:目录挂载(在这个目录下会保存修改后的配置文件) extra_hosts:hosts配置,要和kafka集群一致 打开页面,添加你的集群,就OK了

    2024年01月17日
    浏览(43)
  • Kafka Tool(Kafka 可视化工具)安装及使用教程

    http://www.kafkatool.com/download.html 不同版本的Kafka对应不同版本的工具,个人使用的是2.11,所以下载的是最新的2.0.8版本(Kafka0.11之后版本就需要用Kafka Tool 2) (Linux版本点击Download会直接打开,可以右键下载) Windows,直接点击下载下来的exe文件,一键安装即可。 1)启动 Kafka

    2024年02月07日
    浏览(48)
  • 数据可视化UI设计素材资源文件sketch大屏可视化数据展示

    数据是企业的上帝之眼,数据可视化就发挥了很大的作用。很多从事B端产品设计的小伙伴在日常工作中遇到数据可视化的场景比较多,也得益于PSD素材较多,所以用的设计工具大多是Photoshop,但Photoshop用于UI设计太过臃肿,图层太多容易使软件卡崩,占用内存高,新建画板数

    2024年02月11日
    浏览(47)
  • Docker安装kafka可视化管理工具 - Kafka Manager

    说明 :此处是在前面使用Docker安装kafka的基础之上,再来使用Docker安装kafka-manager 第一步:使用下述命令从Docker Hub查找镜像,此处我们要选择的是sheepkiller所构建的kafka-manager镜像 第二步:使用下述命令来启动kafka-manager容器  ZK_HOSTS :配置zookeeper服务的地址 kafka-manager服务的默

    2024年02月12日
    浏览(61)
  • Docker安装kafka可视化管理工具 - Kafka Eagle

    目前关于Docker安装Kafka Eagle没有什么特别出名的镜像,只有nickzurich/efak这个镜像可以考虑下,但这个的收欢迎程度不是很高,所以也少用一点,仅了解一下就可以。 第一步:使用下述命令拉取最新的nickzurich/efak镜像 第二步:使用下述命令启动容器 EFAK_CLUSTER_ZK_LIST :配置的是

    2024年02月07日
    浏览(55)
  • kafka及可视化工具offset explorer

    KAFKA背景         Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个

    2024年02月16日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包