Kafka ui 搭建以及使用

这篇具有很好参考价值的文章主要介绍了Kafka ui 搭建以及使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Kafka ui

kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲,我们一般还是会借助其他软件,实现对 kafka 的页面管控。

kafka-ui,kafka,kafka,ui,分布式

结合这张图与实际体验,推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。

kafka-ui 搭建

其实 kafka-ui 是没有安装过程的,在 github 上已经打包成了 jar 包,当前最新版本为 0.4,下载地址如下:

https://github.com/provectus/kafka-ui/releases

我们下载最新的 jar 后,放到服务器上如图:

kafka-ui,kafka,kafka,ui,分布式

创建一个 application.yml 文件:

kafka:
  clusters:
    - name: kafka3_cluster
      bootstrapServers: 192.168.111.128:9092,192.168.111.129:9092,192.168.111.130:9092
      metrics:
        port: 9094
        type: JMX

    - name: OTHER_KAFKA_CLUSTER_NAME
      bootstrapServers: 10.10.10.10:9092
      metrics:
        port: 9094
        type: JMX

spring:
  jmx:
    enabled: true
  security:
    user:
      name: maggot
      password: maggot

auth:
  type: LOGIN_FORM #LOGIN_FORM # DISABLED

server:
  port: 10300

logging:
  level:
    root: INFO
    com.provectus: INFO
    reactor.netty.http.server.AccessLog: INFO

management:
  endpoint:
    info:
      enabled: true
    health:
      enabled: true
  endpoints:
    web:
      exposure:
        include: "info,health"

clusters

kafka 中配置相关的 kafka 集群,每一个 clusters 为一个集群,需要配置:

  • name

设置一个集群名

  • bootstrapServers

brokers 连接,针对 kraft 架构,就很方便,不用再配置 zookeeper 相关配置。

  • metrics

配置该集群的 JMX 相关配置,如果没有可省略。(在启动 kafka 时,启动命令行前面添加 JMX_PORT=9094

登陆配置

  • auth.type

使用 LOGIN_FORM 开启;或者 DISABLED 关闭认证。如果开启了,需要 spring.security.user 中配置用户名与密码。

  • spring.security.user

配置的登陆账号密码。

kafka-ui http 端口

  • server.port

kafka-ui http 端口。

todo 进行 SASL_SSL 认证配置

kafka-ui 使用

多集群切换

点击左侧进行多集群切换,绿色为集群健康,黄色为警告,红色为已经挂掉。

kafka-ui,kafka,kafka,ui,分布式

集群 Broker 统计信息

所有 broker 总数、controllers 总数、版本号。Partitions 在线数量,URP 数量,在副本数的数量和 OSR 的数量。

下面为每个 broker 的详细数据信息。

kafka-ui,kafka,kafka,ui,分布式

Topic 信息

在 Topics 中,可以看到所有的 topic,也可以进行搜索。

kafka-ui,kafka,kafka,ui,分布式

在查询到自己想看的 topic 后可以点击 topic name 进行详细的 topic 查看:

kafka-ui,kafka,kafka,ui,分布式

可以通过切换 overviewmessagesconsumerssettings 进行切换。在左边有三个点的按钮都可以操作,

  • 其中右上角的对当前 topic 操作,包含:编辑 topic 信息、 清空 topic 数据、重建 topic、删除 topic。

kafka-ui,kafka,kafka,ui,分布式

  • 针对每个 broker 也可以清空数据:

kafka-ui,kafka,kafka,ui,分布式

创建 topic

kafka-ui,kafka,kafka,ui,分布式

add custom parameter 中添加额外信息。

Consumers

kafka-ui,kafka,kafka,ui,分布式

左边也可以进行清空状态操作

kafka-ui,kafka,kafka,ui,分布式文章来源地址https://www.toymoban.com/news/detail-783322.html

到了这里,关于Kafka ui 搭建以及使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【kafka-ui】支持kafka with kraft的可视化集群管理工具

    本文在kafka3.3.1版本基础上进行测试 在早期使用kafka的时候一般使用Kafka Tool或者kafka eagle,前者为桌面软件,后者为浏览器软件。总体来说体验一般,但是还比较够用。 但是从kafka3.3.1开始,已经正式抛弃zookeeper使用自己的仲裁器了,但是上述两种kafka可视化工具的更新好像并

    2024年02月02日
    浏览(53)
  • 【分布式应用】kafka集群、Filebeat+Kafka+ELK搭建

    主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。 我们使用消息队列,通过异步处理请求,从而缓解系统的压力。消息队

    2024年02月16日
    浏览(32)
  • docker搭建Elk+Kafka+Filebeat分布式日志收集系统

    目录 一、介绍 二、集群环境 三、ES集群 四、Kibana  五、Logstash 六、Zookeeper 七、Kafka 八、Filebeat 八、Nginx (一)架构图  (二)组件介绍 1.Elasticsearch 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于

    2024年02月04日
    浏览(42)
  • 【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用

    Kafka 安装包下载地址:https://archive.apache.org/dist/kafka/ 1. Kafka 伪分布式安装 1. 上传并解压 Kafka 安装包 使用 FileZilla 或其他文件传输工具上传 Kafka 安装包: kafka_2.11-0.10.0.0.tgz 解压安装包 2. 编辑配置文件 3. 拷贝并修改配置文件 分别修改 server2.properties、server3.properties 4. 创建日志

    2024年02月14日
    浏览(40)
  • 分享8个分布式Kafka的使用场景

    Kafka 最初是为海量日志处理而构建的。它保留消息直到过期,并让消费者按照自己的节奏提取消息。与它的前辈不同,Kafka 不仅仅是一个消息队列,它还是一个适用于各种情况的开源事件流平台。 下图显示了典型的 ELK(Elastic-Logstash-Kibana)堆栈。Kafka 有效地从每个实例收集日

    2024年02月08日
    浏览(33)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(42)
  • Kafka(一)使用Docker Compose安装单机Kafka以及Kafka UI

    对于Kafka中经常用到的术语,可参考confluent的官方文档,这里不再赘述。 镜像选择Docker Hub上使用最多的bitnami Kafka,主要注意的点是环境变量和Kafka配置的映射关系 Additionally, any environment variable beginning with KAFKA_CFG_ will be mapped to its corresponding Apache Kafka key. For example, use KAFKA_CFG

    2024年02月08日
    浏览(49)
  • 分布式 - 消息队列Kafka:Kafka 消费者的消费位移

    01. Kafka 分区位移 对于Kafka中的分区而言,它的每条消息都有唯一的offset,用来表示消息在分区中对应的位置。偏移量从0开始,每个新消息的偏移量比前一个消息的偏移量大1。 每条消息在分区中的位置信息由一个叫位移(Offset)的数据来表征。分区位移总是从 0 开始,假设一

    2024年02月12日
    浏览(41)
  • 分布式消息服务kafka

    什么是消息中间件? 消息中间件是分布式系统中重要的组件,本质就是一个具有接收消息、存储消息、分发消息的队列,应用程序通过读写队列消息来通信。 例如:在淘宝购物时,订单系统处理完订单后,把订单消息发送到消息中间件中,由消息中间件将订单消息分发到下

    2024年02月01日
    浏览(37)
  • 分布式 - 消息队列Kafka:Kafka消费者的分区分配策略

    Kafka 消费者负载均衡策略? Kafka 消费者分区分配策略? 1. 环境准备 创建主题 test 有5个分区,准备 3 个消费者并进行消费,观察消费分配情况。然后再停止其中一个消费者,再次观察消费分配情况。 ① 创建主题 test,该主题有5个分区,2个副本: ② 创建3个消费者CustomConsu

    2024年02月13日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包