1. Toy模板网首页
  2. > Toy博客

5、kafka监控工具Kafka-Eagle介绍及使用

7月前 作者：一瓢一瓢的饮 alanchan 分类：Toy博客 阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了5、kafka监控工具Kafka-Eagle介绍及使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Apache Kafka系列文章

1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试
2、java调用kafka api
3、kafka重要概念介紹及示例
4、kafka分区、副本介绍及示例
5、kafka监控工具Kafka-Eagle介绍及使用

本文主要介绍了kafka监控工具Kafka-Eagle的使用。
本文依赖：kafka、zookeeper部署完成。
本分分为三个部分介绍，即Kafka-Eagle介绍、部署和验证。

一、Kafka-Eagle简介

早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着监控的功能要求、性能要求的提高，这些工具已经无法满足。

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

官网地址：https://www.kafka-eagle.org/

二、安装Kafka-Eagle

1、开启Kafka JMX端口

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口，来实现一些管理、监控功能。

  • 开启Kafka JMX
    在启动Kafka的脚本前，添加：
cd /usr/local/bigdata/kafka_2.12-3.0.0/bin

export JMX_PORT=9988; nohup kafka-server-start.sh /usr/local/bigdata/kafka_2.12-3.0.0/config/server.properties &
  • 修改一键启动脚本，增加export JMX_PORT=9988 ，具体如下：
[alanchan@server1 onekeystart]$ cat kafkaCluster.sh 


#!/bin/sh
case $1 in 
"start"){
for host in server1 server2 server3 
do
  ssh $host "source /etc/profile;export JMX_PORT=9988; nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties > /dev/null 2>&1 &"   
  echo "$host kafka is running..." 
  sleep 1.5s
done  
};;

"stop"){
for host in server1 server2 server3
do
  ssh $host "source /etc/profile; nohup ${KAFKA_HOME}/bin/kafka-server-stop.sh > /dev/null  2>&1 &"   
  echo "$host kafka is stopping..."  
  sleep 1.5s
done
};;
esac

2、安装Kafka-Eagle

1）、 安装JDK，并配置好JAVA_HOME。

2）、解压

将kafka_eagle上传，并解压到 /usr/local/bigdata 目录中

cd /usr/local/tools/
tar -xvzf kafka-eagle-bin-3.0.1.tar.gz -C /usr/local/bigdata
[alanchan@server1 tools]$ tar -xvzf kafka-eagle-bin-3.0.1.tar.gz -C /usr/local/bigdata
kafka-eagle-bin-3.0.1/
kafka-eagle-bin-3.0.1/efak-web-3.0.1-bin.tar.gz

cd /usr/local/bigdata/kafka-eagle-bin-3.0.1
tar -xvzf efak-web-3.0.1-bin.tar.gz

[alanchan@server1 kafka-eagle-bin-3.0.1]$ ll
总用量 87844
drwxr-xr-x 8 alanchan root     4096 1月  16 07:50 efak-web-3.0.1
-rw-r--r-- 1 alanchan root 89947836 9月   6 04:45 efak-web-3.0.1-bin.tar.gz

[alanchan@server1 kafka-eagle-bin-3.0.1]$ cd efak-web-3.0.1
[alanchan@server1 efak-web-3.0.1]$ ll
总用量 24
drwxr-xr-x 2 alanchan root 4096 1月  16 07:50 bin
drwxr-xr-x 2 alanchan root 4096 1月  16 07:50 conf
drwxr-xr-x 2 alanchan root 4096 9月  12 2021 db
drwxr-xr-x 2 alanchan root 4096 1月  16 07:50 font
drwxr-xr-x 9 alanchan root 4096 2月  23 2022 kms
drwxr-xr-x 2 alanchan root 4096 4月   1 2022 logs

3）、配置 kafka_eagle 环境变量。

vim /etc/profile

export KE_HOME=/usr/local/bigdata/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

 source /etc/profile

4）、 配置 kafka_eagle

使用vi打开conf目录下的system-config.properties
vim conf/system-config.properties

# 修改第4行，配置kafka集群别名
kafka.eagle.zk.cluster.alias=cluster1
# 修改第5行，配置ZK集群地址
efak.zk.cluster.alias=cluster1
cluster1.zk.list=server1:2118,server2:2118,server3:2118
# 注释第6行
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

# 开启mys
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.10.44:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=888888

完整配置文件

######################################
# multi zookeeper & kafka cluster list
# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=server1:2118,server2:2118,server3:2118
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.efak.broker.size=20

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=16

######################################
# EFAK webui port
######################################
efak.webui.port=8048

######################################
# EFAK enable distributed
######################################
efak.distributed.enable=false
efak.cluster.mode.status=master
efak.worknode.master.host=localhost
efak.worknode.port=8085

######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

######################################
# kafka offset storage
######################################
cluster1.efak.offset.storage=kafka
cluster2.efak.offset.storage=zk

######################################
# kafka jmx uri
######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

######################################
# kafka metrics, 15 days by default
######################################
efak.metrics.charts=true
efak.metrics.retain=15

######################################
# kafka sql topic records max
######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10

######################################
# delete kafka topic token
######################################
efak.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
cluster2.efak.sasl.enable=false
cluster2.efak.sasl.protocol=SASL_PLAINTEXT
cluster2.efak.sasl.mechanism=PLAIN
cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.efak.sasl.client.id=
cluster2.efak.blacklist.topics=
cluster2.efak.sasl.cgroup.enable=false
cluster2.efak.sasl.cgroup.topics=

######################################
# kafka ssl authenticate
######################################
cluster3.efak.ssl.enable=false
cluster3.efak.ssl.protocol=SSL
cluster3.efak.ssl.truststore.location=
cluster3.efak.ssl.truststore.password=
cluster3.efak.ssl.keystore.location=
cluster3.efak.ssl.keystore.password=
cluster3.efak.ssl.key.password=
cluster3.efak.ssl.endpoint.identification.algorithm=https
cluster3.efak.blacklist.topics=
cluster3.efak.ssl.cgroup.enable=false
cluster3.efak.ssl.cgroup.topics=

######################################
# kafka sqlite jdbc driver address
######################################
#efak.driver=org.sqlite.JDBC
#efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#efak.username=root
#efak.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.10.44:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=888888

5）、启动

[alanchan@server1 bin]$ ke.sh
Usage: ./ke.sh {start|stop|restart|status|stats|find|gc|jdk|version|sdate|cluster}


ke.sh start
[2023-01-16 08:05:35] INFO: Port Progress: [##################################################] | 100%
[2023-01-16 08:05:38] INFO: Config Progress: [##################################################] | 100%
[2023-01-16 08:05:41] INFO: Startup Progress: [##################################################] | 100%
[2023-01-16 08:05:31] INFO: Status Code[0]
[2023-01-16 08:05:31] INFO: [Job done!]
Welcome to
    ______    ______    ___     __ __
   / ____/   / ____/   /   |   / //_/
  / __/     / /_      / /| |  / ,<   
 / /___    / __/     / ___ | / /| |  
/_____/   /_/       /_/  |_|/_/ |_|  
( Eagle For Apache Kafka® )

Version v3.0.1 -- Copyright 2016-2022
*******************************************************************
* EFAK Service has started success.
* Welcome, Now you can visit 'http://192.168.10.41:8048'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************
自己创建的用户alanchan，密码123456

三、验证

浏览器中输入地址：http://192.168.10.41:8048
5、kafka监控工具Kafka-Eagle介绍及使用
5、kafka监控工具Kafka-Eagle介绍及使用
5、kafka监控工具Kafka-Eagle介绍及使用
5、kafka监控工具Kafka-Eagle介绍及使用
以上，完成了kafka监控工具Kafka-Eagle介绍及使用。文章来源地址https://www.toymoban.com/news/detail-483952.html

到了这里，关于5、kafka监控工具Kafka-Eagle介绍及使用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 03_kafka-eagle 监控

    03_kafka-eagle 监控

    kafka-eagle 监控 download.kafka-eagle.org ： https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz https://docs.kafka-eagle.org/2.installation/2.installonlinuxmac 需要配置 KE_HOME=/opt/app/kafka-eagle/efak-web-3.0.1 环境变量， /etc/profile 或者 .bashrc，添加到path， export KE_HOME conf/system-config/properties 3个节点都需要

    2024年02月09日
    浏览(26)
  • 上手第一关，手把手教你安装kafka与可视化工具kafka-eagle

    上手第一关，手把手教你安装kafka与可视化工具kafka-eagle

    终于又开新专栏啦（其实是填坑），相信很多同学对kafka都有一定的了解了，我们以前在RabbitMQ的选型中，也提到过两者的对比，那么今天我们就正式开始Kafka的学习吧，老规矩，先来一篇手把手安装教程，因为后续主要是用于自身学习，所以还是以windows的安装为例 📕作者简

    2024年02月08日
    浏览(33)
  • Kafka入门，mysql5.7 Kafka-Eagle部署（二十五）

    Kafka入门，mysql5.7 Kafka-Eagle部署（二十五）

    https://www.kafka-eagle.org/ 这里使用的是2.0.8 创建名为ke数据库,新版本会自动创建，不会创建的话，自己手动创建，不然会报查不到相关表信息错误 记得source 多余的配置去掉 如果发现启动失败，可能是mysql版本不同，导致连不上数据库，可以看下日志报错，以下配置是5.7版本的

    2024年02月16日
    浏览(32)
  • （二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

    （二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

    本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分

    2024年02月09日
    浏览(31)

  • 配置kafka监控工具Eagle(现在叫efak)

    1.先安装mysql，这一步就省略了 2.配置kafka的堆内存，至少2g 重启kafka 3.安装kafka的eagle EFAK下载 修改配置文件efak/conf/system-config.properties 将下边的配置修改 4.添加环境变量       5.启动即可

    2024年02月09日
    浏览(27)
  • Kafka-Eagle安装及连接成功web端登陆不了问题解决

    Kafka-Eagle安装及连接成功web端登陆不了问题解决

    kafka自身并没有集成监控管理系统，因此对kafka的监控管理比较不便，好在有大量的第三方监控管理系统来使用，常见的有： Kafka Eagle KafkaOffsetMonitor Kafka Manager（雅虎开源的Kafka集群管理器） Kafka Web Console 还有JMX接口自开发监控管理系统 以下是3.1.0版TV页面 Kafka-Eagle安装 安装包

    2024年02月08日
    浏览(36)
  • 【kafka】Kafka 可视化工具Kafka Eagle安装和使用

    【kafka】Kafka 可视化工具Kafka Eagle安装和使用

    Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作

    2023年04月15日
    浏览(38)
  • 【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

    【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

    【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Producer 【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft 【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer 【Kafka-3.x-教程】-【五】Kafka-监控-Eagle 【Kafka-3.x-教程】-【六】Kafka 外

    2024年02月02日
    浏览(31)
  • 大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

    大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

    4.1.1 Zookeeper存储的Kafka的信息 1、查看zookeeper中的kafka节点所存储的信息 启动Zookeeper客户端 通过ls命令列出kafka节点内容 2、zookeeper中存储的kafka信息 在zookeeper的服务端存储的Kafka相关信息： 1）/kafka/brokers/ids [0,1,2] 记录有哪些服务器 2）/kafka/brokers/topics/first/partitions/0/state {“l

    2024年01月21日
    浏览(41)
  • Docker安装kafka可视化管理工具 - Kafka Eagle

    Docker安装kafka可视化管理工具 - Kafka Eagle

    目前关于Docker安装Kafka Eagle没有什么特别出名的镜像，只有nickzurich/efak这个镜像可以考虑下，但这个的收欢迎程度不是很高，所以也少用一点，仅了解一下就可以。 第一步：使用下述命令拉取最新的nickzurich/efak镜像 第二步：使用下述命令启动容器 EFAK_CLUSTER_ZK_LIST ：配置的是

    2024年02月07日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包