Kafka运维监控:Kafka-Eagle安装

这篇具有很好参考价值的文章主要介绍了Kafka运维监控:Kafka-Eagle安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

kafka自身并没有集成监控管理系统,因此对kafka的监控管理比较不便,好在有大量的第三方监控管理系统来使用,常见的有:

  • Kafka Eagle

  • KafkaOffsetMonitor

  • Kafka Manager(雅虎开源的Kafka集群管理器)

  • Kafka Web Console

  • 还有JMX接口自开发监控管理系统

kafka-eagle安装,kafka,运维,java

 Kafka-Eagle安装

安装包下载地址:http://download.kafka-eagle.org/

官方文档地址:Preface - Kafka Eagle

  1. 上传,解压

  2. 配置环境变量:JAVA_HOME 和KE_HOME

vi /etc/profile

-- 之前配过了就不用再配了
export JAVA_HOME=/opt/apps/jdk1.8.3_9u19
export PATH=$PATH:$JAVA_HOME/bin

export KE_HOME=/opt/apps/efak-web-2.1.0
export PATH=$PATH:$KE_HOME/bin

 3. 配置KafkaEagle

cd ${KE_HOME}/conf
vi system-config.properties

修改如下内容:
######################################
# multi zookeeper & kafka cluster list
# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=linux01:2181,linux02:2181,linux03:2181

######################################
# broker size online list
######################################
cluster1.efak.broker.size=3

######################################
# kafka sqlite jdbc driver address
######################################
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/opt/data/kafka-eagle/db/ke.db
efak.username=root
efak.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
#efak.driver=com.mysql.cj.jdbc.Driver
#efak.url=jdbc:mysql://linux01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#efak.username=root
#efak.password=123456

如上,数据库选择的是sqlite,需要手动创建所配置的db文件存放目录:/opt/data/kafka-eagle/db/

如果使用MySQL 提前在mysql中创建指定的数据库

mysql> CREATE DATABASE IF NOT EXISTS ke DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4. 配置kafka服务端的JMX端口【选配】

在kafka的启动脚本:  kafka-server-start.sh 中添加如下命令:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export JMX_PORT="9999"
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
    
   这个加在文件的最后面
 
改完后,将文件同步给所有节点
然后重启kafka集群

 5. 配置KE_HOME 环境变量

#EFAK
export KE_HOME=/opt/apps/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

 6. 启动KafkaEagle

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start

 7. 访问web界面

linux01:8048

账号密码:Account:admin ,Password:123456

 kafka-eagle安装,kafka,运维,java

 kafka-eagle安装,kafka,运维,java文章来源地址https://www.toymoban.com/news/detail-595490.html

到了这里,关于Kafka运维监控:Kafka-Eagle安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 5、kafka监控工具Kafka-Eagle介绍及使用

    1、kafka(2.12-3.0.0)介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 本文主要介绍了kafka监控工具Kafka-Eagle的使用。 本文依赖:kafka、zookeeper部署完成。 本分分为三个部分介绍,即

    2024年02月09日
    浏览(33)
  • (二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

    本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作者往期博客内容。新版本的kafka集群分

    2024年02月09日
    浏览(31)
  • Kafka-Eagle安装及连接成功web端登陆不了问题解决

    kafka自身并没有集成监控管理系统,因此对kafka的监控管理比较不便,好在有大量的第三方监控管理系统来使用,常见的有: Kafka Eagle KafkaOffsetMonitor Kafka Manager(雅虎开源的Kafka集群管理器) Kafka Web Console 还有JMX接口自开发监控管理系统 以下是3.1.0版TV页面 Kafka-Eagle安装 安装包

    2024年02月08日
    浏览(36)
  • 上手第一关,手把手教你安装kafka与可视化工具kafka-eagle

    终于又开新专栏啦(其实是填坑),相信很多同学对kafka都有一定的了解了,我们以前在RabbitMQ的选型中,也提到过两者的对比,那么今天我们就正式开始Kafka的学习吧,老规矩,先来一篇手把手安装教程,因为后续主要是用于自身学习,所以还是以windows的安装为例 📕作者简

    2024年02月08日
    浏览(33)
  • Kafka入门,mysql5.7 Kafka-Eagle部署(二十五)

    https://www.kafka-eagle.org/ 这里使用的是2.0.8 创建名为ke数据库,新版本会自动创建,不会创建的话,自己手动创建,不然会报查不到相关表信息错误 记得source 多余的配置去掉 如果发现启动失败,可能是mysql版本不同,导致连不上数据库,可以看下日志报错,以下配置是5.7版本的

    2024年02月16日
    浏览(32)
  • 【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

    【Kafka-3.x-教程】专栏: 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Producer 【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft 【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer 【Kafka-3.x-教程】-【五】Kafka-监控-Eagle 【Kafka-3.x-教程】-【六】Kafka 外

    2024年02月02日
    浏览(31)
  • 配置kafka监控工具Eagle(现在叫efak)

    1.先安装mysql,这一步就省略了 2.配置kafka的堆内存,至少2g 重启kafka 3.安装kafka的eagle EFAK下载 修改配置文件efak/conf/system-config.properties 将下边的配置修改 4.添加环境变量       5.启动即可

    2024年02月09日
    浏览(27)
  • 大数据开发之Kafka(broker、消费者、eagle监控、kraft模式)

    4.1.1 Zookeeper存储的Kafka的信息 1、查看zookeeper中的kafka节点所存储的信息 启动Zookeeper客户端 通过ls命令列出kafka节点内容 2、zookeeper中存储的kafka信息 在zookeeper的服务端存储的Kafka相关信息: 1)/kafka/brokers/ids [0,1,2] 记录有哪些服务器 2)/kafka/brokers/topics/first/partitions/0/state {“l

    2024年01月21日
    浏览(41)
  • 【kafka】Kafka 可视化工具Kafka Eagle安装和使用

    Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件,可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作

    2023年04月15日
    浏览(38)
  • Docker安装kafka可视化管理工具 - Kafka Eagle

    目前关于Docker安装Kafka Eagle没有什么特别出名的镜像,只有nickzurich/efak这个镜像可以考虑下,但这个的收欢迎程度不是很高,所以也少用一点,仅了解一下就可以。 第一步:使用下述命令拉取最新的nickzurich/efak镜像 第二步:使用下述命令启动容器 EFAK_CLUSTER_ZK_LIST :配置的是

    2024年02月07日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包