基于kafka_exporter&prometheus&grafana的kafka监控实现

这篇具有很好参考价值的文章主要介绍了基于kafka_exporter&prometheus&grafana的kafka监控实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、安装配置kafka_exporter

下载kafka_exporter

wget http://*.*.*.45:10000/prometheus/kafka_exporter-1.4.2.linux-amd64.tar.gz
tar -zxcf kafka_exporter-1.4.2.linux-amd64.tar.gz

启动kafka_exporter

./kafka_exporter --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 &

Error Init Kafka Client: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)
报错原因:kafka_exporter版本太低 !!!

防火墙开放端口(未启动防火墙不需要)

firewall-cmd --add-port=9092/tcp --permanent       	# 开放 9092 端口
firewall-cmd --reload              					# 重新加载 
firewall-cmd --list-ports     						# 查看所有开放端口 
或 
firewall-cmd --add-port=9092/tcp --permanent && firewall-cmd --reload && firewall-cmd --list-ports

kafka_exporter启动脚本

#!/bin/bash 
nohup /data/gxpt/kafka_exporter/kafka_exporter-2.0 --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 --sasl.enabled --sasl.username=user --sasl.password=md5(pwd)  --sasl.mechanism=scram-sha512 --log.enable-sarama  --web.listen-address=:19091 > /dev/null 2>&1  &

其中,kafka监控账号:user/pwd【md5(pwd)】 监听端口号:–web.listen-address=:19091 kafka_exporter

二、安装配置prometheus

在prometheus.yml配置文件添加以下配置

scrape_configs:
  - job_name: "kafka"
    static_configs:
    - targets: ['localhost:19091']

使用sudo权限,后台执行Prometheus启动命令,并启用lifecycle功能,指定监听端口为9090

sudo nohup ./prometheus --web.enable-lifecycle --web.listen-address=:9090 &

三、安装配置grafana

下载grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

安装grafana

yum install grafana-enterprise-10.2.3-1.x86_64.rpm

sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

启动grafana,默认端口3000

systemctl start grafana-server.service

登录grafana

http://localhost:3000/dashboards amdin/admin

下载kafka监控模板

https://grafana.com/grafana/dashboards/7589-kafka-exporter-overview/
https://grafana.com/grafana/dashboards/11962-kafka-metrics/

配置普米数据源,导入模板即可显示监控信息;文章来源地址https://www.toymoban.com/news/detail-811988.html

到了这里,关于基于kafka_exporter&prometheus&grafana的kafka监控实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Prometheus+Grafana搭建监控平台(Windows/Linux环境exporter部署)

    1.1 Prometheus是什么?Prometheus(普罗米修斯)是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目,拥有非常活跃的开发人员和用户社区。为强调开源及独立维护,Prometheus于2016年加入云原生云计算基金会(CNCF),成为继Kubernetes之后的第二个托管项目。 Prometheus

    2024年01月19日
    浏览(78)
  • 二进制部署Prometheus + Grafana监控集群,及各exporter安装

    Prometheus三大组件: Server 主要负责数据采集和存储,提供PromQL查询语言的支持。 Alertmanager 警告管理器,用来进行报警。 Push Gateway 支持临时性Job主动推送指标的中间网关。 Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发,是Google B

    2024年02月13日
    浏览(45)
  • Linux 集群监控部署:prometheus + node-exporter + Grafana

    之前我们有用到top、free、iostat等等命令,去监控服务器的性能,但是这些命令,我们只针对单台服务器进行监控,通常我们线上都是一个集群的项目,难道我们需要每一台服务器都去敲命令监控吗?这样显然不是符合逻辑的,Linux中就提供了一个集群监控工具 – prometheus。

    2024年02月04日
    浏览(42)
  • 云监控系统搭建【prometheus+grafana+windows_exporter】

    1、prometheus功能的介绍 prometheus是一个开源监控解决方案,用于收集 和聚合指标作为时间序列数据。 2、prometheus的下载 网址:https://prometheus.io/download/ 1、grafana功能的介绍 Grafana 是一个仪表盘,其主要目的是对各种数据提供可视化。 2、grafana的下载  网址:https://grafana.com/gra

    2024年02月16日
    浏览(47)
  • 5分钟搭建MySQL监控平台(mysql-exporter+Prometheus+Grafana)

      Prometheus :   普罗米修斯可以简单理解为一个监控工具,以时间为单位展示指定数据维度的变化 趋势。 mysqld_exporter : 主要是依赖数据采集器,对于 mysql 数据采集使用的是 mysqld_exporter 。 Grafana: 主要用于可视化展示的监控软件,让数据监控更直观,支持多种仪表盘类型,就

    2024年02月01日
    浏览(46)
  • k8s集群监控方案--node-exporter+prometheus+grafana

    目录 前置条件 一、下载yaml文件 二、部署yaml各个组件 2.1 node-exporter.yaml 2.2 Prometheus 2.3 grafana 2.4访问测试 三、grafana初始化 3.1加载数据源 3.2导入模板 四、helm方式部署 安装好k8s集群(几个节点都可以,本人为了方便实验k8s集群只有一个master节点),注意prometheus是部署在k8s集群

    2024年02月12日
    浏览(50)
  • 免费开源服务器资源监控系统grafana+prometheus+node_exporter

    有项目做测试的时候需要查询服务器资源利用情况,自己又没写相应的模块,此时就需要一套好用的资源监控系统,,咨询了运维人员给推荐了一套,装完后真的很好用。 就是grafana+prometheus+ node_exporter(linux)或者windows_exporter(wins) 具体介绍不多说: 1、grafana是对数据做展

    2024年02月12日
    浏览(50)
  • Windows:prometheus + grafana + wmi_exporter+ 主机信息监控页面 + 支持主机信息告警

    下载地址:Download | Prometheus 选择对应的系统的版本下载并解压压缩包,运行程序 本人在window系统上操作 双击 验证 浏览器输入http://localhost:9090/ 点击Staatus=Targets 出现以下即成功   下载地址:Download Grafana | Grafana Labs 同理选择对应的系统下载(本人通篇均使用window系统 下载并

    2024年02月12日
    浏览(48)
  • Prometheus+Mysqld_exporter+Grafana从0到1搭建MySQL的可视化监控

    1. 准备工作 安装 MySQL 数据库 安装 Prometheus 安装 Mysqld_exporter 安装 Grafana 在正式开始搭建之前,我们需要提前做好上面几个东西的安装,下面简单介绍一下这几个东西。 1.1 安装MySQL MySQL 数据库,这个就不过多赘述了,必须要有的,下载一个适合自己系统的版本,安装即可。

    2023年04月16日
    浏览(80)
  • Grafana Prometheus 通过JMX监控kafka

    目前网上关于使用Prometheus 监控kafka的大部分资料都是使用一个第三方的 kafka exporter,他的原理大概就是启动一个kafka客户端,获取kafka服务器的信息,然后提供一些metric接口供Prometheus使用,随意它能展示的监控信息比较有限,只有每个主题的分区数,每秒/分钟消息数,消费组

    2024年02月13日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包