实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况

这篇具有很好参考价值的文章主要介绍了实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

欢迎来到【微直播间】,2min纵览大咖观点

本次分享主要包括三个方面:

  • Prometheus&Grafana简介
  • 环境搭建
  • 手动调优

一、 Prometheus&Grafana简介
关于Prometheus:

Prometheus 是一个开源的完整监控解决方案,其对传统监控系统的测试和告警模型进行了彻底的颠覆,形成了基于中央化的规则计算、统一分析和告警新模型。

关于Grafana:

Grafana是一款采用Go语言编写的开源应用,主要用于大规模指标数据的可视化展现,是网络架构和应用分析中最流行的时序数据展示工具,目前已经支持绝大部分常用的时序数据库。

二、环境搭建

为了确保Alluxio的最佳性能和可用性,建立一个强大的监控系统至关重要,基于监控系统我们能够迅速发现系统问题并优化资源利用。后面会逐步介绍如何配置Prometheus和Grafana监控Alluxio,详细的解决方案可见下方直播视频。

1. 前置条件:安装Alluxio,同时将Presto与Alluxio共同运行;

2. 配置Prometheus Server;

3. 启动Prometheus Server;

4. Prometheus UI;

5. 配置Grafana;

6. 启动Grafana;

7. 为Grafana配置数据源;

8. 配置 Alluxio 监控;

9. 关闭监控软件。

三、手动调优

√ 修改Dashboard

以上仅为大咖演讲概览,完整内容点击视频观看:

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

(点击链接即可观看)https://app.ma.scrmtech.com/meetings/MeetingPc/Detail?pf_uid=27086_2062&sid=79796&source=2&pf_type=3&channel_id=26821&channel_name=Alluxio+%E5%BE%AE%E4%BF%A1%E6%9C%8D%E5%8A%A1%E5%8F%B7&tag_id=31713a81002af612&id=79796

附件:大咖分享文字版完整内容可见下文

本文将和大家分享Prometheus和Grafana 测试环境搭建、监控Alluxio数据到性能调优等方面,帮助大家快速上手用Prometheus和Grafana监控Alluxio。

一、Prometheus简介

Prometheus 是一个开源的完整监控解决方案,其对传统监控系统的测试和告警模型进行了彻底颠覆,形成了基于中央化的规则计算、统一分析和告警新模型。

【关键组件】:

Prometheus Server: 主服务器,负责收集和存储时间序列数据,包含存储引擎和计算引擎。Prometheus通过端口将数据拉取并存储,形成时间序列数据。

Prometheus优势

1. 易于管理:

Prometheus 核心部分只有一个单独的二进制文件,不存在任何的第三方依赖。可以在任何环境搭建我们的监控系统。

2. 强大的数据模型:

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中。

3. 强大的查询语言 PromQL

Prometheus 内置了一个强大的数据查询语言PromQL,可以实现对监控数据的查询、聚合,也可应用于数据可视化应用(如 Grafana)以及告警当中。

Prometheus UI

下面是Prometheus监控的图,Prometheus监控着多种进程。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

二、Grafana简介

Grafana是一款采用Go语言编写的开源应用,主要用于大规模指标数据的可视化展现,是网络架构和应用分析中最流行的时序数据展示工具,目前已经支持绝大部分常用的时序数据库。在Grafana中,我们可以使用Prometheus采集的数据,用PromQL筛选出所需的数据,在Web UI界面可绘制种类丰富的图像,如折线图、柱状图、热图等。

Grafana绘制CPU图、JVM图来监控CPU和JVM信息。

Grafana Web UI

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

Alluxio监控架构

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

Prometheus收集Alluxio Master、Alluxio Worker等进程的信息,存储到Prometheus数据库中;Grafana收集数据,配合PromQL语言,在Web UI界面展示。

三、环境搭建

前置条件

1. 电脑上应已安装好Alluxio。如果没有安装,可编译Alluxio源代码或在本地下载Alluxio程序。

2. 在将 Presto 与 Alluxio 一起运行前,请参照Deploying Presto部署Presto,并配置Presto和Alluxio共同运行。

配置Prometheus Server

下载Prometheus Server(如 prometheus-2.37.5.linux-amd64.tar.gz),解压Prometheus并编辑prometheus.yml文件配置Prometheus。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

global:   #全局参数

启动Prometheus Server

nohup <PATH_TO_PROMETHEUS_SERVER>/prometheus --web.enable-admin-api --config.file=<PATH_TO_PROMETHEUS_SERVER>/prometheus.yml ><PATH_TO_PROMETHEUS_SERVER>/prometheus.log 2>&1 &

打开Prometheus的Web UI:http://<PROMETHEUS_HOSTNAME>:9090/,依次点击Status- Targets,若各个目标都是up状态,表示安装启动成功。

Prometheus UI

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

配置 Grafana

下载Grafana安装包,解压。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

启动Grafana

启动Grafana并设置后台运行:

nohup <PATH_TO_GRAFANA>/bin/grafana-server --homepath

为Grafana配置数据源

打开Grafana Web UI:http://<GRAFANA_HOSTNAME>:3000,默认用户名和密码:admin。

为Grafana配置 Prometheus 数据源(Prometheus数据库所在位置)

依次点击 Configuration - Data sources - Add data source,选择Prometheus获取数据。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

找到并点击 Prometheus

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

配置 Prometheus Server 的 HTTP URL(Prometheus 默认端口号是 9090):

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

点击下方的 Save & test:

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

出现绿色的提示框,表示与 Prometheus 正常连通:

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

通过 Dashboards | Grafana Labs 网站,可以找到大量可直接使用的 Dashboard 模板。

点击 Dashboards -Import,可以导入 Dashboard 模板。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

导入模版并打开对应的 Dashboard 后,用户可将鼠标悬浮至左上角 i 查看指标具体描述:

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

配置 Alluxio 监控

在Prometheus加入如下配置,替换端口号:

scrape_configs:
# 添加 Alluxio 的配置
- job_name: "alluxio master"
metrics_path: '/metrics/prometheus/'
static_configs:
- targets: [ '<LEADING_MASTER_HOSTNAME>:<MASTER_WEB_PORT>' ] # 默认端口号是19999
- job_name: "alluxio worker"
metrics_path: '/metrics/prometheus/'
static_configs:
- targets: [ '<WORKER_HOSTNAME>:<WORKER_WEB_PORT>' ] # 默认端口号是30000
- job_name: "alluxio job master"
metrics_path: '/metrics/prometheus/'
static_configs:
- targets: [ '<LEADING_JOB_MASTER_HOSTNAME>:<JOB_MASTER_WEB_PORT>' ] # 默认端口号是20002
- job_name: "alluxio job worker"
metrics_path: '/metrics/prometheus/'
static_configs:
- targets: [ '<JOB_WORKER_HOSTNAME>:<JOB_WORKER_WEB_PORT>' ] # 默认端口号是30003
- job_name: "alluxio standalone fuse"
metrics_path: '/metrics/prometheus/'
static_configs:
- targets: [ '<FUSE_WEB_HOSTNAME>:<FUSE_WEB_PORT>' ] # 默认端口号是 49999

下载 Alluxio 监控模板,导入 Grafana 的 Dashboard。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

常见错误:某些图表显示No data。可以点进对应的图表,切换这里的Data source。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

关闭监控软件

关闭 Prometheus Server

pgrep -f prometheus | xargs kill

关闭 Pushgateway

pgrep -f pushgateway | xargs kill

关闭 Grafana

pgrep -f grafana | xargs kil

四、手动调优

修改Dashboard

√ 点击Add panel;

√ 可以增加一个新的panel,也可以增加一个新的row;

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

比如监控CPU:

√ 在左侧搜索cpu,找到对应指标;

√ 在右侧选择要监控的instance或job;

√ 点击下方 Use query。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

√ 右侧可以调整图标的样式;

√ 可以为图表加标题和描述。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

√ 调整坐标轴的名字及其单位;

√ 调整坐标轴的宽度等样式。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

√ 调整图表的样式,线图、柱状图、点图;

√ 调整图标的内部样式。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

依次点击 Inspect ->Data

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

√ 由于一个 Panel 中有多个监控指标,可以在左侧选择要导出的监控指标(或 Series joined bytime 选择所有指标);

√ 点击右侧 DownloadCSV 下载数据。

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

点击保存

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

导出模板

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排

总结

通过引入 Prometheus 和 Grafana,我们为 Alluxio 构建了一个更加灵活、敏捷、易用的监控系统。

Alluxio的指标多而全面,而不同用户群体关心不同的指标,因此我们介绍了如何搭建适合用户所需应用场景的Dashboard,并且可以导出数据、导出Dashboard模板,方便迁移。

想要了解更多关于Alluxio的干货文章、热门活动、专家分享,可点击进入:【Alluxio智库】https://link.zhihu.com/?target=https%3A//page.ma.scrmtech.com/landing-page/index%3Fpf_uid%3D27086_2062%26id%3D13197实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况,alluxio,大数据,prometheus,grafana,数据编排文章来源地址https://www.toymoban.com/news/detail-649015.html

到了这里,关于实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用大卫的k8s监控面板(k8s+prometheus+grafana)

    书接上回,对EKS(AWS云k8s)启用AMP(AWS云Prometheus)监控+AMG(AWS云 grafana),上次我们只是配通了EKS+AMP+AMG的监控路径。这次使用一位大卫老师的grafana的面板,具体地址如下: https://grafana.com/grafana/dashboards/15757-kubernetes-views-global/ 为了想Prometheus暴露一些有用的性能指标,需要在

    2024年04月23日
    浏览(121)
  • Prometheus服务器、Prometheus被监控端、Grafana、Prometheus服务器、Prometheus被监控端、Grafana

    day03Prometheus概述部署Prometheus服务器环境说明:配置时间安装Prometheus服务器添加被监控端部署通用的监控exporterGrafana概述部署Grafana展示node1的监控信息监控MySQL数据库配置MySQL配置mysql exporter配置mysql exporter配置prometheus监控mysql自动发现机制概述基于文件自动发现修改Prometheus使

    2024年02月14日
    浏览(47)
  • Prometheus+Grafana监控PG

    Prometheus是由SoundCloud开发的开源监控报警系统和时间序列数据库(TSDB),它是一个监控采集与数据存储框架(监控服务器端),具体采集什么数据依赖于Exporter(监控客户端) Grafana是一个高“颜值”的监控绘图程序,也是一个可视化面板(Dashboard)。Grafana的厉害之处除了高

    2024年02月07日
    浏览(41)
  • JMX+Prometheus监控Grafana展示

    最近在阅读InLong的源码,发现它采用通过JMX+Prometheus进行指标监控。 这里做了下延伸将介绍使用JMX+Prometheus+Grafana进行监控指标展示,这里单独将Metric部分代码抽离出来做介绍。 完整代码地址:https://download.csdn.net/download/zhangshenghang/88030454 主要类(使用Prometheus HTTPServer): 启

    2024年02月13日
    浏览(48)
  • Prometheus + grafana 的监控平台部署

    vim /opt/module/prometheus-2.44.0/prometheus.yml 命令 修改配置文件 命令 分发 /opt/module/node_exporter-1.6.0 目录到需要监控的节点 使用systemctl 管理node_exporter服务 分发到各个节点,并且启动服务 使用systemctl管理 kafka_exporter 服务 命令 使用systemctl 管理grafana 服务 命令 1.7.1 导入 grafana Dashboa

    2024年02月09日
    浏览(45)
  • Prometheus+Grafana 监控平台实践-搭建&常用服务监控&告警

    Prometheus 是一个开放性的监控解决方案,通过各种 Exporter 采集当前主机/服务的数据,和 Grafana 相结合可以实现强大的监控和可视化功能 本篇将分享使用 docker compose 构建 Prometheus+Grafana,并监控之前文章所搭建的主机服务,分享日常使用的一些使用经验 文章较长,已安装可略

    2024年02月05日
    浏览(57)
  • Prometheus + Grafana 搭建监控仪表盘

    目标要求 1、需要展现的仪表盘: SpringBoot或JVM仪表盘 Centos物理机服务器(实际为物理分割的虚拟服务器)仪表盘 2、展现要求: 探索Prometheus + Grafana搭建起来的展示效果,尽可能展示能展示的部分。 监控系统核心:prometheus-2.45.0.linux-amd64.tar 下载地址:https://github.com/prometheus

    2024年04月23日
    浏览(47)
  • 性能监控平台 | Prometheus+InfluxDB + Grafana!

    在本文中,我将把几个常用的监控部分给梳理一下。前面我们提到过,在性能监控图谱中,有操作系统、应用服务器、中间件、队列、缓存、数据库、网络、前端、负载均衡、Web 服务器、存储、代码等很多需要监控的点。显然这些监控点不能在一个专栏中全部覆盖并一一细化

    2024年02月13日
    浏览(73)
  • Prometheus配置Grafana监控大屏(Docker)

    从容器拷贝配置文件至对应目录 查看内容 删除临时docker容器 相关参数说明 http://ip:3000/,注意端口开放 修改中文界面(不需要可以跳过) 点击右上角头像,选择Profile 打开菜单,在连接中选择数据源 选择Prometheus 填写服务地址 确保服务可以访问后,点击保存 最方便就是通过

    2024年01月24日
    浏览(47)
  • prometheus + grafana进行服务器资源监控

    在性能测试中,服务器资源是值得关注一项内容,目前,市面上已经有很多的服务器资 源监控方法和各种不同的监控工具,方便在各个项目中使用。 但是,在性能测试中,究竟哪些指标值得被关注呢? 监控有着的分级体系,下面引用:   在以前的工作中,想要实现服务器资

    2024年02月11日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包