Prometheus监控Elasticsearch指标

这篇具有很好参考价值的文章主要介绍了Prometheus监控Elasticsearch指标。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Prometheus 可以很方便的监控 Elasticsearch 的指标。

方式一:

通过启动ES自带的监控模块暴露指标数据,主要步骤如下:

  1. 在 Elasticsearch 中启用监控模块修改 Elasticsearch 的配置文件,加入监控相关配置:
xpack.monitoring.collection.enabled: true  # 启用监控收集
http.cors.enabled: true
http.cors.allow-origin: "*"  # 设置跨域访问

重启 Elasticsearch 实例后,监控相关 API 会自动启用。

  1. 配置 Prometheus 监控 Elasticsearch
    在 Prometheus 的配置文件中添加 Elasticsearch 的 job:
scrape_configs:
- job_name: 'elasticsearch'
  metrics_path: "/_prometheus/metrics"
  static_configs:
  - targets: 
    - "es-master:9200"     # Elasticsearch master 节点地址
  1. Prometheus 初始抓取后,可以在控制台看到 Elasticsearch 的相关指标,如:
  • es_process_cpu_seconds_total # CPU 时间
  • es_jvm_memory_bytes_committed # JVM 内存占用
  • es_indices_indexing_index_total # 索引次数
  • es_nodes_fs_total_bytes # 节点磁盘空间占用
  • 等等
  1. 根据指标定义告警规则
    当某些关键指标超过阈值时,Prometheus 可以发出告警,如:
groups:
- name: elasticsearch 
  rules:
  - alert: ElasticsearchNodeDown
    expr: up{job="elasticsearch", instance="es-master:9200"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "Elasticsearch master node is down"  

Prometheus 通过监控 Elasticsearch 的 API 获取各种监控指标,并根据阈值规则发出告警,这可以实现对 Elasticsearch 集群状态的实时监控与报警。

方式二:

通过 Elasticsearch Exporter 来暴露Elasticsearch指标。
安装 Elasticsearch Exporter 以获取 Elasticsearch 集群的 metrics 数据,步骤如下:
(其它安装方式:https://github.com/prometheus-community/elasticsearch_exporter)

  1. 下载 Elasticsearch Exporter
wget https://github.com/prometheus-community/elasticsearch_exporter/releases/download/v1.5.0/elasticsearch_exporter-1.5.0.linux-amd64.tar.gz
  1. 配置 Elasticsearch Exporter
    修改 elasticsearch_exporter.yml 配置文件,例如:
cluster.server: http://localhost:9200  # Elasticsearch host
cluster.timeout: 10s 

es.all: true          # Export all metrics
es.indices: true      # Export index metrics
es.shards: true       # Export shard metrics
es.nodes: true         # Export node metrics
es.cluster_settings: true   # Export cluster settings
  1. 启动 Elasticsearch Exporter
    直接运行 elasticsearch_exporter二进制文件即可:
    -config.file启动项:添加配置文件
    其它启动项:可执行elasticsearch_exporter --help查看。
./elasticsearch_exporter -config.file=elasticsearch_exporter.yml

默认会监听 9114 端口,可以配置web.listen-address启动项修改监听端口。

  1. Prometheus 配置抓取
    在 Prometheus 配置文件中添加如下抓取任务:
scrape_configs:
  - job_name: elasticsearch
    metrics_path: /probe
    static_configs:
      - targets: ['es1:9114', 'es2:9114']  # 对应 exporter 端口

重启 Prometheus,就可以看到有关 Elasticsearch metrics 的监控数据了。

exporter 支持两种工作模式:文章来源地址https://www.toymoban.com/news/detail-494376.html

  • 服务发现模式:通过 _cat/nodes 检索 Elasticsearch 集群的节点信息,动态发现节点并抓取指标数据。要启用此模式,在配置文件中不要指定 cluster.server 选项。
  • 静态模式:手动指定要抓取的节点,需要显式配置 cluster.server 选项指向 Elasticsearch 集群的 API endpoint。

到了这里,关于Prometheus监控Elasticsearch指标的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Prometheus监控指标查询性能调优

    一、背景 在《SRE: Google运维解密》一书中作者指出,监控系统需要能够有效的支持白盒监控和黑盒监控。黑盒监控只在某个问题目前正在发生,并且造成了某个现象时才会发出紧急警报。“白盒监控则大量依赖对系统内部信息的检测,如系统日志、抓取提供指标信息的 HTTP 节

    2024年02月13日
    浏览(30)
  • Prometheus常用exporter及其常用监控指标

    CPU相关指标: node_cpu_seconds_total{mode=\\\"idle\\\"} :CPU空闲时间(秒)的总和。这是评估CPU使用率的重要指标之一。 node_cpu_seconds_total{mode=\\\"system\\\"} 、 node_cpu_seconds_total{mode=\\\"user\\\"} 等:分别表示CPU在内核态和用户态的运行时间。 内存相关指标: node_memory_MemTotal_bytes :内存总量(以字节为

    2024年03月11日
    浏览(53)
  • 统一观测丨使用 Prometheus 监控 SNMP,我们该关注哪些指标?

    简单网络管理协议SNMP(Simple Network Management Protocol)用于网络设备的管理。网络设备种类多种多样、不同厂商提供的管理接口(如命令行接口)又不相同,这使得网络管理变得愈发复杂。为解决这一问题,SNMP应运而生。SNMP作为广泛应用于TCP/IP网络的标准网络管理协议,提供了

    2024年01月24日
    浏览(25)
  • 【云原生•监控】基于Prometheus实现自定义指标弹性伸缩(HPA)

    「Autoscaling即弹性伸缩,是Kubernetes中的一种非常核心的功能,它可以根据给定的指标(例如 CPU 或内存)自动缩放Pod副本,从而可以更好地管理和利用计算资源,提高系统的可用性和性能,同时减少开销和成本。弹性伸缩可以解决服务负载存在较大波动或资源实际使用与预估

    2024年02月14日
    浏览(33)
  • 统一观测丨使用 Prometheus 监控云原生网关,我们该关注哪些指标?

    可观测体系的概念由来已有,随着分布式微服务迅猛发展,对可观测体系的依赖也越来越深,可观测体系通常包括 Metrics、Tracing、Logging 三类数据,再外加报警机制,即可构成完整的监控报警机制,业界对可观测也有系统性说明,如下: 回到我们日常问题排查,基本路径大致

    2024年02月09日
    浏览(28)
  • K8S篇之实现利用Prometheus监控pod的实时数据指标

    一、监控部署 1、将k8s集群中kube-state-metrics指标进行收集,服务进行部署 1.1 pod性能指标(k8s集群组件自动集成) k8s组件本身提供组件自身运行的监控指标以及容器相关的监控指标。通过cAdvisor 是一个开源的分析容器资源使用率和性能特性的代理工具,集成到 Kubelet中,当Ku

    2024年02月05日
    浏览(47)
  • 云原生之深入解析如何在K8S环境中使用Prometheus来监控CoreDNS指标

    CoreDNS 是 Kubernetes 环境的DNS add-on 组件,它是在控制平面节点中运行的组件之一,使其正常运行和响应是 Kubernetes 集群正常运行的关键。 DNS 是每个体系结构中最敏感和最重要的服务之一。应用程序、微服务、服务、主机……如今,万物互联,并不一定意味着只用于内部服务,

    2024年02月03日
    浏览(31)
  • 监控Elasticsearch的关键指标

    Elasticsearch 的核心职能就是对外提供搜索服务,所以搜索请求的吞吐和延迟是非常关键的,搜索是靠底层的索引实现的,所以索引的性能指标也非常关键,Elasticsearch 由一个或多个节点组成集群,集群自身是否健康也是需要我们监控的。 lasticSearch 的架构非常简单,一个节点就

    2024年02月13日
    浏览(30)
  • Prometheus+Grafana可视化监控【ElasticSearch状态】

    注意:我这里使用之前写好脚本进行安装Docker,如果已经有Docker请省略此步骤,安装Docker是为了方便部署ElasticSearch服务,如果已经有数据库前两步骤都可以省略。 点击获取Docker离线安装脚本 查看Docker状态如下图表示没问题: 1、前提准备: 2、创建配置文件 3、运行容器:

    2024年02月07日
    浏览(40)
  • 一站式 Elasticsearch 集群指标监控与运维管控平台

    上篇文章写了一下消息运维管理平台,今天带来的是ES的监控和运维平台。目前初创企业,不像大型互联网公司,可以重复的造轮子。前期还是快速迭代试错阶段,方便拿到市场反馈,及时调整自己的战略和产品方向。让自己活下去,话不多说 开始今天的分享。 一、项目介绍

    2024年02月10日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包