OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频)

这篇具有很好参考价值的文章主要介绍了OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

《OpenShift / RHEL / DevSecOps 汇总目录》
说明:本文已经在 OpenShift 4.13 的环境中验证

OpenShift 的监控功能构成

构成 OpenShift 监控功能的附件分为两部分:“平台监控组件” 和 “用户项目监控组件”。

  • 在平台监控组件中包括:Prometheus、Thanos Querier 和 Alertmanager 三部分重要组成,这些组件是由 Cluster Monitoring Operator 总体部署和管理生命周期的。通过平台监控组件可以对 OpenShift 集群的 DNS、日志系统、etcd、Kubelet、API Server、Scheduler 等重要环境进行监控。
  • 用户项目监控组件是对用户自有项目中应用资源进行监控。它由单独的 Prometheus、Thanos Ruler 构成,并共用平台的 Alertmanager 和 Thanos Querier 组件。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
    除了可以使用 OpenShift 控制台内置的监控功能和界面外,还可通过 Thanos Querier 的访问地址外接其他监控软件,例如使用 Grafana 定制的仪表盘显示 OpenShift 或用户应用的运行情况。

部署被监控应用

  1. 创建项目
$ oc new-project app-monitoring
  1. 部署测试应用
$ oc new-app quay.io/brancz/prometheus-example-app:v0.2.0 -l app=prometheus-example-app
  1. 创建 Service 和 Route。
$ cat << EOF | oc apply -f -
apiVersion: v1
kind: Service
metadata:
  labels:
    app: prometheus-example-app
  name: prometheus-example-app
spec:
  ports:
  - port: 8080
    protocol: TCP
    name: 8080-tcp
  selector:
    app: prometheus-example-app
  type: ClusterIP
EOF
 
$ oc expose svc prometheus-example-app
  1. 分别访问应用缺省地址和 /err 地址,返回的 HTTP 代码分别为 200 和 404。
$ curl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})
200
$ curl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})/err
404
  1. 访问应用的 /metrics 地址,查看应用返回的 HTTP 代码为 200 和 404 请求数量统计。
$ curl $(oc get route prometheus-example-app -ojsonpath={.spec.host})/metrics
# HELP http_requests_total Count of all HTTP requests
# TYPE http_requests_total counter
http_requests_total{code="200",method="get"} 1
http_requests_total{code="404",method="get"} 1
# HELP version Version information about this binary
# TYPE version gauge
version{version="v0.2.0"} 1

说明
也可在控制台上部署 quay.io/brancz/prometheus-example-app:v0.2.0 容器镜像,但需要增加 app=prometheus-example-app 标签,并且去掉 “安全路由” 选项。

用 OpenShift 内置功能监控应用

  1. 启用 OpenShift 对用户应用监控功能。
$ cat << EOF | oc apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    enableUserWorkload: true
EOF
  1. 确认主要监控服务云子运行正常。
$ oc get pod -n openshift-user-workload-monitoring
NAME                                   READY   STATUS    RESTARTS      AGE
prometheus-operator-77d547b4dc-fcflk   2/2     Running   0             34h
prometheus-user-workload-0             6/6     Running   0             34h
thanos-ruler-user-workload-0           4/4     Running   0             34h
  1. 创建对 prometheus-example-app 应用监控的 ServiceMonitor 对象。
$ cat << EOF | oc apply -f -
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: prometheus-example-monitor
  namespace: app-monitoring
spec:
  endpoints:
  - interval: 30s
    port: 8080-tcp
    path: /metrics
  selector:
    matchLabels:
      app: prometheus-example-app
EOF
  1. 创建完后在 OpenShift 的 “目标” 菜单中在 “过滤器” 中选择 “用户”,稍等后可以看到目标的监视端点。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
    该端点地址是运行应用的 Pod 使用的 IP 地址。
$ oc get pod -owide
NAME                                     READY   STATUS    RESTARTS   AGE     IP             NODE                 NOMINATED NODE   READINESS GATES
prometheus-example-app-b744f9c85-bmk7p   1/1     Running   0          6m15s   10.217.0.123   crc-2zx29-master-0   <none>           <none>
  1. 创建 PrometheusRule。下面的 expr 表达式会统计过去 5 分钟 HTTP 请求返回结果是 404 的每秒速率,如果 > 0.3 则报警。
$ cat << EOF | oc apply -f -
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: app-alert
  namespace: app-monitoring
spec:
  groups:
  - name: app-alert
    rules:
    - alert: HttpRequestErrorRateIncrease
      expr: rate(http_requests_total{code="404",job="prometheus-example-app"}[5m]) > 0.3
      labels:
        severity: warning
      annotations:
        summary: Prometheus example app's error rate increase.
        message: Prometheus example app's error rate increase.
EOF

创建完后可以在“报警” 菜单中的 “报警规则” 页面中通过将 “过滤器” 中选择 “用户”,可以看到该报警规则。
OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana

  1. 执行以下命令,持续访问应用的 /err 地址。
$ for i in `seq 1 10000`
do
  curl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})/err
  sleep 1
done
  1. 在 OpenShift 的 “指标” 页面中先将输入查询条件设为 “rate(http_requests_total{code=“404”,job=“prometheus-example-app”}[5m])”,然后点击 “运行查询”。再将时间设为 5m,并将页面刷新时间设置为 15秒。在等待一会儿后可以看到值已经超过 0.3。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  2. 在 OpenShift 的 “报警” 页面中的 “过滤器” 中选中 “用户” ,确认已经被触发。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  3. 点击上图的 HttpRequestErrorRateIncrease,然后可以看到和步骤 7 类似的指标监控图。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  4. 另外,在 app-monitoring 项目中也可以看到 HttpRequestErrorRateIncrease 报警。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana

用 Grafana 监控应用

安装 Grafana 运行环境

  1. 创建 my-grafana 项目,然后在其中安装 Grafana Operator v4 版本。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  2. 执行以下命令,创建一个名为 my-grafana 的 Grafana 实例。注意:以下 YAML 中的 dataStorage 使用了 OpenShift 缺省的存储类。
$ cat << EOF | oc apply -f -
apiVersion: integreatly.org/v1alpha1
kind: Grafana
metadata:
  name: my-grafana
  namespace: my-grafana
spec:
  config:
    security:
      admin_user: admin
      admin_password: my-password
  dataStorage:
    accessModes:
      - ReadWriteOnce
    size: 1Gi
  ingress:
    enabled: true
    tls:
      enabled: true
EOF
  1. 创建名为 grafana-view 的 clusterrolebinding,为所有命名空间的 grafana-serviceaccount 提供 cluster-monitoring-view 角色。
$ oc create clusterrolebinding grafana-view --clusterrole=cluster-monitoring-view --serviceaccount=my-grafana:grafana-serviceaccount

配置 Grafana 数据源

  1. 执行命令创建一个 GrafanaDataSource,其中使用了基于 grafana-serviceaccoun 的 token 来访问 Thanos Querier。
$ TOKEN=$(oc create token grafana-serviceaccount -n my-grafana)
$ cat << EOF | oc apply -f -
apiVersion: integreatly.org/v1alpha1
kind: GrafanaDataSource
metadata:
  name: prometheus
  namespace: my-grafana
spec:
  datasources:
    - basicAuthUser: internal
      access: proxy
      editable: true
      secureJsonData:
        httpHeaderValue1: >-
          Bearer ${TOKEN}
      name: Prometheus
      url: 'https://thanos-querier.openshift-monitoring.svc.cluster.local:9091'
      jsonData:
        httpHeaderName1: Authorization
        timeInterval: 5s
        tlsSkipVerify: true
      basicAuth: false
      isDefault: true
      version: 1
      type: prometheus
  name: test_name
EOF
  1. 访问 grafana-route 对应的 Grafana 页面,然后使用创建 my-grafana 实例时指定的用户和密码登录。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  2. 进入 Configuration 的 Data Sources 菜单,可以看到名为 Prometheus 的数据源,点击进入。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  3. 点击页面下方的 “ Save & Test”,确认显示 Data srouce is working。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana

定制监控 Dashboard

  1. 进入 Create 的 Dashboard 菜单。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  2. 在 New dashboard 页面点击 Add an empty panel。
    OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
  3. 在下图中为 Metrics 提供以下内容,然后将 Panel title 设为 Example App Err Rate,最后点击 Apply 按钮。
rate(http_requests_total{code="404",job="prometheus-example-app"}[5m])

OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
4. 在 Dashboard 页面点击右上方的 Dashboard settings 图标。
OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
5. 设置 Name,然后保存。
OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana
6. 最后通过定制的 Dashboard 监控的应用指标如下图。
OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频),openshift,prometheus,grafana

演示视频

演示视频

参考

https://github.com/k-srkw/openshift-monitoring-handson/blob/main/monitoring-handson.md
https://cloud.redhat.com/blog/your-guide-to-openshift-observability-part-1
https://access.redhat.com/solutions/5335491
https://access.redhat.com/documentation/en-us/openshift_container_platform/4.5/html/monitoring/monitoring-your-own-services
https://catalog.workshops.aws/aws-openshift-workshop/en-US/8-observability/2-metrics/5-app-dashboard
https://github.com/brancz/prometheus-example-app
https://developers.redhat.com/articles/2023/08/08/how-monitor-workloads-using-openshift-monitoring-stack#how_to_monitor_a_sample_application
https://shonpaz.medium.com/monitor-your-application-metrics-using-the-openshift-monitoring-stack-862cb4111906
https://github.com/OpenShiftDemos/openshift-ops-workshops/blob/ocp4-dev/workshop/content/monitoring-basics.adoc
https://github.com/pittar/openshift-user-workload-monitoring
https://github.com/alvarolop/quarkus-observability-app/blob/main/README.adoc
https://prometheus.io/docs/prometheus/latest/querying/basics/
https://github.com/alvarolop/quarkus-observability-app文章来源地址https://www.toymoban.com/news/detail-682440.html

到了这里,关于OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标(视频)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云原生 Prometheus篇】Prometheus架构详解与核心组件的应用实例(Exporters、Grafana...)

    老牌传统的: Zabbix 、Nagios、Cacti … 云时代的: Prometheus 、夜莺 … … Zabbix:更适用于传统业务架构的物理机、虚拟机环境的监控,对容器的支持比较差;数据存储主要采用的是关系型数据库,会随着监控节点数量的增加,关系型数据库的压力也会变大,监控数据的读写也会

    2024年02月22日
    浏览(42)
  • 基于Prometheus 和 Grafana 实现springboot应用监控和服务器监控

    目录 1.Prometheus环境搭建 1.1 下载和安装Prometheus 1.2 配置Prometheus 1.3 配置Prometheus抓取Spring Boot应用Metrics 1.4 启动Prometheus 2.Grafana环境搭建 2.1 下载和安装Grafana 2.2 配置Grafana数据源 2.3 创建Dashboard 3、NodeExporter(服务器监控)插件配置安装 3.1 下载和安装Node Exporter 插件 3.2配置pro

    2024年02月13日
    浏览(47)
  • 【阿里云Grafana】数据可观测云监控大盘服务

    新手友好系列之云产品免费试用:https://click.aliyun.com/m/1000370363/ 在监控系统体系里,grafana相信大家都是听说过的,grafana将我们的监控数据以大屏的形式直观的展示出来,作为一个喜欢折腾linux的我来说,自从grafana开源套件的出现,他的展示直观、配置轻便、功能强大、界面

    2024年02月09日
    浏览(33)
  • OpenShift 4 - 在 OpenShift 上运行物体检测 AI 应用

    《OpenShift / RHEL / DevSecOps 汇总目录》 说明:本文已经在 OpenShift 4.14 + RHODS 2.5.0 的环境中验证 说明:请先根据《OpenShift AI - 部署 OpenShift AI 环境,运行 AI/ML 应用(视频)》一文完成 OpenShift AI 环境的安装。 注意:如无特殊说明,和 OpenShift AI 相关的 Blog 均无需 GPU。 在 Jupyter N

    2024年01月23日
    浏览(35)
  • 统一观测|借助 Prometheus 监控 ClickHouse 数据库

    ClickHouse 作为用于联机分析(OLAP)的列式数据库管理系统(DBMS), 最核心的特点是极致压缩率和极速查询性能。同时,ClickHouse 支持 SQL 查询,在基于大宽表的聚合分析查询场景下展现出优异的性能。因此,获得了广泛的应用。本文旨在分享阿里云可观测监控 Prometheus 版对开源 Cli

    2024年02月14日
    浏览(42)
  • Prometheus服务器、Prometheus被监控端、Grafana、Prometheus服务器、Prometheus被监控端、Grafana

    day03Prometheus概述部署Prometheus服务器环境说明:配置时间安装Prometheus服务器添加被监控端部署通用的监控exporterGrafana概述部署Grafana展示node1的监控信息监控MySQL数据库配置MySQL配置mysql exporter配置mysql exporter配置prometheus监控mysql自动发现机制概述基于文件自动发现修改Prometheus使

    2024年02月14日
    浏览(47)
  • 统一观测丨使用 Prometheus 监控 SNMP,我们该关注哪些指标?

    简单网络管理协议SNMP(Simple Network Management Protocol)用于网络设备的管理。网络设备种类多种多样、不同厂商提供的管理接口(如命令行接口)又不相同,这使得网络管理变得愈发复杂。为解决这一问题,SNMP应运而生。SNMP作为广泛应用于TCP/IP网络的标准网络管理协议,提供了

    2024年01月24日
    浏览(36)
  • 统一观测丨使用 Prometheus 监控云原生网关,我们该关注哪些指标?

    可观测体系的概念由来已有,随着分布式微服务迅猛发展,对可观测体系的依赖也越来越深,可观测体系通常包括 Metrics、Tracing、Logging 三类数据,再外加报警机制,即可构成完整的监控报警机制,业界对可观测也有系统性说明,如下: 回到我们日常问题排查,基本路径大致

    2024年02月09日
    浏览(44)
  • Grafana集成prometheus(2.Grafana安装)

    检查防火墙3000端口是否开启 admin/admin http://ip:3000

    2024年02月14日
    浏览(41)
  • Grafana集成prometheus(1.Prometheus安装)

    该程序用以采集机器内存等数据 启动脚本 启动截图 启动脚本 启动截图 映射配置文件及自定义配置 复制配置文件 配置存放路径此处以/opt/start/prometheus/conf/prometheus为例 停止任务并删除容器 修改配置prometheus.yml 查看node-exporter网络地址 修改配置 修改配置( job_name 和 targets ),其

    2024年02月14日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包