flink中值得监控的几个指标

10月前作者：lixia0417mul2 分类：Toy博客阅读(533) 违法举报

这篇具有很好参考价值的文章主要介绍了flink中值得监控的几个指标。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标：numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行
2.应用的监控度： uptime表示应用已经持续运行的时间，numRestarts表示job被重启的次数，重启的原因很多种，比如内存占用过多被killed等
3.检查点健康度： numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),
numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间，过长的时间会导致checkpoint失败，
lastCheckpointFullSize表示检查点的大小，这可以帮你检查应用状态大小是否正常
4.基于事件时间的应用的处理延迟：可以对比eventtime和当前时间的延迟，这可以知道是否发生了数据倾斜等问题，导致watermark一直未能前进
5.jvm和容器指标：Jvm使用的内存/cpu大小，容器使用的内存大小(包括jvm+其他组件)文章来源地址https://www.toymoban.com/news/detail-773332.html

到了这里，关于flink中值得监控的几个指标的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

财务数据分析用什么软件好？财务数据分析的几个重要数据是什么？

财务的数据分析也分很多种的，就拿最粗略的划分来说，也可以分为3大领域—— 财务数据处理类工具财务数据挖掘类工具财务数据可视化工具在财务数据处理这一块儿，不用说，当然是以excel为主力的数据处理类工具—— excel—— 帮你整理账目、算各种钱的公式，还能画

2024年02月12日
浏览(52)
【大数据】大数据运维学习前必须知道的几个常识(1)，附架构师必备技术详解

如果我们选择了强一致性，又要满足分区容错性，就势必会牺牲一部分可用性。注意： CAP理论只适用于分布式系统 CAP理论的典型分布式系统选择CP： HBASE 选择 AP： zookeeper，HDFS 选择CA： elasticsearch 大数据技术栈数据采集和传输层： flume. logstash, sqoop,kafka,pulsar,HUE 数据存储层

2024年04月15日
浏览(44)
【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

Grafana 是一款开源的数据可视化工具，使用 Grafana 可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。解压配置 mapping 文件修改spark的metrics.properties配置文件，让其推送metrics到Graphite_exporter namenode.yaml datanode.yaml 配置 hadoop-env.sh yarn.yaml 配置 ya

2023年04月21日
浏览(59)
发现数据异常波动怎么办？别慌，指标监控和归因分析来帮你

企业搭建完善、全面的指标体系是企业用数据指导业务经营决策的第一步。但是做完指标之后，对指标的监控，经常被大家忽视。当指标发生了异常波动（上升或下降），需要企业能够及时发现，并快速找到背后真实的原因，才能针对性地制定相应策略，否则就是盲打，原地

2024年03月28日
浏览(48)
K8S篇之实现利用Prometheus监控pod的实时数据指标

一、监控部署 1、将k8s集群中kube-state-metrics指标进行收集，服务进行部署 1.1 pod性能指标（k8s集群组件自动集成） k8s组件本身提供组件自身运行的监控指标以及容器相关的监控指标。通过cAdvisor 是一个开源的分析容器资源使用率和性能特性的代理工具，集成到 Kubelet中，当Ku

2024年02月05日
浏览(58)
大数据-玩转数据-Flink恶意登录监控

对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。因此我们考虑，应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同IP）在2秒之内连续两次登录失败，就

2024年02月07日
浏览(43)
Flink Dashboard的数据监控功能

1.1 数据反压是啥数据反压是在实时数据处理中，数据处理流的某个节点上游产生数据的速度大于该节点处理数据速度，导致数据堆积，从该节点向上游传递，一直到数据源，并降低数据源的摄入速度。导致数据反压出现的常见场景，比如, GC导致短时间数据积压，数据的波动

2024年02月13日
浏览(38)
【Vue】监控路由与路由参数, 刷新当前页面数据的几种方法

目录一、Vue监控路由 1、Vue中watch监控路由 2、Vue中watch监控路由的某一个参数 3、Vue中watch同时监控多个路由二、刷新当前页面数据 1、location.reload 2、$router.go(0) 3、this.$router.resolve()与this.$router.resolve() a、this.$router.resolve() b、this.$router.push() 三、示例场景四、往期相关优质推荐

2024年02月08日
浏览(56)
第七篇【传奇开心果系列】Python自动化办公库技术点案例示例：深度解读数据分析数据挖掘的几个重要算法为代表的核心技术

在对大学生数据分析和数据挖掘时，会接触到许多重要的算法，这些算法代表了数据分析和数据挖掘领域中的一些核心技术，大学生可以通过学习和实践这些算法为代表的核心技术来提升自己的数据分析能力和数据挖掘探索分析能力。深入理解这些算法为代表的核心技术的原

2024年03月19日
浏览(57)
IO的几个模型

说到I/O模型，都会牵扯到同步、异步、阻塞、非阻塞这几个词，以下讲解这几个词的概念。阻塞和非阻塞阻塞和非阻塞指的是一直等还是可以去做其他事。阻塞(一直等水烧开)（blocking）：调用结果返回之前，调用者被挂起（当前线程进入非可执行状态，在这个状态，CPU不

2024年02月12日
浏览(45)