Flink 系例 之 Dashboard 安装与界面操作

这篇具有很好参考价值的文章主要介绍了Flink 系例 之 Dashboard 安装与界面操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例,本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。

Apache Flink Dashboard 是 Flink 的客户端管理控制平台,也是 JOB 运行时任务跟踪与管理的显示平台。撑握基本的应用是学习 Flink 必备的,通过管理控制台界面的操作,我们能够知晓:

  • Task JOB 的运行健康状态;

  • 上传打包的客户端应用程序;

  • 运行 Task JOB 如何分配可用资源;

  • 启停 Task JOB 任务、查看 Task JOB 执行能力;

  • 查看 Task JOB 监控维度指标;

安装 Flink 服务

参见另一文章: linux 安装 flink 1.11.1

Dashboard 基本操作

参考上述 “安装 Flink 服务” 后,访问:http://localhost:8081

主页

Flink 系例 之 Dashboard 安装与界面操作

默认进入的是客户端主页,在主页中显示 Available Task Slots(翻译过来叫可用的任务槽),是 Flink 根据 flink-1.11.1/conf/flink-conf.yaml 配置文件中的 taskmanager.numberOfTaskSlots 值显示,按照网上有一个 Flink Task Slots 计算公式:

Flink Available Task Slots = Total Task Slots - 每个任务中的最大并行数(Parallelism)

但我个人的理解,即当前 TaskJOB 中所有算子并行度合计的最大可用数,即为 Flink Available Task Slots 的剩余数;

这个我没有认真去求证,但有一篇博文件可以作为参考来理解 slot https://blog.csdn.net/kzw11/article/details/104016868

所以实际生产使用,需要评估 job 客户端运用量,以免无法最大化发挥与利用平台有效资源;

  • 左上为集群数量;

  • 右上为正在运行任务数量;

  • 中间为运行任务作业列表;

  • 下方为已完成的任务作业列表;

完成的工作

Flink 系例 之 Dashboard 安装与界面操作

Completed Jobs 列表中显示 Job 名称,起动进间,用时时长,结束时间,任务个数(起始个数,已完成个数,失败任务,未运行任务),Status: 显示完成状态(falied:失败,finished: 已完成)

任务总览

Flink 系例 之 Dashboard 安装与界面操作

从运行列表中点击 JOB 名称,进入 JOB 作业的详细监控界面

  • 上方显示任务名,此次执行任务的标识 ID,开始时间,结束时间,执行时长;

  • 中间为执行流程,请示数据流的输入,算子运行模型,数据流的输出;

  • 下方列表分别为:数据源,计算方式,已计算的字节大小,并行度,起动时间,用时进长结束时间等,任务个数等;

Job 作业管理

用于显示当前作业的服务信息与运行时的服务日志、客户端打印日志等;

Flink 系例 之 Dashboard 安装与界面操作
  • Configuration:显示当前 jobManager 的所在主机的基本信息(jobManager 在 master 服务上运行),如:服务地址,端口,内存池大小,CPU 总进程数,数据缓存临时目录,ssh 端口等;

  • Logs:为 jobManager 运行时的服务日志

  • Stdout:为运行客户端时向控制台输出的日志信息

  • Log List:flink 平台所有日志清单,有多种类型的输出日志文件,点击对应的日志文件名,可实时查看当前 Job 作业的打印日志,一般在此列表中排查 job 作业的运行故障日志;

提交新工作

1.Add New:新建客户端,点击按钮弹出窗口,添加与选择本地目录下的客户端 jar 包,将客户端上传 Job 列表;

2. 点击列表中 JobName,则显示参数与配置项,输入相关配置,点击 Submit 提交与运行 Job 任务;

3. 任务提交后,则可以 “任务总览” 界面查看 Task JOB 运行过程与运行状态;

Flink 系例 之 Dashboard 安装与界面操作

说明:

  • 事件执行类 Entry Class: com.flink.demo.FlinkWordCount

  • 执行参数 Program Arguments:/opt/flink-1.11.1/temp/2.txt

  • 并行度数量 Parallelism:1(可改)

Apache Flink Dashboard 界面总体功能不多,但简捷实用,对于后续监控、跟踪、管理 Task JOB 有不可缺的作用,尽可能多熟悉操作界面的功能与指标。文章来源地址https://www.toymoban.com/news/detail-447560.html

到了这里,关于Flink 系例 之 Dashboard 安装与界面操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云原生-K8s】k8s可视化管理界面安装配置及比较【Dashboard UI篇】

    Dashboard 是基于网页的 Kubernetes 用户界面。 你可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中,也可以对容器应用排错,还能管理集群资源。 你可以使用 Dashboard 获取运行在集群中的应用的概览信息,也可以创建或者修改 Kubernetes 资源 (如 Deployment,Job,DaemonSet 等等)。

    2024年02月13日
    浏览(41)
  • Flink Dashboard的数据监控功能

    1.1 数据反压是啥 数据反压是在实时数据处理中,数据处理流的某个节点上游产生数据的速度大于该节点处理数据速度,导致数据堆积,从该节点向上游传递,一直到数据源,并降低数据源的摄入速度。导致数据反压出现的常见场景,比如, GC导致短时间数据积压,数据的波动

    2024年02月13日
    浏览(36)
  • 2-5 K8s图形化管理界面dashboard

    kubernetes中管理集群中资源的方式通常有四种:命令行、YAML、API和图形界面。其中dashboard是K8s官方的图形界面工具。使用简单,操作方便,能监控node和pod等。 dashboard是通过yaml和镜像搭建的。先在github网站找到与k8s集群版本兼容性打√的版本,再下载对应的yaml文件: dashboar

    2024年02月06日
    浏览(37)
  • k8s界面化平台dashboard、kubesphere、Rancher对比

    k8s集群管理dashboard有很多,比如kuboard、官方发dashboard、kubesphere、Rancher等等。 Dashboard、KubeSphere 和 Rancher 都是流行的 Kubernetes 管理和操作界面。它们都提供了图形化的用户界面,以简化对 Kubernetes 集群的管理和监控。每个工具都有其独特的特点和优势,并且适用于不同的使用

    2024年02月13日
    浏览(29)
  • Docker部署Traefik结合内网穿透远程访问Dashboard界面

    Træfɪk 是一个云原生的新型的 HTTP 反向代理、负载均衡软件,能轻易的部署微服务。它支持多种后端 (Docker, Swarm, Mesos/Marathon, Consul, Etcd, Zookeeper, BoltDB, Rest API, file…) , 可以对配置进行自动化、动态的管理. Træfɪk 支持docker一键部署,内置 Web UI,管理相对方便,下面介绍Linux 本地

    2024年01月16日
    浏览(32)
  • Linux本地docker一键部署traefik+cpolar实现远程访问dashboard界面

    Træfɪk 是一个云原生的新型的 HTTP 反向代理、负载均衡软件,能轻易的部署微服务。它支持多种后端 (Docker, Swarm, Mesos/Marathon, Consul, Etcd, Zookeeper, BoltDB, Rest API, file…) , 可以对配置进行自动化、动态的管理. Træfɪk 支持docker一键部署,内置 Web UI,管理相对方便,下面介绍Linux 本地

    2024年02月04日
    浏览(42)
  • 番外3:下载+安装VMware(前期准备)

    step1: 查看自己笔记本电脑配置; step2: 下载并安装VMware (下载地址www.kkx.net/soft/16841.html)这里选择本地普通下载; step3: 安装VMware过程中需要填写密钥(本人用的最后一个) ; #UU54R-FVD91-488PP-7NNGC-ZFAX6 #YC74H-FGF92-081VZ-R5QNG-P6RY4 YC34H-6WWDK-085MQ-JYPNX-NZRA2

    2024年02月07日
    浏览(35)
  • Flink入门——基础知识,Linux安装,Docker安装

    在linux部署Flink需要先安装Java的JDK。 Flink的安装包,需要到官网先下载。 官网下载地址:https://flink.apache.org/downloads/ 各个版本下载地址:https://dlcdn.apache.org/flink/ Flink相关网站如下: flink官网学习地址:https://nightlies.apache.org/flink/flink-docs-stable/docs/try-flink/local_installation/ flinkCD

    2024年02月22日
    浏览(39)
  • hexo+GitHub搭建个人博客前期安装部署

    安装Git ==================================================================== 什么是Git Git是目前世界上最先进的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。也是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。Git也是你博客平台

    2024年04月22日
    浏览(66)
  • Openstack使用Dashboard进行镜像操作、管理实例等其他操作

    一、OpenStack 介绍 OpenStack为私有云和公有云提供可扩展的弹性的云计算服务云计算服务云计算服务。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。 二、OpenStack 能做什么 OpenStack的主要目标是管理数据中心的资源,简化资源分配。它管理三部分

    2024年02月11日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包