flink集群与资源@k8s源码分析-运行时

7月前作者：中间件XL 分类：Toy博客阅读(32) 违法举报

这篇具有很好参考价值的文章主要介绍了flink集群与资源@k8s源码分析-运行时。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1 运行时

运行时提供了Flink作业运行过程依赖的基础执行环境，包含Dispatcher、ResourceManager、JobManager和TaskManager等核心组件，本节分析资源相关运行时组件构建和启动。

flink没有使用spring，缺少ioc的构建过程相当复杂，所有依赖手动关联和置入，为了共享组件，flink使用了很多中间持有共享组件的中间对象。

2 场景

flink集群与资源@k8s源码分析-运行时,flink集群和资源源码分析,flink,kubernetes,大数据

3 构建和启动flink master组件

部署集群通过flink kubeclient向k8s集群管理提交flink master的Deployment，触发flink master构建和启动

flink集群与资源@k8s源码分析-运行时,flink集群和资源源码分析,flink,kubernetes,大数据

上图是构建和启动的交互图，参看《构建作业管理器部署规格》的CmdJobManagerDecorator设置了初始容器脚本和参数，集群初始入口ClusterEntryPoint

1. 容器初始执行kubernetes-jobmanager.sh

ClusterEntryPoint设置为KubernetesSessionClusterEntrypoint

2.
KubernetesSessionClusterEntrypoint继承SessionClusterEntrypoint，只重新实现createDispatcherResourceManagerComponentFactory方法&文章来源地址https://www.toymoban.com/news/detail-731596.html

到了这里，关于flink集群与资源@k8s源码分析-运行时的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

搭建单机版K8S运行Flink集群

环境要求操作系统： CentOS 7.x 64位 Kubernetes版本：v1.16.2 Docker版本：19.03.13-ce Flink版本：1.14.3 使用中国YUM及镜像源 1.安装Kubernetes： 1.1 创建文件：/etc/yum.repos.d/kubernetes.repo，内容如下： 1.2 执行安装命令： 1.3 启动kubelet服务并设置开机自启： 2.安装Docker： 2.1 创建文件：

2023年04月26日
浏览(33)
K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路

故障一：Pod数量太多超出物理节点的限制每一台Node节点中默认限制最多运行110个Pod资源，当一个应用程序有成百上千的Pod资源时，如果不扩容Node节点或者修改最大Pod数量限制，那么就会导致部分Pod资源无法正常运行，因为节点已经没有资源可以被调度了。解决思路就是扩容

2024年02月02日
浏览(36)
【云原生 | Kubernetes 系列】— 部署K8S 1.28版本集群部署（基于Containerd容器运行）

主机名 IP地址备注 k8s-master01 192.168.0.109 master k8s-node1 192.168.0.108 node1 k8s-node2 192.168.0.107 node1 k8s-node3 192.168.0.105 node1 1、主机配置 2、升级内核 3、配置内核转发以及过滤 4、安装ipset ipvsadm,IPVS（IP Virtual Server）是一个用于负载均衡的 Linux 内核模块，它可以用来替代 kube-proxy 默认的

2024年02月20日
浏览(50)
云原生Kubernetes：K8S集群实现容器运行时迁移(docker → containerd) 与版本升级(v1.23.14 → v1.24.1)

目录一、理论 1.K8S集群升级 2.环境 3.升级策略 4.master1节点迁移容器运行时(docker → containerd) 5.master2节点迁移容器运行时(docker → containerd) 6.node1节点容器运行时迁移(docker → containerd) 7.升级集群计划（v1.23.14 → v1.24.1） 8.升级master1节点版本（v1.24.1） 9.升级master2节点版本

2024年02月03日
浏览(47)
K8s(Kubernetes)学习（二）：k8s集群搭建

minikube 只是一个 K8S 集群模拟器，只有一个节点的集群，只为测试用，master 和 worker 都在一起。裸机安装至少需要两台机器（主节点、工作节点个一台），需要自己安装 Kubernetes 组件，配置会稍微麻烦点。缺点：配置麻烦，缺少生态支持，例如负载均衡器、云存储。直接用

2024年02月09日
浏览(47)
（kubernetes）k8s常用资源管理

目录 k8s常用资源管理 1、创建一个pod 1）创建yuml文件 2）创建容器 3）查看所有pod创建运行状态 4）查看指定pod资源 5）查看pod运行的详细信息 6）验证运行的pod 2、pod管理 1）删除pod 2）查看删除pod无法找到 3）创建pod 4）发现最先创建的pod运行在k8s-master节点上，下载镜像速度太

2024年02月13日
浏览(38)
kubernetes/k8s配置资源管理

配置资源管理 Secret Configmap*.1.2加入新特征 1.18 Secret:保存密码，token，敏感的k8s资源这类数据可以存放在镜像当中，但是防止secret可以更方便的控制，减少暴漏风险。保存加密的信息 Secret的类型: docker-registry:存储docker仓库认证信息，以及docker组件的认证信息(私有的) generic:是

2024年01月17日
浏览(39)
Kubernetes(K8S)集群部署

目录一、创建3台虚拟机二、为每台虚拟机安装Docker 三、安装kubelet 3.1 安装要求 3.2 为每台服务器完成前置设置 3.3 为每台服务器安装kubelet、kubeadm、kubectl 四、使用kubeadm引导集群 4.1 master服务器 4.2 node1、node2服务器 4.3 初始化主节点 4.4 work节点加入集群五、token过期怎么办？

2024年02月07日
浏览(63)
kubernetes（k8s） pod（资源限制、基础概念）

目录一、资源限制 1、概念 1.2、Pod和容器的资源请求和限制 1.3、CPU资源单位 1.4、内存资源单位 1.5、CPU和内存的Requests和Limits的特点 1.6、案例二、pod 的两种使用方式三、pod 资源共享四、底层容器Pause 1、pause 共享资源 1.1、网络 1.2、存储 1.3、小结 2、Pause主要功能 3、Pod

2024年02月05日
浏览(52)
Kubernetes（k8s）核心资源解析：Pod详解

💖The Begin💖点点关注，收藏不迷路💖 Pod是Kubernetes中最小的调度单元，它可以包含一个或多个容器。Pod中的所有容器共享网络和存储卷，它们一起运行在同一个节点上。Pod提供了一种抽象层，使得容器可以作为一个逻辑单元来管理。 Pod中的容器共享IP地址、端口空间和存储

2024年04月11日
浏览(54)