1.Flink的Slot特点:
-
- 均分隔离内存,不隔离CPU
-
- 可以共享:
- 同一个job中,不同算子的子任务才可以共享同一个slot,同时在运行的前提是,属于同一个slot共享组,默认都是“default”
2.Slot的数量 与 并行度 的关系
-
- slot 是一种静态的概念,表示最大的并发上线
- 并行度是个动态的概念,表示 实际运行 占用了 几个
-
- 要求:slot数量 >= job并行度(算子最大并行度),job才能运行
- 注意:如果是yarn模式,动态申请
申请的TM数量 = job并行度 / 每个TM的 slot 数,向上取整
比如session:一开始 0 个TaskManager,0个slot
提交一个job,并行度10, 每个tm设置3个slot,10/3,向上取整,申请4个tm,使用10个slot,剩余2个slot
Standalone会话模式作业提交流程
1)脚本启动执行,客户端先解析参数比如-t,-p,-c会进行解析等,之后多了一个细节,就涉及到Flink一个文章来源地址https://www.toymoban.com/news/detail-657280.html
文章来源:https://www.toymoban.com/news/detail-657280.html
到了这里,关于Flink-----Standalone会话模式作业提交流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!