Flink-任务槽和并行度的关系

9月前作者：青云游子分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了Flink-任务槽和并行度的关系。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

任务槽和并行度都跟程序的并行执行有关，但两者是完全不同的概念。简单来说任务槽是静态的概念，是指TaskManager具有的并发执行能力，可以通过参数taskmanager.numberOfTaskSlots进行配置；而并行度是动态概念，也就是TaskManager运行程序时实际使用的并发能力，可以通过参数parallelism.default进行配置。

举例说明：假设一共有3个TaskManager，每一个TaskManager中的slot数量设置为3个，那么一共有9个task slot，表示集群最多能并行执行9个算子。

而我们定义word count程序的处理操作是四个转换算子：

source→ flatmap→ reduce→ sink

当所有算子并行度相同时，容易看出source和flatmap可以合并算子链，于是最终有三个任务节点。

Flink-任务槽和并行度的关系,Flink,flink,大数据

Flink-任务槽和并行度的关系,Flink,flink,大数据

Flink-任务槽和并行度的关系,Flink,flink,大数据

Flink-任务槽和并行度的关系,Flink,flink,大数据

通过这个例子也可以明确地看到，整个流处理程序的并行度，就应该是所有算子并行度中最大的那个，这代表了运行程序需要的slot数量。文章来源地址https://www.toymoban.com/news/detail-515933.html

到了这里，关于Flink-任务槽和并行度的关系的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

4.1、Flink任务怎样读取集合中的数据

非并行数据源： def fromElements [T: TypeInformation](data: T*): DataStream[T] def fromCollection [T: TypeInformation](data: Seq[T]): DataStream[T] def fromCollection [T: TypeInformation] (data: Iterator[T]): DataStream[T] 并行数据源： def fromParallelCollection [T: TypeInformation] (dat

2024年02月13日
浏览(47)
4.2、Flink任务怎样读取文件中的数据

目录 1、前言 2、readTextFile（已过时，不推荐使用） 3、readFile（已过时，不推荐使用） 4、fromSource(FileSource) 推荐使用思考: 读取文件时可以设置哪些规则呢？ 1. 文件的格式(txt、csv、二进制...) 2. 文件的分隔符(按n 分割) 3. 是否需

2024年02月13日
浏览(40)
4.3、Flink任务怎样读取Kafka中的数据

目录 1、添加pom依赖 2、API使用说明 3、这是一个完整的入门案例 4、Kafka消息应该如何解析 4.1、只获取Kafka消息的value部分 4.2、获取完整Kafka消息(key、value、Metadata) 4.3、自定义Kafka消息解析器 5、起始消费位点应该如何设置 5.1、earliest() 5.2、latest() 5.3、timestamp() 6、Kafka分区

2024年02月13日
浏览(41)
【Flink精讲】Flink性能调优：CPU核数与并行度

提交任务命令： bin/flink run -t yarn-per-job -d -p 5 指定并行度 -Dyarn.application.queue=test 指定 yarn 队列 -Djobmanager.memory.process.size=2048mb JM2~4G 足够 -Dtaskmanager.memory.process.size=4096mb 单个 TM2~8G 足够 -Dtaskmanager.numberOfTaskSlots=2 与容器核数 1core： 1slot 或 2core： 1slot -c com.atguigu.flin

2024年04月11日
浏览(46)
Flink学习笔记（七）并行度详解

一个Flink程序由多个任务（Source、Transformation和Sink）组成。一个任务由多个并行实例（线程）来执行，一个任务的并行实例（线程）数目被称为该任务的并行度。 Flink是一个分布式流处理框架，它基于TaskManager和Slot来实现任务的执行。TaskManager是Flink中负责运行任务的工作进程

2024年02月09日
浏览(42)
flink算子的并行度设置方法

#flink算子的并行度设置方法并行度（Parallelism）是flink中一个非常重要的概念，它主要是指一个算子可以被分的子任务数，通常越高就意味着算子计算速度越快。如上图所示，map()算子的并行度为2，window()算子的并行度也为2，也可以说整个数据流的并行度就是2。并行度的设置

2024年03月17日
浏览(52)
十八、Flink自定义多并行Source

1、概述 1）作用自定义多并行的Source，即Source的并行度可以是1到多个。 2）实现 1.继承RichParallelSourceFunction，重写run()方法。 2、代码实现

2024年02月08日
浏览(36)
Flink TaskSlot，算子链和并行度

Flink TaskSlot，算子链和并行度 (108条消息) Flink TaskSlot与并行度_flink slot和并行度的关系_保护我方胖虎的博客-CSDN博客

2024年02月15日
浏览(46)
Flink-intervalJoin源码和并行度问题

底层用的是connect 把两个流的数据先保存到状态中先判断有没有迟到，迟到就放到侧输出流再根据范围找数据然后根据上界删除数据多个上游，一个下游，下游取最小的一个上游，多个下游，广播多个上游，多个下游，先广播，再取最小的注意：水位线会减1ms 有可

2024年02月16日
浏览(35)
增加并行度后，发现Flink窗口不会计算的问题。

窗口没有关闭计算的问题，一直困扰了很久，经过多次验证，确定了问题的根源。 Flink使用了window，同时使用了watermark ，并且还设置了较高的并行度。生产是设置了300的并行度，并且接入了几十个topic ，这个地方划重点，后面会提到。结果就是，窗口没有关闭进行计算。于

2024年02月06日
浏览(46)