Flink TaskManger 内存计算实战-Toy模板网

这篇具有很好参考价值的文章主要介绍了Flink TaskManger 内存计算实战。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Flink TaskManager内存计算图

Flink TaskManger 内存计算实战,flink,大数据

计算实例

案例一、假设Task Process内存4GB。

taskmanager.memory.process.size=4096m
先排减JVM内存。

JVM Metaspace 固定内存 256m
JVM Overhead 固定比例 process * 0.1 = 4096 * 0.1 = 410m
得到 Total Flink Memory = 4096-256-410 = 3430m

计算Total Flink Memory内的各内存
基数：3430m

Framework Heap 固定内存 128m
Framework Off_Heap 固定内存 128m
Task Off-Heap 固定内存 0m
Network 固定比例 flink * 0.1 = 3430 * 0.1 = 343m
Managed Memory 固定比例 flink * 0.4 = 3430 * 0.4 = 1372m
Task Heap 剩余内存 3430-128-128-0-343-1372=1459m

案例二、指定部分参数

指定
taskmanager.memory.process.size=4096mb
taskmanager.memory.task.heap.size=2048mb
taskmanager.memory.managed.size=512mb
taskmanager.memory.network.max=128mb
基本还是基于以上计算逻辑。但是剩余内存会分配给JVM Overhead了。如下图：
Flink TaskManger 内存计算实战,flink,大数据
计算过程如下：
总Flink Process内存设置4096m
（1）JVM内存