flink任务性能优化

7月前作者：如果丶可以坑分类：Toy博客阅读(50) 违法举报

这篇具有很好参考价值的文章主要介绍了flink任务性能优化。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、使用异步算子，异步执行操作

2、将下游数据需要的数据以参数的形式向下传递

3、当服务器资源有限的情况下，慎用RocksDBStateBackend

RocksDBStateBackend performance will be poor because of the current Flink memory configuration! RocksDB will flush memtable constantly, causing high IO and CPU. Typically the easiest fix is to increase task manager managed memory size. If running locally, see the parameter taskmanager.memory.managed.size. Details: arenaBlockSize 8388608 > mutableLimit 3737299 (writeBufferSize = 67108864, arenaBlockSizeConfigured = 0, defaultArenaBlockSize = 8388608, writeBufferManagerCapacity = 4271199)

明确指出，当前内存有限的情况下，使用rocketDB会造成性能损害，因为rocketDB会不停刷内存，造成高io和高cpu。所以在小型化项目时，对状态数据要求不高时，可考虑不使用rocketDB作为状态后端文章来源地址https://www.toymoban.com/news/detail-623457.html

到了这里，关于flink任务性能优化的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【性能调优】local模式下flink处理离线任务能力分析

本文相关讨论 flink内存对任务性能的影响：通过了解内存模型，了解这些模型都负责那些工作，比如用户代码使用堆，数据通讯使用直接内存等，以便能够根据任务特点针对性调整任务内存；并发与带宽之间的关系，local模式下怎么根据带宽，设置最佳线程数；内存监控相关

2024年01月18日
浏览(57)
性能优化3-分帧寻路+寻路任务统一管理

当项目里的地图越来越大，一些性能上的问题开始逐渐出现，比如寻路。玩家在操控角色移动的时候，指引需要实时更新，同时一些npc也需要做移动，容易出现cpu占用率短时间过高，甚至掉帧的情况。去年底的时候，由于希望在性能优化方面做一些研究，在论坛找到了江南百

2023年04月19日
浏览(24)
Flink+Paimon多流拼接性能优化实战

目录（零）本文简介意外收获：（一）背景（二）探索梳理过程（三）源码改造（四）修改效果 1、JOB状态 2、Level5的dataFile总大小 3、数据延迟 4、关联率（五）未来展望：异步Compact Paimon多流拼接/合并性能优化；为解决离线T+1多流拼接数据时效性、 Flink实时

2024年02月09日
浏览(34)
SQL之优化篇：一文搞懂如何优化线上任务性能，增效降本！

继上一篇文章：SQL优化之诊断篇：快速定位生产性能问题实践。本文将从优化运行时间和优化资源消耗这两个方面，介绍可以提升作业性能的常用方法。在优化运行时间这个维度上，我们重点关注时间上的加速，单位时间内可能会消耗更多的计算资源。总成本有可能上升，也

2024年02月10日
浏览(28)
Flink 内容分享(四)：Fink原理、实战与性能优化(四)

目录 Transformations Sink 分区策略 Transformations算子可以将一个或者多个算子转换成一个新的数据流，使用Transformations算子组合可以处理复杂的业务处理。 Map DataStream → DataStream 遍历数据流中的每一个元素，产生一个新的元素。 FlatMap DataStream → DataStream 遍历数据流中的每一个元

2024年02月03日
浏览(32)
Flink CDC 2.3 发布，持续优化性能，更多连接器支持增量快照，新增 Db2 支持

01 Flink CDC 简介 Flink CDC [ 1] 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。作为新一代的实时数据集成框架，Flink CDC 具有全增量一体化、无锁读取、并行读

2024年02月01日
浏览(29)
如何解决Flink任务的数据倾斜

如何解决flink任务的数据倾斜问题 Flink 任务的数据倾斜问题可以通过以下几种方法来解决：使用滑动窗口：滑动窗口可以将窗口划分成多个子窗口，从而使数据更加均衡地分配到不同的计算节点中。同时，滑动窗口还可以使窗口内的数据更加连续，从而减少数据倾斜的情况。

2024年02月14日
浏览(35)
4.2、Flink任务怎样读取文件中的数据

目录 1、前言 2、readTextFile（已过时，不推荐使用） 3、readFile（已过时，不推荐使用） 4、fromSource(FileSource) 推荐使用思考: 读取文件时可以设置哪些规则呢？ 1. 文件的格式(txt、csv、二进制...) 2. 文件的分隔符(按n 分割) 3. 是否需

2024年02月13日
浏览(26)
4.1、Flink任务怎样读取集合中的数据

非并行数据源： def fromElements [T: TypeInformation](data: T*): DataStream[T] def fromCollection [T: TypeInformation](data: Seq[T]): DataStream[T] def fromCollection [T: TypeInformation] (data: Iterator[T]): DataStream[T] 并行数据源： def fromParallelCollection [T: TypeInformation] (dat

2024年02月13日
浏览(29)
4.3、Flink任务怎样读取Kafka中的数据

目录 1、添加pom依赖 2、API使用说明 3、这是一个完整的入门案例 4、Kafka消息应该如何解析 4.1、只获取Kafka消息的value部分 4.2、获取完整Kafka消息(key、value、Metadata) 4.3、自定义Kafka消息解析器 5、起始消费位点应该如何设置 5.1、earliest() 5.2、latest() 5.3、timestamp() 6、Kafka分区

2024年02月13日
浏览(30)