flink水位线传播及任务事件时间

7月前作者：lixia0417mul2 分类：Toy博客阅读(37) 违法举报

这篇具有很好参考价值的文章主要介绍了flink水位线传播及任务事件时间。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

本文来讲解一下flink的水位线传播及对其对任务事件时间的影响

水位线

首先flink是通过从源头生成水位线记录的方式来实现水位线传播的，也就是说水位线是嵌入在正常的记录流中的特殊记录，携带者水位线的时间戳，以下我们就通过图片的方式来讲解下水位线是如何传播以及更新任务的事件时间的.
flink水位线传播及任务事件时间,flink,flink,大数据
如上图所示，任务中的事件时间等于任务中收到的前置任务中的最小水位线时间，然后任务会把当前任务的事件时间通过广播的方式向下游传播.

总结

从水位线的更新我们可以知道它依赖于前置的每个任务周期性的推进对应分区的水位线时间，也就是如果某个分区的水位线时间一直不更新，那么任务的事件时间就会没法更新，这样也就导致一直没法触发时间相关算子任务的计算，从而导致该任务只能不停的缓冲其他分区的记录流，从而导致状态大小膨胀以及内存消耗的增加，甚至导致OOM的严重后果，所以所有分区的水位线必须有规律的递增，并且相互之间不能相差太大。文章来源地址https://www.toymoban.com/news/detail-588068.html

到了这里，关于flink水位线传播及任务事件时间的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【Flink】Flink 中的时间和窗口之水位线(Watermark)

这里先介绍一下什么是时间语义，时间语义在Flink中是一种很重要的概念，下面介绍的水位线就是基于时间语义来讲的。在Flink中我们提到的时间语义一般指的是事件时间和处理时间：处理时间(Processing Time) ，一般指执行处理操作的系统时间，也就是Flink的窗口算子

2024年02月07日
浏览(36)
【API篇】十一、Flink水位线传递与迟到数据处理

上游task处理完水位线，时钟改变后，要把数据和当前水位线继续往下游算子的task发送。当一个任务接收到多个上游并行任务传递来的水位线时，以最小的那个作为当前任务的事件时钟。如图：上游算子并行度为4，：总结：接收到上游多个，取最小往下游多个发送，广播

2024年02月08日
浏览(32)
flink生成水位线记录方式--周期性水位线生成器

在flink基于事件的时间处理中，水位线记录的生成是一个很重要的环节，本文就来记录下几种水位线记录的生成方式的其中一种：周期性水位线生成器 1.1 BoundedOutOfOrdernessTimeStampExtractor 他会接收一个表示最大延迟的参数，比如1分钟，意味着如果到达的元素的事件时间和之前到

2024年02月07日
浏览(35)
flink生成水位线记录方式--基于特殊记录的水位线生成器

在flink基于事件的时间处理中，水位线记录的生成是一个很重要的环节，本文就来记录下几种水位线记录的生成方式的其中一种：基于特殊记录的水位线生成器我们发送的事件中，如果带有某条特殊记录的元素代表了某种进度的标识的话，我们可以基于这条特殊的记录生成水

2024年02月07日
浏览(34)
flink水位线

目录一、什么是水位线 1》有序流中的水位线 2》乱序流中的水位线 3》水位线特性二、水位线和窗口的工作原理 1》窗口三、生成水位线 1》生成水位线的总体原则 2》水位线生成策略 3》 Flink内置水位线四、自定义水位线生成器 1》周期性水位线生成器（Periodic Generator）

2024年04月23日
浏览(20)
【FLink】水位线（Watermark）

目录 1、关于时间语义 1.1事件时间 1.2处理时间编辑 2、什么是水位线 2.1 顺序流和乱序流 2.2乱序数据的处理 2.3 水位线的特性 3 、水位线的生成 3.1 生成水位线的总体原则 3.2 水位线生成策略 3.3 Flink内置水位线 3.3.1 有序流中内置水位线设置 3.4.2 断点式水位线生成器（Punc

2024年02月21日
浏览(33)
【入门Flink】- 09Flink水位线Watermark

在窗口的处理过程中，基于数据的时间戳，自定义一个 “逻辑时钟” 。这个时钟的时间不会自动流逝；它的时间进展，就是靠着新到数据的时间戳来推动的。用来衡量事件时间进展的标记，就被称作 “水位线”（Watermark）。具体实现上，水位线可以看作一条特殊的数

2024年01月17日
浏览(35)
Flink之Watermark水印、水位线

在Apache Flink中，Watermark（水印）是一种用于处理事件时间（eventtime）的时间指示器。它模拟了事件流中事件时间进展的概念。事件时间是指事件实际发生的时间，在分布式流处理中经常用于处理无序事件流。然而，由于网络延迟、乱序事件的到达以及分布式处理的特点，事件

2024年02月08日
浏览(31)
Flink-水位线的设置以及传递

6.2.1 概述分类有序流无序流判断的时间延迟延迟时间判定 6.2.2 水位线的设置分析 DataStream下的assignTimstampsAndWatermarks方法，返回SingleOutputStreamOperator本质还是个算子，传入的参数是WatermarkStrategy的生成策略但是WatermarkStrategy是一个接口有序流因此调用静态方法forMonotonousT

2023年04月15日
浏览(24)
Flink详解系列之五--水位线（watermark）

1、概念在Flink中，水位线是一种衡量Event Time进展的机制，用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现。从设备生成实时流事件，到Flink的source，再到多个oparator处理数据，过程中会受到网络延迟、背压等多种因素影响造成数据乱序。在进行窗口处

2024年02月13日
浏览(31)