flink生成水位线记录方式--基于特殊记录的水位线生成器-Toy模板网

这篇具有很好参考价值的文章主要介绍了flink生成水位线记录方式--基于特殊记录的水位线生成器。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

在flink基于事件的时间处理中，水位线记录的生成是一个很重要的环节，本文就来记录下几种水位线记录的生成方式的其中一种：基于特殊记录的水位线生成器

基于特殊记录的水位线生成器

我们发送的事件中，如果带有某条特殊记录的元素代表了某种进度的标识的话，我们可以基于这条特殊的记录生成水位线，这样我们当收到这条特殊记录时就知道这个记录的时间戳之前的记录都已经全部收到了，也就是可以基于这条特殊记录发出水位线了。代码如下所示：

public class SpecialRecordWaterMark extends AssignerWithPunctuateWaterMarks{

public long extractTimeStamp(event Event, previousTs long){
// 抽取记录的时间戳
 return event.getTimeStamp();
}

public WaterMark checkAndGetNextWaterMark(event Event, extractedTs long){
if(event is '特殊记录'){
	//发出水位线,这里的delay可以为0，也可以为比如一分钟等数值
	return new WaterMark(extractedTs - delay)
}else{
//不发出水位线记录
}
}
}

总结

基于特殊记录的水位线生成器的最大问题时，flink是并行处理输入记录的，你如何能确保特殊记录是比正常记录后处理的？我能想到的场景是比如kafka队列，所有你要处理的记录都在某个分区中有序，特殊记录也是分区有序的情况下才能使用这种方法生成水位线文章来源地址https://www.toymoban.com/news/detail-728698.html

到了这里，关于flink生成水位线记录方式--基于特殊记录的水位线生成器的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！