Flink window 源码分析1：窗口整体执行流程-Toy模板网

这篇具有很好参考价值的文章主要介绍了Flink window 源码分析1：窗口整体执行流程。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

注：本文源码为flink 1.18.0版本。
其他相关文章：
Flink window 源码分析1：窗口整体执行流程
Flink window 源码分析2：Window 的主要组件
Flink window 源码分析3：WindowOperator
Flink window 源码分析4：WindowState

1 window 的重要组件

Window 本质上就是借助状态后端缓存着一定时间段内的数据，然后在达到某些条件时触发对这些缓存数据的聚合计算，输出外部系统。
windowedstream 源码,flink,java,大数据,big data
其主要组件有：Window Assigners、Triggers、Evictors。这三个组件的详细讲解请看笔记：Flink window 源码分析2：Window 的主要组件。

Window Assigners
Window assigner 定义了 stream 中的元素如何被分发到各个窗口。
Time Window 会创建一个 EventTimeTrigger 用来制定窗口触发时间。Count Window 和 GlobalWindow需要指定窗口触发器。
可以通过继承 WindowAssigner 抽象类实现自定义。
Triggers
决定窗口是否触发。
Trigger 接口中有些主要的方法：onElement、onEventTime、onProcessingTime。
Evictors（可选择是否指定）
在 trigger 触发后、调用窗口函数之前或之后从窗口中删除元素。
指定 evictors 可以避免预聚合（pre-aggregation），因为窗口内所有元素必须在应用计算之前传递给 evictors。
Flink 不保证窗口内元素的顺序。这意味着虽然 evictors 可以从窗口的开头移除元素，但这些元素不一定是先到的还是后到的。

2 window 的触发过程

KeyedStream 调用 window 函数会生成 WindowStream。WindowedStream 可以调用 reduce、aggregate、apply、process 等函数。以下是 window 函数使用示例。

source.keyBy((KeySelector<Tuple2<Long, String>, String>) value -> value.f2)  
.window(TumblingEventTimeWindows.of(Time.seconds(60)))  
.apply(...);

window 函数源码如下。返回了一个 WindowedStream。

@PublicEvolving  
public <W extends Window> WindowedStream<T, KEY, W> window(  
        WindowAssigner<? super T, W> assigner) {  
    return new WindowedStream<>(this, assigner);  
}

观察 reduce、aggregate、apply、process 等处理函数，会看到会进一步调用属性 builder 的对应的 reduce、aggregate、apply、process 方法。以 reduce 源码为例，可以看到倒数第2行 builder.reduce。

@Internal  
public <R> SingleOutputStreamOperator<R> reduce(  
        ReduceFunction<T> reduceFunction,  
        ProcessWindowFunction<T, R, K, W> function,  
        TypeInformation<R> resultType) {  
    // clean the closures  
    function = input.getExecutionEnvironment().clean(function);  
    reduceFunction = input.getExecutionEnvironment().clean(reduceFunction);  
  
    final String opName = builder.generateOperatorName();  
    final String opDescription = builder.generateOperatorDescription(reduceFunction, function);  
    OneInputStreamOperator<T, R> operator = builder.reduce(reduceFunction, function);  
  
    return input.transform(opName, resultType, operator).setDescription(opDescription);  
}

builder 是 WindowOperatorBuilder，在 WindowedStream 的构造函数中有其初始化。builder 定义为：

private final WindowOperatorBuilder<T, K, W> builder;

进一步观察 builder.reduce()，看到其最终返回是 WindowOperator。在函数返回时会判断evictor是否为空，走不同的构造 WindowOperator 的逻辑，如果 evictor 不为空就构造 EvictingWindowOperator 对象，否则就构造 WindowOperator 对象，其实 EvictingWindowOperator 是 WindowOperator 的一个子类，只是多了一个删除数据的逻辑。WindowOperator 在创建时会传入一个 StateDescriptor 用于创建状态，存储中间结果或元素。
WindowOperator 的具体分析见：WindowOperator 的分析笔记。文章来源地址https://www.toymoban.com/news/detail-793899.html

public <R> WindowOperator<K, T, ?, R, W> reduce(  
        ReduceFunction<T> reduceFunction, WindowFunction<T, R, K, W> function) {  
    Preconditions.checkNotNull(reduceFunction, "ReduceFunction cannot be null");  
    Preconditions.checkNotNull(function, "WindowFunction cannot be null");  
  
    if (reduceFunction instanceof RichFunction) {  
        throw new UnsupportedOperationException(  
                "ReduceFunction of apply can not be a RichFunction.");  
    }  
  
    if (evictor != null) {  
        return buildEvictingWindowOperator(  
                new InternalIterableWindowFunction<>(  
                        new ReduceApplyWindowFunction<>(reduceFunction, function)));  
    } else {  
        ReducingStateDescriptor<T> stateDesc =  
                new ReducingStateDescriptor<>(  
                        WINDOW_STATE_NAME, reduceFunction, inputType.createSerializer(config));  
  
        return buildWindowOperator(  
                stateDesc, new InternalSingleValueWindowFunction<>(function));  
    }  
}