1.为什么要学窗口
流式计算,一般有两种场景:
-
无限制的流式计算,比如:wordcount案例,它没有任何外部的限制条件,这种情况不多。
-
有限制的流式计算,比如:统计早高峰时间内经过某个道路的车辆数。
对于第二种情况来说,我们需要加上额外的限制条件。最常用的限制条件就是时间了。
这个时间段,在程序中,就用一个窗口来表示。
也就是说,窗口的作用:把流式计算转换为批量计算,窗口是流转批的一个桥梁。
这就是为什么要学窗口的原因了。
2.Flink中的窗口
在Flink中,窗口可以分为如下几类:
-
滚动窗口(Tumble)
-
滑动窗口(hop、Slice)
-
会话窗口(session)
-
渐进式窗口(cumulate)
-
聚合窗口(over)
3.滚动窗口(Tumble)
3.1 概念
滚动窗口 :窗口大小 = 滚动距离(时间间隔)文章来源:https://www.toymoban.com/news/detail-436080.html
特点:上一个窗口的结束就是下一个窗口的开始,数据不重复、也不丢失。文章来源地址https://www.toymoban.com/news/detail-436080.html
3.2案例 - SQL
#1.创建source表
CREATE TABLE source_table (
user_id STRING,
price BIGINT,
`timestamp` bigint,
row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
watermark for row_time as row_time - interval '0' second
) WITH (
'connector' = 'socket',
'hostname' = 'node1',
'port' = '9999',
'format' = 'csv'
);
#2.语法
tumble(事件时间列,窗口大小)
窗口大小是用户自定义的。比如30分钟、1小时等。
直接把tumble窗口放在group by语句后即可。
比如:tumble(row_time,interval '5' second)
含义:定义一个5秒大小的滚动窗口。
#3.数据处理
select
user_id,
count(*) as pv,
sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000 as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000 as window_end
from source_table
group by
user_id,
tumble(row_time, interval '5' second);
到了这里,关于Flink的窗口机制【博学谷学习记录】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!