Flink的窗口机制【博学谷学习记录】

这篇具有很好参考价值的文章主要介绍了Flink的窗口机制【博学谷学习记录】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.为什么要学窗口

流式计算,一般有两种场景:

  • 无限制的流式计算,比如:wordcount案例,它没有任何外部的限制条件,这种情况不多。

  • 有限制的流式计算,比如:统计早高峰时间内经过某个道路的车辆数。

对于第二种情况来说,我们需要加上额外的限制条件。最常用的限制条件就是时间了。

这个时间段,在程序中,就用一个窗口来表示。

也就是说,窗口的作用:把流式计算转换为批量计算,窗口是流转批的一个桥梁

这就是为什么要学窗口的原因了。

2.Flink中的窗口

在Flink中,窗口可以分为如下几类:

  • 滚动窗口(Tumble)

  • 滑动窗口(hop、Slice)

  • 会话窗口(session)

  • 渐进式窗口(cumulate)

  • 聚合窗口(over)

3.滚动窗口(Tumble)

3.1 概念

滚动窗口 :窗口大小 = 滚动距离(时间间隔)

特点:上一个窗口的结束就是下一个窗口的开始,数据不重复、也不丢失。文章来源地址https://www.toymoban.com/news/detail-436080.html

3.2案例 - SQL

#1.创建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval '0' second
) WITH (
  'connector' = 'socket',
  'hostname' = 'node1',        
  'port' = '9999',
  'format' = 'csv'
);



#2.语法
tumble(事件时间列,窗口大小)
窗口大小是用户自定义的。比如30分钟、1小时等。
直接把tumble窗口放在group by语句后即可。

比如:tumble(row_time,interval '5' second)
含义:定义一个5秒大小的滚动窗口。



#3.数据处理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval '5' second);

到了这里,关于Flink的窗口机制【博学谷学习记录】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Unity为什么单击动画文件后,没有动画的预览窗口?

    单击一个动画文件之后,没有出现动画的预览窗口(如图0.1)。 动画预览窗口只是被隐藏了,向上拖拉右下角的双横线,即可打开动画预览窗口。(如图0.2) 如图0.3,动画预览窗口显现了。

    2024年02月12日
    浏览(57)
  • 为什么我的微信小程序开发工具调试窗口一片空白?

    解决方案 先卸载现在版本,更新了一下微信小程序开发工具就好啦! 如果消息显示调试器加载错误,从任务栏打开工具可能导致该问题,那么就从桌面上打开,就能看见调试器中的内容了。

    2024年02月11日
    浏览(91)
  • 记录--居中为什么要使用 transform?

    居中是我们在前端布局中经常会遇到的问题,其中包括水平居中和垂直居中。居中的方法很多,比如说水平居中可以使用 text-align: center 或者 margin: 0 auto 等等来实现,垂直居中则需要使用一些其它的特殊的技巧。比如说常见的做法是使用 transform 来实现垂直居中, margin-top 或

    2024年02月05日
    浏览(43)
  • 为什么WebSocket需要前端心跳检测,有没有原生的检测机制?

    本文代码 github、gitee、npm 在web应用中,WebSocket是很常用的技术。通过浏览器的WebSocket构造函数就可以建立一个WebSocket连接。但当需要应用在具体项目中时,几乎都会进行心跳检测。 设置心跳检测,一是让通讯双方确认对方依旧活跃,二是浏览器端及时检测当前网络线路可用

    2024年02月03日
    浏览(64)
  • 关于为什么图像为BGR格式在窗口上看起来也是正常的颜色

    在OpenCV中, cv2.imshow() 函数会根据图像的通道顺序自动进行颜色通道的转换,以正确显示图像。 当使用BGR格式的图像作为输入时, cv2.imshow() 函数会自动将其转换为RGB格式进行显示。这样做的目的是为了与许多其他图像处理库和常见的图像显示方式保持一致,因为在这些情况

    2024年02月11日
    浏览(52)
  • 记录--为什么没有人能讲清楚 BFC?

    CSS 规范(英文) | 中文翻译 浮动,绝对定位的元素,非块盒的块容器(例如inline-blocks,table-cells和table-captions),以及’overflow’不为’visible’的块盒(当该值已被传播到视口时除外(except when that value has been propagated to the viewport))会为其内容建立新的块格式化上下文 在一个

    2024年02月05日
    浏览(48)
  • 面试官:Tomcat 为什么要破坏 Java 双亲委派机制?被问傻眼了。。。

    来源:www.jianshu.com/p /abf6fd4531e7 我想,在研究tomcat 类加载之前,我们复习一下或者说巩固一下java 默认的类加载器。楼主以前对类加载也是懵懵懂懂,借此机会,也好好复习一下。 楼主翻开了神书《深入理解Java虚拟机》第二版,p227, 关于类加载器的部分。请看: 代码编译的

    2024年02月10日
    浏览(42)
  • 记录--为什么推荐用svg而不用icon?

    使用背景: 1.因为svg图标在任何设备下都可以高清显示,不会模糊。而icon会在显卡比较低的电脑上有显示模糊的情况 2.svg图标在页面render时 速度会比icon稍微快一点 3.实现小程序换肤功能 ;方案见:www.yuque.com/lufeilizhix… SVG基础可参考:www.yuque.com/lufeilizhix… inline svg是目前前

    2024年02月08日
    浏览(52)
  • 微信为什么使用 SQLite 保存聊天记录?

      SQLite 是一个被大家低估的数据库,但有些人认为它是一个不适合生产环境使用的玩具数据库。事实上,SQLite 是一个非常可靠的数据库,它可以处理 TB 级的数据,但它没有网络层。接下来,本文将与大家共同探讨 SQLite 在过去一年中最新的 SQL 功能。   SQLite “只是”一个库

    2024年02月10日
    浏览(49)
  • 记录--post为什么会发送两次请求?

    在前段时间的一次面试中,被问到了一个如标题这样的问题。要想好好地去回答这个问题,这里牵扯到的知识点也是比较多的。 那么接下来这篇文章我们就一点一点开始引出这个问题。 在浏览器中,内容是很开放的,任何资源都可以接入其中,如 JavaScript 文件、图片、音频

    2024年02月12日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包