flink的window和windowAll的区别

这篇具有很好参考价值的文章主要介绍了flink的window和windowAll的区别。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

在flink的窗口函数运用中,window和windowAll方法总是会引起混淆,特别是结合上GlobalWindow的组合时,更是如此,本文就来梳理下他们的区别和常见用法

window和windowAll的区别

window是KeyStream数据流的方法,其并行度是任意的,也就是最大可以和分组key的数量相同

windowAll是DataStream数据流的方法,其并行度只能是1,也就是所有的元素都会被聚合到一个算子任务上,性能极差

GlobalWindows.create()是一个全局的窗口分配器,
它的作用和TimeWindow或CountWindow一样,都是对元素进行窗口分配,不同点在于GlobalWindows把分区内所有的元素分配到同一个窗口,并且不会触发计算,
而TimeWindow或CountWindow会基于时间或者元素个数对元素进行窗口的分配,并且满足条件就会触发计算

以下是示意图:

flink为啥不进入windowall内,flink,大数据,flink,大数据

GlobalWindows+KeyedStream常见用法如下:

WindowedStream<Integer, Integer, GlobalWindow> keyedWindowedStream = keyedStream.window(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));

GlobalWindows+DataStream常见用法如下:

AllWindowedStream<Integer, GlobalWindow> allWindowedStream = dataStream.windowAll(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));文章来源地址https://www.toymoban.com/news/detail-824062.html

到了这里,关于flink的window和windowAll的区别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例(1)- window join

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月03日
    浏览(60)
  • 大数据Flink(七十七):SQL窗口的Over Windows

    文章目录 SQL窗口的Over Windows 一、​​​​​​​时间区间聚合

    2024年02月09日
    浏览(40)
  • 处理大数据的基础架构,OLTP和OLAP的区别,数据库与Hadoop、Spark、Hive和Flink大数据技术

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月08日
    浏览(61)
  • 面试官:MySQL 存储数据过多,为啥会变慢?

    面试官:MySQL 存储数据过多,为啥会变慢? 面试官:MySQL 存储数据过多,为啥会变慢? 目前大部分数据库系统及文件系统都采用BTree或其变种B+Tree作为索引结构,mysql 快与慢与索引结构有较大关系。 B 树也叫 B- 树。B+树与B树,这两种数据结构既有相似之处,也有他们的区别。 所

    2024年02月15日
    浏览(43)
  • 【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例(3)- 数据倾斜处理、分区示例

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月03日
    浏览(58)
  • windows通过cd命令进入具体目录

    首先按下键盘上的win+r键,输入“cmd”,如下图所示: 接着看到的是“c:users用户名”,如下图所示: 3.进入具体目录(D:DesktopTSETv5-6.1VOCData), 直接cd D:DesktopTSETv5-6.1VOCData 不会成功,首先输入D:跳转到D盘结合在进行cd指令。 最好cd D:DesktopTSETv5-6.1VOCData,如下所示

    2024年02月12日
    浏览(79)
  • Windows11进入睡眠模式后无法唤醒

    机械革命旷世16s 4070笔记本,进入睡眠模式后无法唤醒,只能强制关机然后重新启动,下面是windbg分析结果,有没有大神给看看是什么问题:

    2024年02月10日
    浏览(60)
  • 在ArcGIS中,矢量数据有.shp,.mdb和.gdb,为啥建议使用gdb?

    在ArcGIS中,矢量数据可以存储在多种格式中,如  .shp  (Shapefile)、 .mdb  (Microsoft Access Database) 和  .gdb  (Geodatabase)。每种格式都有其特定的用途和优缺点,但通常推荐使用 Geodatabase( .gdb )格式,原因如下: 1.  更高的数据容量和性能 容量:  Shapefiles 和 MDB 文件有大小限制,

    2024年04月29日
    浏览(42)
  • Windows PowerShell中成功进入conda虚拟环境

    本人操作系统是Windows10(输入命令cmd或在运运行中输入 winver 查看) 在cmd命令行中大家都很熟悉,很方便进入到指定创建了的虚拟环境中,那么在PowerShell中怎么进入呢? 比如在VSCode中的TERMINAL使用的是PowerShell,有时我们想方便的快速切换环境,因为不同环境,我们安装的包

    2023年04月26日
    浏览(53)
  • 电脑安装双系统ubuntu18.04+windows后开机直接进入Windows解决方法

    电脑型号:联想拯救者 Y9000K2021H 系统: Windows11+Ubuntu18.04双系统 问题:笔记本安装双系统后,Windows系统下处理word或者看论文;Ubuntu18.04系统安装ros进行机械臂控制等的研究。 但最近开机后发现没有系统选项了,直接进入Windows系统 ,正常情况如下图所示: 解决办法: 笔记本

    2024年02月15日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包