Flink状态

了解Flink中的状态概念及其在流处理中的重要性。探讨状态在有状态计算中的作用，状态描述符(StateDescriptor)的基本概念和用法。理解状态在Flink任务中的维护、恢复和与算子的关联。

学习文档：Flink 官方文档 - DataStream API - 状态与容错 - 使用状态 相关文档： 有状态流处理背后的概念：Flink｜《Flink 官方文档 - 概念透析 - 有状态流处理》学习笔记 Redis 过期 key 的删除机制：Redis｜过期 key 的删除机制 学习笔记如下： 如果要使用键控状态，则必须要为 DataS

在实际应用中，我们一般都需要将数据按照某个 key 进行分区，然后再进行计算处理；所 以最为常见的状态类型就是 Keyed State。之前介绍到 keyBy 之后的聚合、窗口计算，算子所 持有的状态，都是 Keyed State。 另外，我们还可以通过富函数类（Rich Function）对转换算子进行扩展、

算子任务可以分为有状态、无状态两种。 无状态：filter,map这种，每次都是独立事件 有状态：sum这种，每次处理数据需要额外一个状态值来辅助。这个额外的值就叫“状态” （1）托管状态（Managed State）和原始状态（Raw State） 托管状态 就是由Flink统一管理的，状态的存储访问

流式计算逻辑中,比如sum,max; 需要记录和后面计算使用到一些历史的累计数据, 状态就是 :用户在程序逻辑中用于记录信息的变量 在Flink 中 ,状态state 不仅仅是要记录状态;在程序运行中如果失败,是需要重新恢复,所以这个状态也是需要持久化;一遍后续程序继续运行 1.1 row state 我

本篇作为Flink系列的第二篇，第一篇是环境准备，需要的同学可以看：https://blog.csdn.net/lly576403061/article/details/130358449?spm=1001.2014.3001.5501。希望可以通过系统的学习巩固该方面的知识，丰富自己的技能树。废话不多说咱们开始吧。 在我们的日常生活中数据和数据处理无处不在，

在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的 状态，其实指的是 Flink 程序的中间计算结果 。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。 Flink 使用流重放 和 检查点 的组合来实现容错。检查点标记每个输

状态后端 (state backend) : 负责管理本地状态的存储方式, 位置 Flink 的状态后端有两类 : 哈希表状态后端 (HashMapStateBackend) : 状态放在内存 内嵌 RocksDB 状态后端 (EmbeddedRocksDBStateBackend) : 状态放在 RocksDB 数据库 哈希表状态后端 : 实现 : 将状态当作对象 (objects) , 保存在 Taskmanager 的

状态一致性有三种级别： 最多一次 (AT-MOST-ONCE) : 只处理一次 , 遇到故障就会丢失 , 优点 : 处理快 至少一次 (AT-LEAST-ONCE) : 不会丢失数据 , 但存在重复数据 精确一次（EXACTLY-ONCE) : 不会丢失数据 , 也不会重复数据 实现要求 : 端到端 (end-to-end) 的状态一致性 : 数据源、流处理器、

状态在Flink中叫做State，用来保存中间计算结果或者缓存数据。要做到比较好的状态管理，需要考虑以下几点内容： 状态数据的存储和访问 在Task内部，如何高效地保存状态数据和使用状态数据。 状态数据的备份和恢复 作业失败是无法避免的，那么就要考虑如何高效地将状态

Flink是一个带状态的数据处理系统；系统在处理数据的过程中，各算子所记录的状态会随着数据的处理而不断变化； 所谓状态State，一般指一个具体的 Task 的状态，即线程处理过程中需要保存的历史数据或历史累计数据，默认保存在 Java 的堆内存中。 根据算子是否存在按照

算子状态 (Operator State) : 一个算子并行实例上定义的状态，作用范围 : 当前算子任务 算子状态支持三种结构类型 : ListState、UnionListState、BroadcastState ListState : 将状态表示为列表 , 当前并行子任务上的所有状态项的集合 当算子并行度调整时，会把算子的列表状态都收集起来，再

算子任务分 : 无状态 : 根据输入转换为输出 , 如 : map , filter , flatMap 有状态 : 根据输入 , 状态 转换为输出 , 如 : 聚合算子 , 窗口算子 有状态算子的处理流程 : 算子任务接收到上游发来的数据 获取当前状态 根据业务逻辑进行计算，更新状态 得到计算结果，输出发送到下游任务

【1】持续收取数据（ kafka 等），以 window 时间作为划分，划分一个一个的批次档案（按照时间或者大小等）； 【2】周期性执行批次运算（ Spark/Stom 等）； 传统批次处理方法存在的问题： 【1】假设计算每小时出现特定事件的转换次数（例如：1、2…），但某个事件正好处于

在Flink中，算子任务可以分为 有状态 和 无状态 两种状态。 无状态的算子任务只需要观察每个独立事件，根据当前输入的数据直接转换输出结果。 例如 Map 、 Filter 、 FlatMap 都是属于 无状态算子 。  而 有状态的算子任务，就是除了当前数据外，还需要一些其他的数据来得到