状态后端 (state backend) : 负责管理本地状态的存储方式, 位置
Flink 的状态后端有两类 :
- 哈希表状态后端 (HashMapStateBackend) : 状态放在内存
- 内嵌 RocksDB 状态后端 (EmbeddedRocksDBStateBackend) : 状态放在 RocksDB 数据库
哈希表状态后端 :
- 实现 : 将状态当作对象 (objects) , 保存在 Taskmanager 的 JVM 堆上
- 优点 : 内存计算，读写速度很快
- 缺点 : 状态的大小受集群可用内存的限制 , 当状态随时间增长，会耗尽内存
RocksDB 状态后端 :
- 实现 : 异步存储到 TaskManager 的本地目录
- 优点 : 硬盘存储 , 适合海量状态的存储
- 缺点 : 读写性能比哈希表慢些
配置
flink-conf.yaml :
- 全局有效
# hashmap: HashMapStateBackend
# rocksdb: EmbeddedRocksDBStateBackend
# 默认状态后端
state.backend: hashmap
# 检查点和元数据写入目录
state.checkpoints.dir: hdfs://hadoop102:8020/flink/checkpoints
单作业 :文章来源：https://www.toymoban.com/news/detail-549660.html
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new HashMapStateBackend());
// EmbeddedRocksDBStateBackend
// env.setStateBackend(new EmbeddedRocksDBStateBackend());
idae 本地启动 , 用 RocksDB 依赖 :文章来源地址https://www.toymoban.com/news/detail-549660.html
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-statebackend-rocksdb</artifactId>
<version>${flink.version}</version>
</dependency>
到了这里，关于Flink 状态后端的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
