大数据发展背景
- Hudi用于管理分布式文件系统上大型分析数据集存储,支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更,也支持下游系统对这个数据集的增量处理。
学习目标
- 什么是数据湖
- 为什么使用数据湖
- Hudi基本功能
- 如何编译Hudi源码
- Hudi与Spark集成管理
- Hudi中COW和ROW不同类型表功能
- Hudi的三种查询方式
- Hudi中不同表数据写入流程
数据仓库
数据仓库是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持。
- 数据仓库本身不生产数据,也不消费数据
- 企业根据业务需求分成不同层次,数据层(ODS)\仓库层(DW)\应用层(DA)
数据湖
- 数据湖是一个集中式的数据存储库,用于存储大量的原始数据。
- 以原始格式存储数据的系统或存储库,可以包括结构化数据、半结构化数据、非结构化数据和二进制数据。
- 查询应用数据的时候才会开始分析数据需求和应用架构,用于报告、可视化、高级分析和机器学习等任务。
数据仓库是优化的数据库,用于分析业务的关系数据。数据湖数据来自关系数据和非关系数据。
特性 | 数据仓库 | 数据湖 |
---|---|---|
数据 | 分析业务的关系数据 | 关系数据和非关系数据 |
Schame | 在写入数据仓库 | 读取schema |
性价比 | 更快查询较高存储成本(空间代替时间,冗余存储) | 更快查询只需较低成本 |
数据质量 | 便于管理 | 难以监控 |
用户 | 业务分析师 | 数据科学家、数据开发人员和业务分析师 |
分析 | 批处理、BI | 机器学习、预测分析、数据发现 |
数据湖框架
- delta Lake
支持update/delete/merge - Iceberg
- Hudi(Hadoop upsert and incrementals)
fast upsert/delete/compaction功能,管理存储在Hdfs上的数据。支持快速upsert/delete。
Hudi功能
- Hudi是在大数据存储上的一个数据集,可以将Change Logs通过upsert的方式合并进hudi。
- 可以暴露成普通的Hive或Spark表,通过API或命令行可以获取增量修改的信息,供下游消费。
- Hudi保管修改历史,可以时间旅行或回退。
- 内部有主键到文件级的索引,默认是记录到文件的布隆过滤器。
- 提供了两种方式的原语言:
-Update/delete记录:使用细粒度的文件/记录级别索引支持update/delete记录,同时保证写操作的事务保证,查询会处理最后一个提交的快照,并基于此输出结果。
-变更流:Hudi对过去数据变更提供了一流的支持:可以从给定时间点获取给定表中update/insert/deleted的所有记录的增量流,并解锁新的查询姿势。
Hudi基础架构
- 将数据摄取到数据湖存储,使用HDFS作为数据湖的数据存储。
- 基于HDFS构建Hudi的数据湖。
- Hudi提供统一的访问Spark和Flink数据源
- 外部通过不同引擎访问接口。
Hudi版本
-
Hudi 0.5版本
支持Spark,将数据批量和流式写入 -
Hudi 0.6版本
逐渐添加新特性和功能 -
Hudi 0.7.0版本
Flink计算引擎成熟,Flink1.12 -
Hudi 0.8
支持Flink SQL client操作Hudi数据 -
Hudi 0.9
重构与Flink的集成,支持CDC的能力,数据流式入湖。流式查询Hudi数据。文章来源:https://www.toymoban.com/news/detail-823257.html -
Hudi 0.10
支持更多的数据源:如Mysql和Kafka文章来源地址https://www.toymoban.com/news/detail-823257.html
到了这里,关于Hudi学习笔记(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!