基于数据湖的多流拼接方案-HUDI概念篇

这篇具有很好参考价值的文章主要介绍了基于数据湖的多流拼接方案-HUDI概念篇。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、为什么需要HUDI?

1. 传统技术选型存在哪些问题?

2. Hudi有什么优点?

基于 Hudi Payload 机制的多流拼接方案:

二、HUDI的应用场景

1. 什么场景适合使用hudi?

2. 什么场景不适合使用hudi?

三、什么是HUDI?HUDI能做什么?

1. 什么是HUDI?

2. HUDI能做什么(特性)?

四、HUDI的概念&原理

1. 概念

2. 原理

五、流批一体


一、为什么需要HUDI?

1. 传统技术选型存在哪些问题?

【离线方面】:

这种T+1延迟的结果已经无法满足商业分析同学的日常分析需求。

【实时方面】:

有些场景需要基于具有相同主键的多个数据源实时构建一个大宽表,数据源一般包括 Kafka 中的指标数据,以及 KV 数据库中的维度数据。

业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表,但这种解决方案在实践中面临较多挑战,主要可分为以下两种情况:

01 - 维表 JOIN

  • 场景挑战:指标数据与维度数据进行关联,其中维度数据量比较大,指标数据 QPS 比较高,导致数据可能会产出延迟。
  • 当前方案:将部分维度数据缓存起起来,缓解高 QPS 下访问维度数据存储引擎产生的任务背压问题。
  • 存在问题:由于业务方的维度数据和指标数据时间差比较大,所以指标数据流无法设置合理的 TTL;而且存在 Cache 中维度数据没有及时更新,导致下游数据不准确的问题。

02 - 多流 JOIN

  • 场景挑战:多个指标数据进行关联,不同指标数据可能会出现时间差比较大的异常情况。
  • 当前方案:使用基于窗口的 JOIN,并且维持一个比较大的状态。
  • 存在问题:维持大的状态不仅会给内存带来的一定的压力,同时 Checkpoint 和 Restore 的时间会变 得更长,可能会导致任务背压。

总结上述场景遇到的挑战,主要可归结为以下两点:

由于多流之间时间差比较大,需要维持大状态,同时 TTL 不好设置。

由于对维度数据做了 Cache,维度数据数据更新不及时,导致下游数据不准确。

基于数据湖的多流拼接方案-HUDI概念篇,数据湖,大数据,大数据,数据仓库

2. Hudi有什么优点?

基于 Hudi Payload 机制的多流拼接方案:

(Payload是一个条数据的内容的抽象,决定了同一个主键的数据的增删改查逻辑也决定了其序列化的方式。通过对payload的自定义,可以实现数据的灵活合并,数据的自定义编码序列化等,丰富Hudi现有的语义,提升性能。)

  1. 多流数据完全在存储层进行拼接,与计算引擎无关,因此不需要保留状态及其 TTL 的设置。
  2. 维度数据和指标数据作为不同的流独立更新,更新过程中不需要做多流数据合并,下游读取时再 Merge 多流数据,因此不需要缓存维度数据,同时可以在执行 Compact 时进行 Merge,加速下游查询。
  3. 支持离线场景和流批混合场景。
  4. 内置通用模板,支持数据去重等通用接口,同时可满足用户定制化数据处理需求。

二、HUDI的应用场景

1. 什么场景适合使用hudi?

0. 具有相同主键的多个数据源构建一个大宽表;

1. 近实时DB数据入仓/湖:把原来T + 1的数据新鲜度提升到分钟级别;

2. 近实时OLAP:分钟级别的端到端数据新鲜度,同时又非常开放的OLAP查询引擎可以适配;

3. 近实时ETL;

2. 什么场景不适合使用hudi?

下游对时效性要求较高,对数据延迟容忍度较低;

三、什么是HUDI?HUDI能做什么?

1. 什么是HUDI?

Hudi是Hadoop Updates and Incrementals的简写,它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖,同时针对湖引擎和常规批处理进行了优化。简言之,Hudi是一种针对分析型业务的、扫描优化的数据存储抽象,它能够使DFS数据集在分钟级的时延内支持变更,也支持下游系统对这个数据集的增量处理

1. Apache Hudi 本身不存储数据,仅仅管理数据,借助外部存储引擎存储数据,比如HDFS、S3;

2. 此外,Apache Hudi 也不分析数据,需要使用计算分析引擎,查询和保存数据,比如Spark或Flink

参考:Hudi学习一:Hudi简介_Hub-Link的博客-CSDN博客

2. HUDI能做什么(特性)?

  1. 开放性:上游支持多种数据源格式,下游查询端也同样支持多种查询引擎;
  2. 丰富的事务支持:对ACID语义(原子性、一致性、隔离性、持久性)的增强;
  3. Hudi 保管修改历史,可以做时间旅行或回退;
  4. Hudi 内部有主键到文件级的索引,默认是记录到文件的布隆过滤器;

四、HUDI的概念&原理

1. 概念

COW表(Copy On Write):

        在数据写入的时候,通过复制旧文件数据并且与新写入的数据进行合并,对 Hudi 的每一个新批次写入都将创建相应数据文件的新版本。

MOR表(Merge On Read):

        对于具有要更新记录的现有数据文件,Hudi 创建增量日志文件记录更新数据。此在写入期间不会合并或创建较新的数据文件版本;在进行数据读取的时候,将本批次读取到的数据进行Merge。Hudi 使用压缩机制来将数据文件和日志文件合并在一起并创建更新版本的数据文件。

指标

COW

MOR

更新代价

读取延迟

一般

写放大

总结:COW适用于读多写少的场景;MOR适用于写多读少的场景。

参考:腾讯广告业务基于Apache Flink + Hudi的批流一体实践 - 墨天轮 (modb.pro)

2. 原理

Hudi存储分为两个部分:

元数据:

         .hoodie目录对应着表的元数据信息,包括表的版本管理(Timeline)、归档目录(存放过时的instant也就是版本),一个instant记录了一次提交(commit)的行为、时间戳和状态,Hudi以时间轴的形式维护了在数据集上执行的所有操作的元数据;

数据: 

        和hive一样,以分区方式存放数据;分区里面存放着Base File(.parquet)和Log File(.log.*);

MOR表数据组织架构:

        数据构成关系:table -> partition -> FileGroup -> FileSlice -> parquet + log ;

五、流批一体

Flink + Hudi

Flink实现了计算框架一致

Hudi实现了存储框架一致(不能使用Kafka、Hive,因为不支持迟到数据对结果进行修改,以及长时间的数据回溯);

Hudi(Hadoop Upserts Deletes and Incrementals)是一个开源的数据湖解决方案,旨在简化大数据湖的数据管理和增量处理操作。Hudi 在 Apache Hadoop 生态系统中被广泛使用,并提供了一些核心功能。

以下是 Hudi 的核心功能:

  1. 增量写入(Incremental Writes):Hudi 允许在数据湖中进行增量写入操作。它支持更新(upsert)和删除(delete)操作,这意味着可以有效地处理变化的数据。用户可以仅仅写入发生变化的数据,而无需覆盖整个数据集。
  2. 原子性(Atomicity):Hudi 提供原子性写入操作,确保数据写入是事务性的。这意味着要么所有的写入操作都成功,要么都失败,保持数据的一致性。如果写入过程中发生故障或错误,Hudi 可以回滚写入操作,避免数据损坏。
  3. 时态数据(Point-in-Time Queries):Hudi 允许在数据湖中执行时态查询,即可以查询数据的历史版本。这对于分析和回溯数据非常有用。Hudi 使用了写时复制(copy-on-write)的机制来保存数据的历史版本,并提供了灵活的查询接口。
  4. 数据索引(Data Indexing):Hudi 提供了一种高效的数据索引机制,以加速数据查询操作。它使用了基于时间和位置的索引,可以快速定位和访问特定数据分区或时间范围内的数据。
  5. 建表和模式演化(Table Creation and Schema Evolution):Hudi 允许在数据湖中创建表格,并支持模式演化。它可以处理表格架构的变化,例如添加、删除或修改列。这使得在数据湖中进行架构更改变得更加灵活和简单。
  6. 兼容多种数据格式(Compatibility with Multiple Data Formats):Hudi 可以与多种数据格式兼容,包括 Parquet、Avro、ORC 等。这意味着可以使用不同的数据格式进行存储和读取,根据具体需求选择最合适的格式。

总而言之,Hudi 提供了一种强大而灵活的方式来管理和处理数据湖中的大数据。它的核心功能包括增量写入、原子性操作、时态数据查询、数据索引、表格创建和模式演化,以及与多种数据格式的兼容性。这些功能使得在数据湖中进行数据管理和处理变得更加高效和便捷。


其他HUDI相关资料:

基于Hudi的流批一体:

**基于Apache Hudi + Flink多流拼接(大宽表)最佳实践:万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践-腾讯云开发者社区-腾讯云

*流批一体Hudi近实时数仓实践:干货|流批一体Hudi近实时数仓实践-腾讯云开发者社区-腾讯云

*腾讯广告业务基于Apache Flink + Hudi的批流一体实践:腾讯广告业务基于Apache Flink + Hudi的批流一体实践 - 墨天轮

*基于 Hudi 的湖仓一体技术在 Shopee 的实践:基于 Hudi 的湖仓一体技术在 Shopee 的实践 - 掘金

Flink+Hudi 构架仓湖一体化解决方案:Apache Flink学习网 ***

触宝科技基于Apache Hudi的流批一体架构实践:https://www.cnblogs.com/leesf456/p/15000030.html

Apache Hudi 原理: Hudi 原理 | 聊一聊 Apache Hudi 原理-轻识 *****

数据湖架构开发-Hudi入门教程

数据湖架构开发-Hudi入门教程 - 知乎

Hudi 快速体验使用(含操作详细步骤及截图)_安装完hudi后如何远程使用_半岛铁子_的博客-CSDN博客

Apache Hudi入门指南(含代码示例) - 墨天轮文章来源地址https://www.toymoban.com/news/detail-671672.html

到了这里,关于基于数据湖的多流拼接方案-HUDI概念篇的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于ARM+FPGA+AD的多通道精密数据采集仪方案

    XM 系列具备了数据采集仪应具备的“操作简单、便于携带、满足各种测量需求”等功能的产品。具有超小、超轻量的手掌大小尺寸,支持8 种测量模块,还可进行最多576 Ch的多通道测量。另外,支持省配线系统,可大幅削减配线工时。使用时不必担心配线工时或配线错误、断

    2024年02月03日
    浏览(54)
  • 数据湖——Hudi基本概念

    传送门 可插拔索引机制支持快速的Upsert/Delete 支持增量拉取表变更以进行处理 支持事务提交及回滚,并发控制 支持spark、presto、hive、flink等引擎的sql读写 自动管理小文件,数据聚簇、压缩、清理 流式摄入,内置CDC 内置可扩展存储访问的元数据跟踪 向后兼容的方式实现表结

    2024年02月10日
    浏览(36)
  • [方案实操|数据技术]数据要素十大创新模式(1):基于区块链的多模态数据交易服务平台

    “  区块链以其公开共享、去中心化、不可篡改、可追溯和不可抵赖等优势,吸引了包括金融业、医疗业和政府部门等众多利益相关方的极大兴趣,被认为是解决数据安全交换问题的合适方案。 ” 武汉东湖大数据科技股份有限公司凭借 基于区块链的多模态数据交易服务平台

    2024年04月17日
    浏览(44)
  • 基于 Flink 构建实时数据湖的实践

    本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。 实时数据湖是现代数据架构的核心组成部分,随着数据湖技术的发展,用户对其也有了更高的需求:需要从多种数据源中导入

    2024年02月04日
    浏览(39)
  • 如何构建新一代实时湖仓?袋鼠云基于数据湖的探索升级之路

    在之前的实时湖仓系列文章中,我们已经介绍了实时湖仓对于当前企业数字化转型的重要性,实时湖仓的功能架构设计,以及实时计算和数据湖结合的应用场景。 在本篇文章中,将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践,及未来规划。 数栈作为一个数据开

    2024年02月05日
    浏览(75)
  • Hudi核心概念

    Instant由3个部分组成: (1)Timestamp,时间戳,什么时候做的操作 (2)Action,操作,具体做了什么操作,COMMIT(提交,COW)、DELTA_COMMIT(提交,MOR)、CLEAN(清理)、COMPACTION(压缩) (3)State,这一个操作具体到哪个步骤了(REQUESTED(请求发起)、INFLIGHT(请求进行中)、

    2024年02月06日
    浏览(39)
  • Hudi的核心概念 —— 索引(Index)

    Hudi 通过索引机制提供高效的 upserts,具体是将给定的 hoodie key(record key(记录键) + partition path)与文件 id(文件组)建立唯一映射。这种映射关系,数据第一次写入文件后保持不变, 所以,一个 FileGroup 包含了一批 record 的所有版本记录。Index 用于区分消息是 INSERT 还是 UPDAT

    2024年02月14日
    浏览(38)
  • 基于FPGA的多通道数据采集系统Verilog设计

    基于FPGA的多通道数据采集系统Verilog设计 随着科技的不断发展,数据采集在许多领域变得越来越重要。为了满足高速、高精度和多通道数据采集的需求,基于FPGA的多通道数据采集系统成为了一种常见的解决方案。本文将介绍如何使用Verilog语言设计一个基于FPGA的多通道数据采

    2024年02月09日
    浏览(58)
  • 数据湖是什么?数据湖的关键技术(二)

    数据探索 数据的异构性特征导致了从数据湖中获取数据价值存在难度。主要问题体现在多种数据模型的查询、模式不确定的搜索、数据访问的有效性以及个性化数据的探索等方面。数据探索技术的先进程度不仅影响着用户的数据使用体验,而且直接关系到数据分析的质

    2024年02月08日
    浏览(38)
  • 数据仓库与数据湖的区别以及数据入湖方式

    数据仓库与数据湖的区别 1)从使用对象来看,数据仓库主要是给 BI分析的数据分析师使用的,而数据湖是给AI处理的数据科学家使用,数据仓库也可以给AI使用,但是侧重点是 BI. 2)从数据处理的过程来看,数据仓库是ETL,抽取-清洗加载而数据湖是ELT,抽取-加载-清洗,即数据湖

    2024年02月07日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包