Hudi metadata table(元数据表)

9月前作者：跟着大数据和AI去旅行分类：Toy博客阅读(31) 违法举报

这篇具有很好参考价值的文章主要介绍了Hudi metadata table(元数据表)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

什么是metadata表

Metadata表即Hudi元数据表，是一种特殊的Hudi表，对用户隐藏。该表用于存放普通Hudi表的元数据信息。
Metadata表包含在普通Hudi表内部，与Hudi表是一一对应关系。

元数据表的作用

ApacheHudi元数据表可以显著提高查询的读/写性能。元数据表的主要目的是消除“列出文件”操作的要求。
读取和写入数据时，会执行文件列表操作，以获取文件系统的当前视图。当数据集较大时，列出所有文件可能是性能瓶颈，但更重要的是，在AWS S3等云存储系统中，由于某些请求限制，大量文件列出请求有时会导致限制。元数据表将主动维护文件列表，并消除递归文件列表操作的需要。
Metadata表把当前Hudi表的分区信息，以及分区目录下的文件信息作为元数据信息，存储在一张特殊的Hudi表里面，这样当查询引擎需要list表分区文件时只需要访问这张特殊的表即可，由于元数据信息数据量本身不大，所以查询起来可以大大降低HDFS的rpc压力。
Metadata表的实现使用了Hudi MOR表，这意味着和其他任何Hudi表一样，可以被压缩（Compaction）、清理（Clean）、增量更新（incrementally updated）。而且与其他项目中的类似实现不同，我们选择将文件列表等信息索引为HFile格式（格式可插拔），HFile提供了很好的点查性能，可以高效获取分区文件列表等信息。

相关测试

运行TPCDS基准测试时，文章来源地址https://www.toymoban.com/news/detail-793079.html

到了这里，关于Hudi metadata table(元数据表)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

MySql基础教程(三)：创建数据表、数据增删改查、删除数据表

创建MySQL数据表需要以下信息：表名表字段名定义每个表字段 1.1 语法下面是创建MySQL数据表的SQL通用语法：以下例子在 nobug 数据库中创建数据表 nobug_user ：实例解析：如果你不想字段为 NULL 可以设置字段的属性为 NOT NULL，在操作数据库时如果输入该字段的数据为NULL ，

2024年02月11日
浏览(64)
实现一个MYSQL工具类，包含判断创建数据表是否存在，创建数据表

可以使用Python的MySQLdb模块来实现一个MYSQL工具类。下面是一个简单的实现示例：使用示例：在上面的示例中，我们首先创建了一个MySQLTool类，并在初始化方法中传入了数据库的连接信息。然后使用connect方法连接到数据库。 table_exists方法用于判断给定的数据表是否存在，它执

2024年01月15日
浏览(62)
【MySQL】MySQL 数据类型，数值、日期和时间、字符串类型，创建数据表，删除数据表

作者简介：辭七七，目前大一，正在学习C/C++，Java，Python等作者主页：七七的个人主页文章收录专栏：七七的闲谈欢迎大家点赞 👍 收藏 ⭐ 加关注哦！💖💖 MySQL 中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL 支持多种类型，大致可以分为三类：数值、日

2024年02月15日
浏览(74)
excel vba 将多张数据表的内容合并到一张数据表

功能描述：一个Excel文件有很多个样式相同的数据表，需要将多张数据表的内容合并到一张数据表里。 vba实现代码如下：文件链接：数据表合并.bas 下载后直接在excel 查看代码处导入文件即可。

2024年02月11日
浏览(44)
数据表插入数据

在MySQL通过INSERT语句向数据表中插入数据。在此，我们先准备一张学生表，代码如下： create table student( id int, name varchar(30), age int, gender varchar(30) ); 1. 为表中所有字段插入数据每个字段与其值是严格一一对应的。也就是说：每个值、值的顺序、值的类型必须与对应的

2024年02月08日
浏览(42)
Hive数据表删除数据操作

hive数据表中，数据的删除不可以想Oracle、MySQL那样使用delete语句删除，所以在删除数据的时候使用另外的方法 hive的数据删除，一般是两种方式当需要删除某一条数据的时候，我们需要使用 insert overwrite 释义：就是用满足条件的数据去覆盖原表的数据，这样只要在where条件里

2024年02月11日
浏览(48)
数据库||数据表的更新

1.实验题目：数据表的更新 2.实验目和要求： 1)掌握SQL语句的数据操纵功能 2)掌握SQL语言的数据插入,修改,删除操作 3)掌握与嵌套查询相结合的插入,删除,修改数据的SQL语句 3.实验步骤： 1) 按实验内容要求完成各项操作 2) 根据题目要求给出解决方案 3) 提交实验报告 4.实验内容

2024年02月19日
浏览(48)
大数据StarRocks(七)：数据表创建

1.1 Row Column 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 ⚫ 在默认的数据模型中，Column 只分为排序列和非排序列。存储引擎会按照排序列对数据进行排序存储，并建立稀疏索引，以便在排序数据上进行快速查找。 ⚫ 而在

2024年01月16日
浏览(58)
mysql数据库和数据表

常用的数据类型: int ：整型用于定义整数类型的数据 float ：单精度浮点4字节32位准确表示到小数点后六位. double ：双精度浮点8字节64位 char ：固定长度的字符类型用于定义字符类型数据 varchar ：可变长度的字符类型 text ：文本 image: ：图片 SQL语言： Structured Query La

2024年02月10日
浏览(65)
DB2的系统数据表空间，用户数据表空间，系统临时表空间，用户临时表空间详解

可以参考DB2 information center的官方文档：https://www.ibm.com/docs/zh/db2/10.5?topic=spaces-table-system-user-temporary-data 每个数据库都必须要有最小的一组表空间，这些表空间用于存储系统数据、用户数据和临时数据。一个数据库至少必须包含三个表空间：目录表空间一个或多个用户表空间

2024年02月11日
浏览(50)