大数据-------元数据管理

这篇具有很好参考价值的文章主要介绍了大数据-------元数据管理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、什么是元数据

元数据就是描述数据的数据,它为企业的各类数据提供了上下文环境,使企业能够更好地了解、管理和使用数据。

现在数据对于公司的决策十分的重要,随着业务的发展,业务线会慢慢庞大起来,随着开发人员的变更以及增多,没有元数据治理,很难保证数据质量,这时候就需要元数据管理,用来记录公司拥有什么数据,数据在哪里、由谁负责,数据中的值意味着什么,数据的生命周期是什么,哪些数据安全性和隐私性需要保护,以及谁使用了数据,用于什么业务目的,数据的质量怎么样,等等。

大数据元数据管理,大数据,数据库,数据仓库

二、元数据分类

1、技术元数据

技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。对开发人员来说,它有助于明确数据的存储、结构,有助于理清数据关系,能够提升开发效率,还有助于了解到数据的来源和去向进行分析,支持数据血缘追溯和影响分析。

例如:数据字典

(1)基础信息,包括库名称、库类型、表名称、表数量、表注释、表分区字段、表分区数量、字段名称、字段类型、字段长度、字段注释、字段默认值、主键信息、外键信息、索引信息等。

(2)存储信息,本地存储中的文件信息,例如:文件路径、文件数量、文件大小、文件类型,压缩格式等。

(3)调度信息,任务名称、任务类型、任务路径、调度时间、调度SQL、调度逻辑等。

(4)血缘信息,数据加工、流转过程产生的数据与数据之间的关系,包含以下内容: 数据节点、流出节点、中间节点、流入节点、节点属性等。

2、业务元数据

业务元数据描述数据的业务含义、业务规则等。可以为数据应用提供更好的服务。

例如:

(1)业务信息,业务描述、业务部门、业务系统、负责人等。

(2)标准化信息,统一和确定指标名称、指标层级、指标口径、维度信息、计算方式、映射信息、转换规则等。

(3)数据质量信息,主要应用于监控信息,主要有:质量监控名称、监控内容、监控级别、监控规则、告警方式等。

(4)权限信息 ,访问权限、角色权限、用户权限、安全等级等。

(5)服务信息 ,当前数据对外提供服务的方式,主要有:服务方式(接口、报表、sdk等)、服务内容、接口信息、负责人等

三、元数据管理

1、数据源元数据

数据源元数据主要是数据库模型设计文档、为综合统计分析平台提供数据的各种业务系统的数据字典及数据接口文件等。

数据源元数据的管理:由相关人员对各类文档进行统一版本的管理

2、ETL规则元数据

ETL规则元数据中涉及到数据源元数据、目标系统元数据、ETL流程、源与目标的映射关系等元数据信息。

数据源元数据包括业务系统元数据和数据仓库元数据等;目标系统元数据可能是数据仓库元数据、数据集市元数据等。

ETL规则元数据的管理:由数据库开发人员根据各个模块的ETL过程以及过程运行的顺序,形成相关元数据管理文档进行统一管理。

3、数据仓库元数据

制定数据仓库模型设计文档记录事实表、维度、属性、层次等信息,物理表与多维模型的映射关系等信息 ,对文档进行统一版本的管理

4、报表元数据

包括对报表和报表中具体指标(度量)的描述信息等

报表元数据的管理:对数据集上可以计算的度量进行相关元数据的管理,包括详细设计文档中对各个表中度量的定义、描述等;对所有表和度量之间的关系进行严格的文档记录,包括度量的计算、度量之间的相互依赖关系、以及历史信息进行元数据管理

5、接口文件格式元数据

接口数据文件格式,包括接口数据文件的命名、传输周期、格式等说明信息。

接口文件格式元数据:与ETL规则元数据进行统一管理。

6、商业元数据

系统中对各项指标的业务含义的描述性信息,在综合统计分析平台中,包括维、度量的业务含义描述 ,主题的分析目标描述,报表指标的解释信息等。

商业元数据的管理可以分解成数据仓库元数据的管理和报表元数据的管理。

7、其他元数据

数据访问日志、数据装载日志等信息。数据访问日志记录数据库的访问信息,包括对数据库表的操作 、锁、内存使用、I/O使用等信息;数据装载信息记录每个ETL过程的抽取时间、操作人员、起始和截止时间、抽取涉及到的表、操作行数等相关信息

其他元数据的管理:将元数据信息记录到日志,形成元数据文件进行统一管理

4、元数据应用

1、数据地图

整体可以分为三部分,第一部分汇总库、表的数量,自己负责和有权限的表的数量等等。第二部分,展示这个库下所有表的情况。包括表名、数据量、更新时间、最近使用次数等, 第三部分,展示所有表的技术、业务的元数据。包括描述、负责人、大小、分区数、建表和更新时间、最近使用次数、变更记录、使用记录等。

2、血缘分析

通过血缘关系,就能了解到各个表/字段是怎么来的,整个数据的产生的过程和结果的路线就都可以掌握,同时匹配搜索功能可更方便员工的查找。

基于血缘关系可以做很多事情,例如:

1、结合任务完成时间,根据路径,定位性能瓶颈,调节任务时间以便更好的调节性能;

2、设计监控,当表出现变更时,可以通知任务负责人;

3、方便管理表,可以快速找到没有被使用的表; 数据生命周期管理

4、辅助维护字段的一致性,如注释、校验规则复用。文章来源地址https://www.toymoban.com/news/detail-641088.html

到了这里,关于大数据-------元数据管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • openGauss学习笔记-102 openGauss 数据库管理-管理数据库安全-客户端接入之查看数据库连接数

    102.1 背景信息 当用户连接数达到上限后,无法建立新的连接。因此,当数据库管理员发现某用户无法连接到数据库时,需要查看是否连接数达到了上限。控制数据库连接的主要以下几种选项。 全局的最大连接数:由运行参数max_connections指定。 某用户的连接数:在创建用户时

    2024年02月07日
    浏览(63)
  • 数据库应用:数据库管理系统与安装MySQL数据库

    目录 一、理论 1.数据库管理系统 2.关系型数据库 3.数据库 4.MySQL数据库 5.MySQL部署 二、实验 1.yum安装MySQL 2.编译安装MySQL 3.配置MySQL数据库的Tab补全  三、问题 1.数据库登录报错 2.数据库密码复杂度报错 3.数据库连接报错 四、总结 (1)概念 数据库管理系统(Database Management

    2024年02月13日
    浏览(57)
  • 【MySQL数据库】MySQL数据库管理

    Structure Query Language(结构化查询语言)简称SQL,它被美国国家标准局(ANSI)确定为关系型数据库语言的美国标准,后被国际化标准组织(ISO)采纳为关系数据库语言的国际标准。数据库管理系统可以通过SQL管理数据库;定义和操作数据,维护数据的完整性和安全性。 数据:(data)

    2024年02月08日
    浏览(51)
  • 【数据库二】数据库用户管理与授权

    CHAR和VARCHAR类型类似,但它们保存和检索的方式不同。它们的最大长度和是否尾部空格被保留等方面也不同,在存储或检索过程中不进行大小写转换。 下表显示了将各种字符串值保存到CHAR(4)和VARCHAR(4)列后的结果,说明了CHAR和VARCHAR之间的差别: 字节大小 char无论是否有值,都

    2024年02月09日
    浏览(51)
  • mongodb 数据库管理(数据库、集合、文档)

    目录 一、数据库操作 1、创建数据库 2、删除数据库 二、集合操作 1、创建集合 2、删除集合 三、文档操作 1、创建文档 2、 插入文档 3、查看文档 4、更新文档 1)update() 方法 2)replace() 方法 创建数据库的语法格式如下: 如果数据库不存在,则创建数据库,否则切换到该数据

    2024年02月12日
    浏览(52)
  • MySQL数据库:数据库管理系统与安装MySQL数据库

    目录 一、理论 1.数据库管理系统 2.关系型数据库 3.数据库 4.MySQL数据库 5.MySQL部署 二、实验 1.yum安装MySQL 2.编译安装MySQL 3.配置MySQL数据库的Tab补全  三、问题 1.数据库登录报错 2.数据库密码复杂度报错 3.数据库连接报错 四、总结 (1)概念 数据库管理系统(Database Management

    2024年02月12日
    浏览(65)
  • 【数据库管理】⑩数据字典

     1. 数据字典的概述 数据字典(Data Dictionary) 是数据库管理系统中的一个重要组成部分,它 是一个存储数据库元数据的集合,包含了数据库中所有对象的定义和描述信息。 数据字典可以帮助用户了解数据库中的各种对象和数据结构,以及它们之间的关系和依赖关系。 数据字

    2024年02月12日
    浏览(45)
  • SQL 数据库语句- 创建和管理数据库

    SQL CREATE DATABASE 语句用于创建一个新的 SQL 数据库。 以下 SQL 语句创建了一个名为 \\\"testDB\\\" 的数据库: 通过这个简单的语句,你可以成功地创建一个名为 \\\"testDB\\\" 的数据库。记得在实际应用中,你可能需要添加其他选项,比如指定字符集、校对规则等,以满足具体需求。 SQL DRO

    2024年02月05日
    浏览(81)
  • 达梦数据库创建及数据库实例管理

    数据库配置助手创建数据库调用 dbca.sh 图形化界面创建数据库: [dmdba@DCA02 tool]$ ./dbca.sh 2021-01-11 11:43:45 [com.dameng.dbca.Startup] [INFO] 启动 DBCA 指定数据库名称、实例名称(单机情况下数据库和实例名称可以相同),指定端口号: 簇大小、页大小、字符集、 字符串 大小写敏感、

    2023年04月08日
    浏览(50)
  • 数据库管理系统(基于前端+后端+数据库)

      库存管理系统 包括模块: (1)基本信息管理。 (2)商品入库管理。 (3)商品出库管理。 (4)商品查询管理。 (5)查看商品目录。 实训步骤: 开发环境:html , css , js , python,Mysql,pycharm 需求分析: 和其他数据库系统相比, MySQL 有点与众不同,它的架构可以在多种

    2024年02月04日
    浏览(69)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包