Apache Atlas(1):Atlas 入门

这篇具有很好参考价值的文章主要介绍了Apache Atlas(1):Atlas 入门。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 Atlas 概述

Apache Atlas 为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,形成数据字典。并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。

注:数据字典:可以查到 hive 库的释义,表的介绍以及字段的解释和说明。

1.1 表与表之间的血缘依赖

Apache Atlas(1):Atlas 入门

1.2 字段与字段之间的血缘依赖

Apache Atlas(1):Atlas 入门

2 Atlas 架构原理

Apache Atlas(1):Atlas 入门

Metadata Sources:目前,Atlas支持从以下来源提取和管理元数据:HBase 、Hive、Sqoop、Storm、Kafka

Admin UI: 该组件是一个基于Web的应用程序,允许数据管理员和科学家发现和注释元数据。这里最重要的是搜索界面和类似SQL的查询语言,可用于查询Atlas管理的元数据类型和对象。

Ranger Tag Based Policies:权限管理模块

Business Taxonomy:业务分类

Messaging: 除了API之外,用户还可以选择使用基于Kafka的消息传递接口与Atlas集成。

API: Atlas的所有功能都通过REST API向最终用户暴露, 该API允许创建,更新和删除类型和实体。它也是查询和 发现Atlas管理的类型和实体的主要机制。

采集/导出(Ingest/Export):采集组件允许将元数据添加到Atlas。同样,“导出”组件将Atlas检测到的元数据导出。

类型系统(Type System): 用户为他们想要管理的元数据对象定义模型。Type System称为“实体”的“类型”实例,表示受管理的实际元数据对象。

图形引擎(Graph Engine): Atlas在内部使用Graph模型持久保存它管理的元数据对象。

Metadata Store<Hbase>:采用HBase来存储元数据

Index Store<Solr>:采用Solr来建索引文章来源地址https://www.toymoban.com/news/detail-436835.html

3 Atlas2.1特性

  • 更新了组件可以使用 Hadoop3.1、Hive3.1、Hive3.0、Hbase2.0、Solr7.5 和 Kafka2.0
  • 将 JanusGraph 版本跟新为 0.3.1
  • 更新了身份验证支持可信代理
  • 更新了指标模块收集通知
  • 支持 Atlas 增量导出元数据

到了这里,关于Apache Atlas(1):Atlas 入门的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • apache atlas与hive、hbase、spark的集成

    Atlas 的使用相对简单,其主要工作是同步各服务(主要是 Hive)的元数据,并构建元数据实体之间的关联关系,然后对所存储的元数据建立索引,最终未用户提供数据血缘查看及元数据检索等功能。 Atlas 在安装之初,需手动执行一次元数据的全量导入,后续 Atlas 便会利用 H

    2024年02月11日
    浏览(51)
  • APACHE-ATLAS-2.1.0 - 安装HIVE HOOK(六)

    写在前面 本博文以获取HIVE元数据为例,进行流程和源码的分析。 请提前安装好HADOOP和HIVE的环境,用于测试。 ATLAS官网:https://atlas.apache.org/#/HookHive ATLAS支持的元数据源 什么是Hive Hook(钩子) HOOK是一种在处理过程中拦截事件、消息或函数调用的机制,从这种意义上讲, HI

    2024年02月08日
    浏览(42)
  • Apache Dubbo概述

    软件架构的发展经历了由单体架构、垂直架构、SOA架构到微服务架构的演进过程,下面我们分别了解一下这几个架构。 1.1 单体架构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0V9GEg3j-1691767408227)(assets/1.png)] 架构说明: ​ 全部功能集中在一个项

    2024年02月13日
    浏览(43)
  • 如何使用CentOS系统中的Apache服务器提供静态HTTP服务

    在CentOS系统中,Apache服务器是一个常用的Web服务器软件,它可以高效地提供静态HTTP服务。以下是在CentOS中使用Apache提供静态HTTP服务的步骤: 1. 安装Apache服务器 首先,您需要确保已安装Apache服务器。可以使用以下命令安装Apache: bash 复制代码 sudo yum install httpd 2. 配置Apache服务

    2024年02月02日
    浏览(40)
  • Apache Dolphinscheduler 最新 3.1.4 概述和安装(1)

    Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的

    2024年02月07日
    浏览(58)
  • 【大数据】Apache Iceberg 概述和源代码的构建

    我们在使用不同的引擎进行大数据计算时,需要将数据根据计算引擎进行适配。这是一个相当棘手的问题,为此出现了一种新的解决方案:介于上层计算引擎和底层存储格式之间的一个中间层。这个中间层不是数据存储的方式,只是定义了数据的元数据组织方式,并向计算引

    2024年02月09日
    浏览(42)
  • ArcGIS Desktop使用入门(三)图层右键工具——组织要素模板

    ArcGIS Desktop使用入门(一)软件初认识 ArcGIS Desktop使用入门(二)常用工具条——标准工具 ArcGIS Desktop使用入门(二)常用工具条——编辑器 ArcGIS Desktop使用入门(二)常用工具条——数据驱动页面 ArcGIS Desktop使用入门(二)常用工具条——基础工具 ArcGIS Desktop使用入门(二

    2024年04月13日
    浏览(45)
  • 开源许可证概述:GNU, BSD, Apache, MPL, 和 MIT

    开源许可证是开源软件分发的基础。它们定义了使用者如何使用,修改,分发开源软件。在这篇文章中,我们将探讨五种常见的开源许可证:GNU通用公共许可证 (GNU GPL),BSD许可证,Apache许可证,Mozilla公共许可证 (MPL) 和麻省理工学院许可证 (MIT)。我们将给出每种许可证的一些

    2024年02月09日
    浏览(63)
  • Apache Doris 快速入门

    FE,Frontend,前端节点,接收用户查询请求,SQL解析,执行计划生成,元数据管理,节点管理等 BE,Backend,后端节点,数据存储,执行查询计划。 前端节点FE 和 后端节点BE 各自独立运行,互不影响。 broker:用来和外部文件系统打交道 DORIS_HOME=/export/server/doris-1.2.4.1 node1:安装

    2024年02月07日
    浏览(45)
  • Apache Kudu入门学习

    目录 一、概念 二、背景 三、特点 四、架构 五、应用场景 六、kudu的模式设计 1、列设计 2、主键设计 3、分区设计 1.范围分区Range Partitioning  2.哈希分区Hash Partitioning 3.多级分区Multilevel Partitioning 官方概念: Apache Kudu is an open source distributed data storage engine that makes fast analytics

    2024年02月08日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包