Apache Atlas 是什么?

这篇具有很好参考价值的文章主要介绍了Apache Atlas 是什么?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

本文隶属于专栏《大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见大数据技术体系


WHAT

apache atlas,大数据技术体系,apache,大数据,Atlas

Apache Atlas 是一个开源的元数据管理和数据治理工具,使数据团队能够从多个数据源摄取、发现、编目、分类和管理数据资产。

大数据的现代数据治理超越了基于角色的访问控制和基于属性的访问控制,Atlas 充分利用了额外的元数据来定义和传播新类型的分类。

Atlas 的核心是为敏捷地轻松建模新的业务流程和数据资产。

Apache Atlas目前支持从以下来源摄取元数据:

  • Hive
  • HBase
  • Storm
  • Kafka
  • Sqoop

Apache Atlas 使企业能够通过一套可扩展的核心治理服务有效和高效地满足其合规要求。这些服务包括:

  • 数据图谱:在平台级别捕获跨 Hadoop 组件的图谱
  • 敏捷数据建模:类型系统允许在层次分类法中自定义元数据结构
  • REST API:现代、灵活地访问 Atlas 服务、HDP 组件、UI 和外部工具
  • 元数据交换:通过从当前工具导入现有元数据/模型来利用它。将元数据导出到下游系统。

Apache Atlas 起源

Atlas 由 Hortonworks 在数据治理倡议(DGI)的保护伞下孵化,并于 2015 年 5 月加入官方的 Apache 基金会孵化器,在那里生活和成长,直到 2017 年 6 月作为顶级项目毕业。

最初的重点是 Apache Hadoop 环境,尽管 Apache Atlas 不依赖 Hadoop 平台本身。

开源项目继续看到同比稳定的发展,Hortonworks、Aetna、Merck 和 Target 等组织的提交者做出了有益的贡献。

至于未来,随着元数据本身成为大数据,Apache Atlas 可以被视为现代数据平台的基石之一


Apache Atlas 功能

  • 数据分类
  • 集中式元数据
  • 搜索和血缘
  • 安全与策略引擎

孵化器项目定义的Apache Atlas的核心功能包括以下内容:

数据分类

在 Hadoop 等数据平台内建立对数据的理解,并向外部和内部来源提供这些数据的分类。

Apache Atlas 使您能够自动创建 PII、敏感数据和其他敏感数据的分类。

数据资产可以与多个分类相关联。

您还可以通过谱系传播策略,从而自动确保派生数据继承相同的分类和安全控制。


集中审计

Apache Atlas 可以定义新的元数据类型,并通过公共元数据存储轻松交换元数据。

这允许跨多个元数据存储库的互操作性,这是构建现代数据堆栈的核心要求之一。


搜索和血缘

Apache Atlas 为一个人配备了直观的用户界面,可以按类型、分类、属性值或自由文本对数据类型进行预定义和临时探索。

它还维护了数据源或显式数据是如何构建的,以及它如何随着时间的推移而演变的历史。

也可以通过静态 API 访问和更新血缘。


安全与策略引擎

Apache Atlas 主要是一个数据治理工具。

它允许元数据访问的粒度细粒度安全性,能够设置对实体实例访问的控制,并设置添加/更新/删除分类等操作。

与 Apache Ranger 集成还允许根据与数据资产相关的分类对数据进行屏蔽/授权控制。

关于 Apache Ranger 请参考我的博客——Apache Ranger 是什么?文章来源地址https://www.toymoban.com/news/detail-597793.html

到了这里,关于Apache Atlas 是什么?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • APACHE-ATLAS-2.1.0 - 安装HIVE HOOK(六)

    写在前面 本博文以获取HIVE元数据为例,进行流程和源码的分析。 请提前安装好HADOOP和HIVE的环境,用于测试。 ATLAS官网:https://atlas.apache.org/#/HookHive ATLAS支持的元数据源 什么是Hive Hook(钩子) HOOK是一种在处理过程中拦截事件、消息或函数调用的机制,从这种意义上讲, HI

    2024年02月08日
    浏览(42)
  • 大数据之数据治理架构 —— Atlas

    什么是数据治理? 数据治理是一种组织和管理数据资源的过程,旨在确保数据的质量、安全性、可靠性、可访问性和合规性,以支持企业决策和运营需求。 数据治理涉及制定和执行数据管理策略、规则和流程,包括数据分类、数据质量管理、数据安全和隐私保护、数据共享

    2024年01月17日
    浏览(41)
  • 删除Atlas元数据进行物理删除

    一、问题 想要删除Atlas元数据,Atlas组件默认是逻辑删除,但是我们想要进行物理删除 二、解决 1、修改配置文件 添加如下内容: 2、重启Atlas 3、调用AtlasAPI接口进行删除 如何清除软删除的实体 在Apache Atlas中,有没有办法在启用硬删除后删除/清除软删除的实体? 通过如下

    2024年02月13日
    浏览(40)
  • 数据血缘Atlas Rest-API使用

    atlas支持对hive元数据的管理,通过执行bin/import-hive.sh脚本即可,但目前大多数离线平台是用spark分析数据的,而spark元数据atlas解析不出来数据血缘,这就需要我们自己通过解析spark执行计划再结合atlas rest-api组建出来我们的数据血缘,接下来和大家分享一下atlas rest-api使用方法

    2024年02月08日
    浏览(49)
  • 元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata

    大家好,我是独孤风。元数据管理平台层出不穷,但目前主流的还是Atlas、Datahub、Openmetadata三家,那么我们该如何选择呢? 本文就带大家对比一下。要了解元数据管理平台,先要从架构说起。 下面介绍元数据管理的架构实现,不同的架构都对应了不同的开源实现。 下图描述

    2024年02月03日
    浏览(44)
  • 解析Apache Kafka:在大数据体系中的基本概念和核心组件

    关联阅读博客文章:探讨在大数据体系中API的通信机制与工作原理 关联阅读博客文章:深入解析大数据体系中的ETL工作原理及常见组件 关联阅读博客文章:深度剖析:计算机集群在大数据体系中的关键角色和技术要点 关联阅读博客文章:深入理解HDFS工作原理:大数据存储和

    2024年04月10日
    浏览(61)
  • atlas安装以及问题整理

    Atlas安装: solr版本:8.11.2 atlas版本:2.1.0 maven版本:3.5.4 jdk8 一、 SOLR安装 1、Solr官网https://solr.apache.org/downloads.html下载8.11.2版本solr(solr版本需要和atlas进行版本匹配) 2、上传到服务器。 3、tar -zxvf solr-8.11.2.tgz 进行解压 4、修改solr ZK_HOST配置信息 vim /var/bigdata_app/solr/solr8/sol

    2024年02月13日
    浏览(34)
  • mysql中间件Atlas

    主机 控制端口 工作端口 配置文件 宿主目录 192.1688.1.96 2345 3386 a3386.cnf /usr/local/mysql-proxy    

    2024年02月10日
    浏览(40)
  • 【Atlas500】华为500小站预配置

    1.网线连接盒子 2.1口IP:192.168.2.111 2口IP:192.168.3.111 3.登临网页https://192.168.2.111 输入用户名和密码(管理端用户)。 ● 默认用户名:admin ● 默认密码:Huawei12#$(这里是TianGong8000@1) 华为同样配置了ssh的root用户,用于完成模型工作。 用户通过Web界面进行操作时,只能使用已经开

    2023年04月23日
    浏览(51)
  • Star Atlas VoxEdit 比赛来啦

    我们是在未来 600 年的太空探索黄金时代。三大派系之间长期但脆弱的休战正面临崩溃的危险,因为大家都在银河系的最深处寻找难以言喻的宝藏。 作为 The Sandbox 星系的特使,如果你接受的话,你的任务是访问这三个派系中的一个(Oni、Mud 和 Ustur),并报告你遇到的生物。

    2023年04月08日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包