阿里云EMR 2.0:定义下一代云原生智能数据湖

这篇具有很好参考价值的文章主要介绍了阿里云EMR 2.0:定义下一代云原生智能数据湖。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

摘要:本文整理自阿里云高级技术专家/数据湖存储负责人郑锴(铁杰);阿里云高级技术专家/开源大数据OLAP负责人范振(辰繁)在 阿里云EMR2.0线上发布会 的分享。

本篇内容主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素:

1.全托管,湖存储;
2.一站式,湖管理;
3.多模态,湖计算

阿里云云原生数据湖分析解决方案全面重磅升级,经中国信通院评测,它是目前国内唯一满分的数据湖方案。它有三个核心要素构成:

  • 全托管,湖存储:全面兼容支持 HDFS/POSIX 协议,无缝对接大数据和AI一体化生态;
  • 一站式,湖管理:提供全面的数据库存储管理能力;
  • 多模态,湖计算:基于一湖多架构,能够同时实现离线湖、实时湖、湖仓分析。

一、全托管 - 湖存储(OSS-HDFS)

1、第三代数据湖存储 OSS-HDFS

  • 第一代数据湖存储是开源的 HDFS;
  • 标准对象存储如阿里云OSS,被认为是第二代数据库存储;
  • 阿里云融合前两代数据湖存储上的优势,推出第三代数据湖存储:OSS-HDFS。

2、OSS-HDFS 生态支持

阿里云EMR 2.0:定义下一代云原生智能数据湖

新的数据湖存储解决方案 OSS-HDFS,通过 HDFS API 和 POSIX API,实现对数据湖存储之上丰富的大数据和AI计算场景的完整支持,这是第三代数据湖存储的核心命题。

  • 通过提供充分的、完全的 HDFS 接口兼容,充分对接 Hadoop、Spark 这类大数据生态;
  • 同时,对新兴的湖仓分析计算场景也提供了充分的支持;
  • 对于蓬勃发展的AI生态,通过 POSIX 提供兼容支持。

3、性能优势

在存储服务的核心能力方面,如性能、规模和成本上,阿里云云原生数据湖分析解决方案具备显著的优势。文章来源地址https://www.toymoban.com/news/detail-452087.html

  • 性能:高
    • 原子性和毫秒级目录操作 rename、delete
    • 超大目录 du/count 毫秒级返回
  • 规模:大
    • 热文件(10 亿)+ 温冷(40亿)vs 4亿
    • OSS 带宽水平扩展
  • 成本:低
    • 标准࿰

到了这里,关于阿里云EMR 2.0:定义下一代云原生智能数据湖的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【译】如何建立一家下一代“人工智能”公司

    原作:丹尼尔·塞克斯顿 引言:通过不易觉察的路径 /Gemini翻译/ dall e,尼古拉·特斯拉启发的时光机   如果你回到1915年的美国,当时三分之一的工人是农民,你会告诉一个农民要做些什么呢? 农业正在蓬勃发展。铁路提供了前所未有的市场准入机会。小麦和玉米的价格飙升

    2024年04月08日
    浏览(33)
  • 探索 ERC721A:下一代NFT智能合约标准

    项目地址:https://gitcode.com/chiru-labs/ERC721A 在区块链世界中,非同质化代币(NFT)已经成为了一种创新的艺术形式和数字资产所有权的代表。随着市场的发展,对于更高效、更安全的NFT发行协议的需求日益增长。这就是我们今天要介绍的 ERC721A 出现的原因。这是一个针对以太坊网

    2024年03月27日
    浏览(28)
  • 【AI智能助手的未来】与人类互动的下一代人工智能技术

    智能助手是一种基于人工智能技术的应用程序或设备,旨在帮助用户完成各种任务、提供信息和服务。智能助手通常具备 语音识别 、 自然语言处理 和 机器学习 等技术,使其能够 理解和解释用户的指令 、 问题或请求 ,并以相应的方式 作出回应 。 智能助手可以运行在智能

    2024年02月07日
    浏览(30)
  • AI智能助手的未来:与人类互动的下一代人工智能技术

    智能助手是一种基于人工智能技术的应用程序或设备,旨在帮助用户完成各种任务、提供信息和服务。智能助手通常具备 语音识别 、 自然语言处理 和 机器学习 等技术,使其能够 理解和解释用户的指令 、 问题或请求 ,并以相应的方式 作出回应 。 智能助手可以运行在智能

    2024年02月11日
    浏览(25)
  • 【人工智能】下一代 AI 编程语言:Mojo 编程手册

    目录 Why Mojo🔥 为什么选择Mojo 魔术🔥 ? Mojo as a member of the Python familyMojo 作为 Python 家族的一员 

    2024年02月09日
    浏览(28)
  • 汽车芯片大变局?PC/手机阵营「拼杀」下一代智能座舱“王位”

    编者按:去年以来,游戏上车正在成为新潮流。 汽车智能化的未来芯片之争,正在进入新一轮周期。其中,相比于自动驾驶,智能座舱的变化速度更快,格局不确定性更大。 本周, 在美国CES展上,英特尔公司正式宣布,将推出一系列AI增强的汽车芯片,首家量产搭载车企将

    2024年02月22日
    浏览(31)
  • 下一代软件开发:AIGC智能编程与持续集成的完美结合

    近年来,随着软件开发的快速发展和自动化工具的广泛应用,持续集成(Continuous Integration)和持续部署(Continuous Deployment)已经成为现代软件开发中不可或缺的一环。在这个背景下,许多开发人员开始探索如何将人工智能自动化编程工具(例如AIGC智能编程)与这些自动化工

    2024年04月12日
    浏览(18)
  • 概念解析 | 无线智能空口:打造下一代无线通讯网络的关键技术

    注1:本文系“概念解析”系列之一,致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是:无线智能空口。 “空口\\\"是无线通信中的一个专业术语,它主要用于描述无线通信设备与设备之间的通信接口。我们可以将其理解为无线通信设备发送和接收信息的\\\"嘴

    2024年02月10日
    浏览(18)
  • 搭载下一代人工智能技术,微软推出Power Automate流程挖掘产品

    在近日的Microsoft Inspire大会中,微软揭晓了他们即将推出的Power Automate流程挖掘产品,并计划在8月1日正式对外开放。 试用地址:https://powerautomate.microsoft.com/zh-cn/#home-signup 这款产品搭载了下一代人工智能技术,有助于组织轻松洞察业务运行的全景,最大程度地理解流程,利用

    2024年02月17日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包