阿里云EMR2.0平台:让大数据更简单

这篇具有很好参考价值的文章主要介绍了阿里云EMR2.0平台:让大数据更简单。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

摘要:本文整理自阿里云资深技术专家李钰(绝顶)在 阿里云EMR2.0线上发布会 的分享。本篇内容主要分为三个部分:
1.EMR 平台概述
2.EMR2.0 新平台核心能力
3.总结

一、EMR 平台概述

EMR 平台是开源大数据的云原生运行环境,阿里云EMR 根据云原生的特点,在弹性伸缩、稳定性、智能化和研发效能四个方面进行了大量的功能优化:

  • Elasticity 弹性伸缩,算力按需申请释放,突破IDC物理限制;
  • Stability 稳定性,故障节点自动替换补偿,关键事件自动告警;
  • Intelligence 智能化,智能探查资源浪费,预警集群潜在风险;
  • Efficiency 研发效能,业务高效开发调试,作业一键调度上线。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

二、EMR2.0 新平台核心能力

Elasticity 弹性

基于时间的弹性伸缩能力

  • 弹性规则:定时增加或者减少 ECS 实例数量;
  • 适用场景:业务负载变化存在时间周期性;
  • 成本节省:通过采取这种策略,与预置固定资源相比可以节省大量资源;使用抢占式实例可以进一步降低成本;
  • 使用方式:在节点组上设置扩容规则的时候,选择按时间扩容;支持以下设置:执行频率和执行时间;规则的有效期;重试过期时间;单次扩容的节点数等。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

基于指标的弹性伸缩能力

  • 弹性规则:通过预设的基于负载指标的规则,动态调整 ECS 实例数量;
  • 适用场景:业务负载动态变化,无固定时间周期性;
  • 成本节省:通过采取这种策略,可以动态的适应业务负载的变化;使用抢占式实例可以进一步降低成本;
  • 使用方式:在节点组上设置扩容规则的时候,选择按负载扩容;支持以下设置:集群负载指标(比如“YARN 资源队列 pending 应用数”);指标统计周期和统计规则;重复几次后扩容;单次扩容的节点数;冷却时间等。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

支持抢占式实例

  • 能力:支持实例规格筛选,单节点组可选择多达10种不同规格;成本优化策略支持自动选取低价实例规格出价;
  • 效果:生产实证可降低80%+成本;典型客户案例支撑;
  • 使用方式:
    • 创建抢占式实例节点组:在集群创建完成后,新增抢占式实例的节点组;
    • 选择实例规格:
      • 节点组的配置中选择抢占式实例规格,最多可以选择十种规格,可以根据每种规格的释放率和折扣率进行取舍;
      • 同时也支持按照资源筛选规格,比如:4核16G;
    • 支持两种不同的策略:
      • 优先级策略,节点组所有实例都必须使用抢占式实例,然后按照设定的优先级顺序申请抢占式实例;
        • 优势:最大化的降低成本;
        • 劣势:抢占式实例库存不足时,业务无法及时获取到所需资源;
      • 成本优化策略,会智能的优先使用抢占式实例,在抢占式实例库存不足时会补充按量实例;
        • 优势:在及时响应业务资源需求和综合成本上达到较好的平衡。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

性能大幅提升

EMR新平台相比于老平台在性能上得到了大幅提升,主要体现在以下三个方面:

a. 高并行能力

  • 节点组内和多节点组间均支持并行扩容
  • 支持缩容期间并行扩容,支持突发业务变化

b. 快速响应能力

  • 更高的弹性速度,100节点扩容时间<2分钟
  • 更快的感应速度,指标检测周期<30秒;

c. 大规模服务能力

  • 单次支持扩容节点数>1000;

下图中右边的柱状图显示了 EMR1.0 和 EMR2.0 平台弹性扩容速度的对比,可以看到,EMR2.0 新平台对于不同规模的弹性扩容速度都可以稳定的控制在两分钟之内,扩容时间不会随扩容节点数增加线性增长。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

Stability 稳定性

支持节点故障容忍和补偿

EMR新平台支持节点故障容忍和补偿,主要体现在两个方面:

a. 故障节点不影响扩容

  • Core/Task 节点 CPU 打满不影响扩容;
  • Core/Task 节点 OS Hang 不影响扩容;
  • Core/Task 节点宕机不影响扩容;

b. 计算节点故障自动替换补偿

  • Task 节点 OS Hang 支持自动补偿;
  • Task 节点磁盘满支持自动补偿;
  • Task 节点网络问题支持自动补偿;

节点故障容忍和补偿需要手动开启。根据后台统计,在开启后,集群全场景稳定性可提升1个9。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

更加全面的服务巡检和事件通知

a. 服务巡检

  • 集群服务页面可以看到所有的大数据引擎服务,以及每个引擎组件的健康状态;
  • 针对不同组件的健康检查项进行持续巡检,并实时上报;
  • 帮助用户及时发现和解决问题;

b. 事件通知

  • 在集群监控页面,增加了事件中心,事件可按时间/类型/等级进行筛选;
    • 比如:在下图右下的截图中显示Critical等级事件“Spark_HistoryServer组件健康状态异常”,用户可以筛选Critical级别事件,并进行针对性的处理;
  • 关键性事件可订阅实时告警,从而更及时的发现问题并进行处理;

阿里emr,云栖号技术分享,云原生,阿里云,云计算

Intelligence 智能化

EMR 新平台智能化能力主要体现在 EMR 新产品 EMR Doctor 的能力。EMR Doctor 致力于帮助用户更好的进行大数据集群的管理和运维。

EMR Doctor 通过集群日报和实时检测的功能达到避免资源浪费、风险提前预警和实时分析建议的核心效果。

EMR Doctor 避免资源浪费

a. 通过健康检查服务的集群日报功能查看集群是否存在资源浪费;

  • 针对集群日报中不健康的报告可以点击“查看报告”;
  • 比如:在下图左下的截图中显示“内存利用率较低”;

b. 通过任务评分倒排 Top N,找到资源浪费最多的作业进行优化;

  • 在发现“内存利用率较低”的问题后进入详情页面找到资源浪费最多的作业;
  • 点击进入作业详情页面,根据提供的优化建议对这些作业进行优化;

c. 通过持续优化,最大化利用资源,避免浪费。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

EMR Doctor 风险提前预警

集群日报功能的另一个核心效果是风险提前预警。

a. 可能影响集群健康的问题

  • 小文件或者冷数据占比过大;
  • 数据本地化率低;
  • 计算任务激增导致资源消耗过快;

b. 可能的解决方案:

  • 小文件数量过多:提前进行整合处理;
  • 冷数据占比过大:进行数据分层,将冷数据分层放置到低成本存储(例如 OSS)上,降低整体成本;
  • 数据本地化率低:进行提前提升,避免业务访问延迟
  • 计算任务激增导致资源消耗过快:提前增加资源,避免资源不足导致的业务等待和受损;

总体来说,针对集群出现的健康问题,集群日报能够给出预警,实现提前发现、提前处理。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

EMR Doctor 实时分析建议

  • 通过健康检查服务的实时检测功能,触发实时分析并查看建议;
  • 实时检测功能覆盖 Yarn 队列实时资源用量,当前资源浪费作业 Top N,存储数据实时本地化率等;
  • 集群整体变慢或者业务无法提交时,可以触发实时检测辅助诊断和运维。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

Efficiency 研发效能

EMR 新平台推出全新 EMR Studio 的 Serverless 服务,主要包括两方面:全托管 Notebook 服务和全托管 Workflow 服务,通过这两个服务实现交互式大数据开发和调式,以及一键式作业调度上线的功能。

EMR Studio 交互式大数据开发和调试

  • EMR Studio 全托管 Notebook 服务:支持多种大数据引擎,包括:Spark、Hive、Trino、Impala、ClickHouse、StarRocks 等;
  • 即开即用,没有集群创建流程,无需额外购买云资源;
  • 兼容 Jupyter 使用习惯,无缝对接 EMR 各计算/存储引擎,方便用户通过 Notebook 提交作业到 EMR 资源集群,进行运行和验证。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

EMR Studio 一键式大数据作业调度和上线

  • EMR Studio 全托管 Workflow 服务;
  • 即开即用,没有集群创建流程,无需额外购买云资源;
  • 兼容 Apache DolphinScheduler,无缝对接 EMR 集群;方便用户在工作流定义中加入 EMR Notebook 上面已经开发和调试完的作业,进行调度和上线;

同时,EMR Studio Workflow 还计划支持调度其他云产品创建的作业,比如阿里云VVP 等。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

EMR Notebook 和 Workflow 产品目前均处于邀测状态,欢迎有兴趣的朋友联系我们申请试用。

总结:EMR 新平台的“黑科技”

最后,让我们一起回顾一下EMR新平台的“黑科技”。

a. Elasticity 降本增效

  • 快速灵活的弹性伸缩能力;
  • 全方位支持抢占式实例;

b. Stability 稳定便捷

  • 故障节点自动发现和补偿;
  • 自动实时巡检;
  • 事件告警通知;

c. Intelligence 智能辅助

  • 避免资源浪费;
  • 风险提前预警;
  • 实时分析建议;

d. Efficiency 高效开发

  • 交互式开发调试;
  • 一键调度上线;

以上是 EMR 2.0 新平台的核心能力,欢迎大家使用和反馈。

阿里emr,云栖号技术分享,云原生,阿里云,云计算

原文链接

本文为阿里云原创内容,未经允许不得转载。文章来源地址https://www.toymoban.com/news/detail-650783.html

到了这里,关于阿里云EMR2.0平台:让大数据更简单的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于EMR的新一代数据湖存储加速技术详解

    摘要:本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分: 背景介绍 JindoData 数据湖存储解决方案 点击查看直播回放 大数据行业蓬勃发展,主要源自于通讯技术的发展,全球数据规模,预计2

    2024年02月02日
    浏览(59)
  • 医院电子病历编辑器,EMRE(EMR Editor)源码

    电子病历主要面向医院机构医生、护士,提供对住院病人的电子病历书写、保存、修改、打印等功能。本系统基于云端SaaS服务方式,通过浏览器方式访问和使用系统功能,提供电子病历在线制作、管理和使用的一体化电子病历解决方案,为医疗机构的电子病历业务开展提供有

    2024年02月07日
    浏览(50)
  • EMR磁盘挂载细节与解释

    大多数情况下, 在使用了S3作为主要的存储服务后,我们在创建EMR集群时通常是不会再添加EBS卷的,但是作为一些用用的参考,我们还是记录一下这方面的情况,以备后查。首先,整个EMR集群,添加的卷会分别挂载到/mnt, /mnt1, /mnt2, …目录上,在配置HDFS的本地映射目录时,我

    2024年02月13日
    浏览(26)
  • 一套电子病历系统源码(EMR)

    EMR 电子病历系统源码 电子病历系统面向门诊医生和病房临床医生,实现了医生日常阅读、书写病历和医院管理病历的需求,它包括知识库管理、病历模版制作、医生书写病历、开各种检查检验申请单、查询各种报告单、电子病历浏览、病历质量控制等功能。 它将病人在院期

    2024年02月16日
    浏览(41)
  • AWS EMR集群的费用构成

    目前根据账单项目可以看到EMR费用由以下部分构成 实例费用(Spot、SP、On demand) EMR管理费 EBS卷 跨区流量费(InterAZ Transfer) 其中 EC2-Instance-Spot:EMR竞价实例,费用最低,但是存在被强制回收和资源池不足而拉起时间很长的现象 EC2-Instance-Ondemand:EMR按需实例,费用最高,不会

    2024年01月23日
    浏览(49)
  • 使用 Apache DolphinScheduler 进行 EMR 任务调度

    By AWS Team 随着企业规模的扩大,业务数据的激增,我们会使用 Hadoop/Spark 框架来处理大量数据的 ETL/聚合分析作业,⽽这些作业将需要由统一的作业调度平台去定时调度。 在 Amazon EMR 中,可以使用 AWS 提供 Step Function,托管 AirFlow,以及 Apache Oozie 或 Azkaban 进行作业的调用。但随

    2024年02月16日
    浏览(41)
  • Amazon EMR Hudi 性能调优——Clustering

    随着数据体量的日益增长,人们对 Hudi 的查询性能也提出更多要求,除了 Parquet 存储格式本来的性能优势之外,还希望 Hudi 能够提供更多的性能优化的技术途径,尤其当对 Hudi 表进行高并发的写入,产生了大量的小文件之后,又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的即席

    2024年02月12日
    浏览(48)
  • 使用 Alluxio 优化 EMR 上 Flink Join

    业务背景痛点 流式处理的业务场景,经常会遇到实时消息数据需要与历史存量数据关联查询或者聚合,比如电商常见的订单场景,订单表做为实时事实表,是典型的流式消息数据,通常会在 kafka 中,而客户信息,商品 SKU 表是维度表,通常存在业务数据库或者数仓中,是典型

    2023年04月09日
    浏览(35)
  • 【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

    几天把跨年搞的和人生分水岭似的 那么,2023年的你有什么不一样了吗? 是不是还和去年一样的造型?新姿势,学起来! 腾讯云开发者社区带着干货来了,腾讯云×尚硅谷大数据研究院强强联手,重磅推出新年第一弹: 腾讯云EMR数仓教程发布 腾讯云开发者社区“公开课”直

    2023年04月11日
    浏览(45)
  • 最佳实践:如何优雅地提交一个 Amazon EMR Serverless 作业?

    博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧

    2024年02月13日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包