Hadoop YARN功能介绍--资源管理、调度任务

这篇具有很好参考价值的文章主要介绍了Hadoop YARN功能介绍--资源管理、调度任务。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hadoop YRAN介绍

YARN是一个通用资源管理系统平台和调度平台,可为上层应用提供统一的资源管理和 调度。

他的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处。

1.资源管理系统

集群的硬件资源,和程序运行无关,比如内存、cup

2.调度平台

资源如何分配

3.通用

支持各种计算程序

YARN架构、组件

ResourceManager(物理层面集群)

RM是YARN集群的主角色,决定系统中所有应用之间资源分配的最终权限,即最终仲裁者。

NodeManager

YARN的从角色,一个机器上一个,负责管理本机器上的计算机资源。

AplicationMaster(App层面集群)

用户提交均包含一个AM应用程序的老大,负责程序的内部各阶段的资源申请,监督程序的执行情况

Client

Contairner容器(资源的抽象)

程序提交YARN集群交互流程

MR作业提交 Clinet—>RM

资源的申请MrAppMaster-->RM

MR作业状态汇报Container-->Container

节点的状态汇报 NM--RM、

当用户提交向YARN中提交了一个应用程序之后,YRAN将分为两个阶段该应用程序

第一个阶段客户端申请资源启动运行本次程序的ApplicationMaster

第二个阶段是由ApplicationMaster根据本次程序内部情况,为它申请资源,并监控整个运行过程。直到运行完成

第三阶段ApplicationMaster启动成功之后,首先向ResourceManager注册并保持通信,这样用户通过ResourceManager查看应用程序运行状态

第四阶段AM为本次程序内部的各个TASK任务向RM申请资源,并监控他的运行状态

第五个阶段一旦ApplicationMAster申请到资源后,便与对应的NodeMAster通信,要求启动任务

第六阶段NodeManager为任务设置好运行环境后,将任务启动命令写到一个脚本中,并通过运行改脚本启动任务。

第七个阶段各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度

第八个阶段应用程序 运行完成后,ApplicationMaster向ResourceManager注销并关闭自己

YARN资源调度器

FIFOSchedule(先进先出调度器)Capacity Scheduler(容量调度器)Fair Schedule(公平调度器)

Apache版本默认使用Capacity Schedule调度器

如果需要使用其他的调度器 可以在Yarn--site.xml中的yarn.Resource.Schedule.class 进行配置文章来源地址https://www.toymoban.com/news/detail-734308.html

FIFOSchedule(先进先出调度器)

Capacity Scheduler(容量调度器)

Fair Schedule(公平调度器)

到了这里,关于Hadoop YARN功能介绍--资源管理、调度任务的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云计算与大数据技术】资源管理、调度模型策略的讲解

    集群资源管理模型通常由两个部分组成,即资源表示模型和资源分配模型,由于这两个部分是耦合的,所有优化集群资源管理时需要同时结合这两个部分考虑,资源表示模型用于描述集群资源的组织方式,是集群资源统一管理的基础,从狭义上来讲,计算资源是指具有计算能

    2024年02月21日
    浏览(46)
  • 【基于容器的部署、扩展和管理】3.7 资源调度和优化

    往期回顾: 第一章:【云原生概念和技术】 第二章:【容器化应用程序设计和开发】 第三章:【3.1 容器编排系统和Kubernetes集群的构建】 第三章:【3.2 基于容器的应用程序部署和升级】 第三章:【3.3 自动化扩展和负载均衡】 第三章:【3.4 灰度发布和A/B测试】 第三章:【

    2024年02月08日
    浏览(46)
  • 高可用性网络资源的调度与管理:Zookeeper的实践与优化

    作者:禅与计算机程序设计艺术 标题:高可用性网络资源的调度与管理:Zookeeper 的实践与优化 一、引言 1.1. 背景介绍 随着互联网业务的快速发展,分布式系统在大型企业中的应用越来越广泛。在这些分布式系统中,网络资源调度管理是保证系统稳定运行的关键环节。传统网

    2024年02月12日
    浏览(36)
  • Hadoop3.0大数据处理学习3(MapReduce原理分析、日志归集、序列化机制、Yarn资源调度器)

    前言:如果想知道一堆牌中有多少张红桃,直接的方式是一张张的检查,并数出有多少张红桃。 而MapReduce的方法是,给所有的节点分配这堆牌,让每个节点计算自己手中有几张是红桃,然后将这个数汇总,得到结果。 官方介绍:MapReduce是一种分布式计算模型,由Google提出,

    2024年02月08日
    浏览(54)
  • 中移链资源管理介绍

    中移链是基于EOS底层框架,在满足我国信息化监管需求、合规可控的前提下,打造的中国移动区块链服务平台。在中移链中主要包括CPU、RAM和NET三种资源。CPU资源是用于执行智能合约的计算能力,RAM资源用于存储智能合约和其它数据,NET资源则是用于处理网络通信,中移链账

    2024年02月17日
    浏览(38)
  • K8s学习(二)Kubernetest的资源管理及五大资源介绍

    本文是k8s学习系列文章,前后串起来是一个完整的课程(学习笔记),本文记录k8s的资源管理方式及五大类资源的具体管理命令,看完本文基本上就能实现k8s的基本操作,可以独立部署小型项目了。 前期文章连接: 从零开始搭建kubernetes集群环境(虚拟机/kubeadm方式) 总结:

    2024年01月16日
    浏览(35)
  • 软件资源管理下载系统全新带勋章功能 + Uniapp前端

    测试环境:php7.1。ng1.2,MySQL 5.6 常见问题: 配置好登录后转圈圈,检查环境及伪静态以及后台创建好应用 上传图片不了,检查php拓展fileinfo 以及public文件权限 App个人主页随机背景图,在前端uitl文件夹里面的第一个js里面替换随机背景图api即可显示 前端 搭建好后台 在前端找

    2024年01月21日
    浏览(39)
  • 项目全生命周期管理、资产成果沉淀展示、算力资源灵活调度丨ModelWhale 云端协同创新平台全面赋能数据驱动科研工作

    新基建的浪潮如火如荼,国家顶层政策的引导不仅支持着由数据驱动各垂直领域中的新兴商业市场,也为相关科研市场的发展提供了众多机遇。 但持续的发展也带来了新的问题, 传统基础设施已逐渐不能响应新兴数据驱动研究所需的软硬件支持。 本文将从此类问题出发,为

    2024年02月09日
    浏览(40)
  • 甘特图工具DHTMLX Gantt 8.0抢先看, 改进的资源管理、更新的自动计划等功能,一起查阅吧

    DHTMLX Gantt是用于跨浏览器和跨平台应用程序的功能齐全的Gantt图表。可满足项目管理应用程序的大部分开发需求,具备完善的甘特图图表库,功能强大,价格便宜,提供丰富而灵活的JavaScript API接口,与各种服务器端技术(PHP,ASP.NET,Java等)简单集成,满足多种定制开发需求

    2023年04月08日
    浏览(56)
  • 【03Eclipse 窗口说明】对每个窗口和视图的功能和用途的详细说明导航栏编辑器窗口项目资源管理器

    Eclipse 是一款功能强大的集成开发环境(IDE),提供了丰富的窗口和视图来支持开发工作。本教程将详细介绍 Eclipse 主要窗口和常见视图的功能和用途。 1. 导航栏 导航栏位于 Eclipse 窗口的顶部,包含了各种菜单和工具栏,用于导航和执行操作。 2. 编辑器窗口 编辑器窗口是您

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包