Hadoop学习日记-YARN组件

这篇具有很好参考价值的文章主要介绍了Hadoop学习日记-YARN组件。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

YARN(Yet Another Resource Negotiator)作为一种新的Hadoop资源管理器,是另一种资源协调者。

YARN是一个通用的资源管理系统调度平台,可为上层应用提供统一的资源管理和调度

YARN架构图
Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

YARN3大组件:

(物理层面)ResourceManager(RM):

YARN集群中的主角色,决定系统所有应用程序之间资源分配的最终权限,即最终仲裁者。通过NM分配管理各个机器上的计算资源

(物理层面)NodeManager(NM):

YARN集群中的从角色,负责管理本机器上的计算资源,由RM命令启动Container容器、监视容器使用情况、分发回收资源

(App层面)ApplicationMaster(AM):

用户Client提交的每一个应用程序均包含一个AM,负责应用程序内部各阶段的资源申请,监督程序的执行。

程序提交YARN的交互流程:

  1. MR作业提交 Client–RM
  2. 资源的申请 MrAppMaster–RM
  3. MR作业状态汇报 Container(Map|Reduce Task)–Container(MrAppMaster)
  4. 节点的状态汇报 NM–RM

Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

主要步骤:

1)用户通过客户端向YARN中ResourceManager提交应用程序(比如Hadoop jar提交MR程序)

2)ResourceManager为该应用程序分配第一个容器,并与对应的NodeManager通信,要求它在这个容器中启动这个应用程序的ApplicationMaster

3)ApplicationMaster启动成功之后,首先向ResourceManager注册并保持通信,用户因此可以通过ResourceManager查看应用程序的运行状态

4)AM为本次程序内部的各个Task任务向RM申请资源,并监控它的运行状态

5)ApplicationMaster申请到资源后,与对应的NodeManager通信,要求它启动任务

6)NodeManager为任务设置好运行环境后,将任务启动命令写到一个脚本中,并通过运行脚本启动任务

7)各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度,以获取各个任务的运行状态,在应用程序运行过程中,用户可以随时通过RPC协议向ApplicationMaster查询应用程序的当前运行状态。

8)应用程序运行完成后,ApplicationMaster向ResourceManager注册并关闭自己

YARN资源调度器Scheduler

Scheduler负责给应用分配资源,是ResourceManager的核心组件之一。其完全用于调度作业,且无法跟踪应用程序的状态

三种调度器:

FIFO Scheduler(先进先出调度器)、Capacity Scheduler(容量调度器)默认、Fair Scheduler(公平调度器)

FIFO:
Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

该调度器不考虑优先级和范围,适用于负载较低的小规模集群,当使用大型共享集群时,它的效率较低且会导致一些问题

Capacity:

Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

该调度器允许多个组织共享整个集群资源,每个组织可以获得集群的一部分计算能力。通过给每个组织分配专门的队列,再为队列分配一定的集群资源,这样的整个集群就可以通过设置多个队列的方式给多个组织提供服务。简单来说每个队列都有独立的资源,队列的结构和资源是可以进行配置的
Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

Fair:

Hadoop学习日记-YARN组件,hadoop,hadoop,学习,大数据

公平调度:对于调度A和B每个用户都有自己的队列,A启动一个作业,由于B没有需求,A得到了集群所有可用的资源。B在A的作业仍在运行时启动了一个作业,经过一段时间后A、B各自作业都使用了一半的资源。若B用户在其他作业仍在运行时开始第二个作业,它将与B的另一个作业共享其资源。因此B的每个作业将拥有资源的四分之一,而A继续拥有一半的资源。结果是资源在用户之间公平的共享文章来源地址https://www.toymoban.com/news/detail-624952.html

到了这里,关于Hadoop学习日记-YARN组件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop学习笔记(HDP)-Part.14 安装YARN+MR

    目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger Part.14 安装YARN+MR Part.15 安装HIVE Part.16 安装HBase

    2024年02月05日
    浏览(35)
  • 大数据技术之Hadoop:Yarn集群部署(七)

    目录 一、部署说明 二、集群规划 三、开始配置 3.1 MapReduce配置文件 3.2 YARN配置文件 3.3 分发配置文件 四、集群启停 4.1 命令介绍  4.2 演示 4.3 查看YARN的WEB UI页面 Hadoop HDFS分布式文件系统,我们会启动: NameNode进程作为管理节点 DataNode进程作为工作节点 SecondaryNamenode作为辅

    2024年02月09日
    浏览(56)
  • Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 本次YARN的部署结构如下图所示: 当前,共有三台服务器(虚拟机)构成集群,集群规划如下所示: 主机 部署的服务 node1 ResourceManager、N

    2024年02月04日
    浏览(47)
  • 大数据面试题集锦-Hadoop面试题(四)-YARN

    你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题,关注一下\\\" 张飞的猪大数据分享 \\\"吧,公众号会不定时的分享相关的知识和资料。 目录 1、为什么会产生 yarn,它解决了什么问题,有什么优势? 2、简述hadoop1与h

    2024年02月13日
    浏览(47)
  • 【大数据】HADOOP-YARN容量调度器配置详解

    Capacity调度器具有以下的几个特性: 层次化的队列设计,这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理,更容易合理分配和限制资源的使用。 容量保证,队列上都会设置一个资源的占比,这样可以保证每个队列都不会占用整个集

    2024年02月01日
    浏览(45)
  • 大数据技术之Hadoop:MapReduce与Yarn概述(六)

    目录 一、分布式计算 二、分布式资源调度 2.1 什么是分布式资源调度 2.2 yarn的架构 2.2.1 核心架构 2.2.2 辅助架构 前面我们提到了Hadoop的三大核心功能:分布式存储、分布式计算和资源调度,分别由Hadoop的三大核心组件可以担任。 即HDFS是分布式存储组件,MapReduce是分布式计算

    2024年02月09日
    浏览(39)
  • 大数据技术之Hadoop:提交MapReduce任务到YARN执行(八)

    目录 一、前言 二、示例程序 2.1 提交wordcount示例程序 2.2 提交求圆周率示例程序 三、写在最后 我们前面提到了MapReduce,也说了现在几乎没有人再写MapReduce代码了,因为它已经过时了。然而不写代码不意味着它没用,当下很火的HIve技术就到了MapReduce,所以MapReduce还是相当重要

    2024年02月08日
    浏览(43)
  • 【大数据】HADOOP-Yarn集群界面UI指标项详解(建议收藏哦)

    集群监控信息指标详解 Apps Submitted:已提交的应用 Apps Completed:已完成的应用 Apps Running:正在运行的应用 Containers Running:正在运行的容器 Memory Total:集群总内存,大小等于所有的NodeManager管理的内存之和 Memory Used:已使用内存 VCores Total:集群 CPU 总核数, 等于所有的NodeMana

    2023年04月09日
    浏览(36)
  • 【大数据之Hadoop】二十三、Yarn命令行操作及生产环境下的配置

    Yarn状态查询可以在hadoop103:8088页面查看,也可以通过命令查看。 先运行案例再查看运行情况。 (1)yarn application 查看任务 (2)yarn logs 查看日志 (3) yarn application attempt 查看尝试运行的任务(即正在运行的任务状态) (4) yarn container查看容器 只有任务在执行过程中才能看

    2024年02月16日
    浏览(44)
  • 【Hadoop】二、Hadoop MapReduce与Hadoop YARN

    md笔记 1、Hadoop MapReduce 1.1、理解MapReduce思想 MapReduce的思想核心是“ 先分再合,分而治之 ”。 所谓“分而治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最

    2024年02月05日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包