大数据课程D4——hadoop的YARN-Toy模板网

这篇具有很好参考价值的文章主要介绍了大数据课程D4——hadoop的YARN。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州

▲ 本章节目的

⚪ 了解YARN的概念和结构；

⚪ 掌握YARN的资源调度流程；

⚪ 了解Hadoop支持的资源调度器：FIFO、Capacity、Fair；

⚪ 掌握YARN的完全分布式结构和常见问题；

⚪ 掌握YARN的服役新节点操作；

一、简介

1. 概述

1. Another Resource Negotiator - 迄今另一个资源调度器) - 负责任务管理和资源调度。

2. YARN是Hadoop2.X开始出现的，也是Hadoop2.X中最重要的特性之一。也正是因为YARN的出现，导致Hadoop1.X和Hadoop2.X不兼容。

3. 产生原因：

a. 内部原因：

Ⅰ. 在Hadoop1.X中，没有YARN的说法，此时MapReduce分为主进程JobTracker和从进程TaskTracker。JobTracker只允许存在1个，容易出现单点故障。

Ⅱ. JobTracker负责对外接收任务，接收到任务之后需要将任务拆分成子任务(MapTask和ReduceTask)。JobTracker拆分完任务之后，将子任务分配给从进程TaskTracker。JobTracker会监控每一个TaskTracker的执行情况。在官方文档中，每一个JobTracker最多能够管理4000个TaskTracker。如果TaskTracker数量过多，导致JobTracker的效率成别下降，甚至于导致JobTracker的崩溃。

b. 外部原因：

Ⅰ. Hadoop产生的时候，市面上并没有太多的大数据框架，因此Hadoop在刚开始涉及的时候，只考虑MapReduce的资源调度问题。

Ⅱ. 后来随着大数据的发展，产生了越来越多的计算框架，很大一部分的框架都是围绕着Hadoop使用，因为Hadoop没有考虑其他框架的资源调度问题，所以这些计算框架就产生了资源调度冲突。

4. YARN的结构：

a. 主进程ResourceManager：

Ⅰ. 负责对外接收请求

Ⅱ. 负责管理NodeManager

Ⅲ. 负责管理ApplicationMaster

b. 从进程NodeManager：

Ⅰ. 执行任务。

Ⅱ. 负责管理本节点上的资源。

c. 辅助进程ApplicationMaster：负责管理具体的子任务。