Hadoop三大“金刚”完美剖析 ─────── HDFS、MapReduce、YARN-Toy模板网

这篇具有很好参考价值的文章主要介绍了Hadoop三大“金刚”完美剖析 ─────── HDFS、MapReduce、YARN。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

HDFS组件

储存文件的Block数据块

因为HDFS是分布式储存文件的模式，所以在储存文件的数据时，会将文件切分为大小一致的数据块，如果出现文件大小不是128M的倍数时，那么最后一个文件会与之前切分文件大小不一致。被切分成的数据块就是Block块，NameNode将Block块进行分布式储存到DataNode中。 （Block块的默认大小是128M）

HDFS三大机制

副本机制：为了保证数据的安全和效率，将每个BLOCK块存储到多个副本中
第一副本：
优先本机，否则就近随机
第二副本：
随机保存在与第一副本不同的机柜服务器上
第三副本：
随机保存在与副本二同一机柜的不同服务器上

负载均衡机制：
NameNode为了保证DataNode中Block块大小一样，分配储存任务时，会优先分配到余量比较大的DataNode

心跳机制：
（NameNode与DataNode的沟通)
DataNode每3秒会向NameNode发送自己状态信息，当DataNode 30秒不向NameNode发送自己的状态信息时，NameNode会每隔5分钟发送一次确认消息，连续两次后，没有收到回复，就会认定DataNode宕机了。

HDFS数据的写入原理

1、首先客户端发送上传文件请求到 NameNode 。

2、其次 NameNode 判断客户端是否有权限，如果有就判断该目录下是否已经存在该文件，确认有权限并且存在文件就执行下一步。

3、第三步，客户端会对文件进行切块成最大为默认128MB大小的块，然后再向 NameNode发送请求将‘Block块’上传到哪里。

4、然后 NameNode 根据 HDFS三大机制找到储存该块的 DataNode 列表。

5、紧接着客户端接收到 DataNode 列表后与列表中的节点连接形成传输管道，再通过数据包（MAX=64KB) 的方式传输数据,并建立 ACK(方向应答机制)。
6、具体过程是:

假设有三个节点第一节点为 node1 第二节点为 node2 第三节点为 node3。node1 接收到第一个数据包后向 node2 发送接收到的数据包，同时又向客户端反馈并且接收第二个数据包，node2 向 node1 发送 ACK确认机制,又向 node3 发送接收到的数据包, node3 接收到数据包后，向 node2 发送 ACK确认机制。

hadoop组件的安全机制,hadoop,hdfs,mapreduce,yarn

HDFS读取流程

1、首先客服端向 NameNode 发送读取数据请求。

2、其次 NameNode 判断是否有读取权限，如果有就判断该文件是否存在，不存在直接报错。如果存在就根据相应的原理返回该文件的 Block块地址。

3、然后客户端根据地址读取存储在 DataNode 中 Block块的信息。如果之前读取是部分 Block块的信息，客户端会再次请求 NameNode 从而获取剩余 Block块地址，重新读取，直到全部读取。最后按读取的 Block块进行拼接，得到完整文件。

hadoop组件的安全机制,hadoop,hdfs,mapreduce,yarn

HDFS元数据的介绍和元数据的存储流程

元数据的分类主要分为两大类

因为内存处理速度快，但是极其消耗资源，而且一旦机器故障断电，内存数据将会丢失，所以HDFS对元数据的管理使用了内存元数据和文件元数据来分工合作。

内存元数据：NameNode 运行过程中产生的元数据会先保存在内存中，再保存到文件元数据中。

文件元数据: 存储在 Edits 编辑日志文件和 Fsimage 镜像文件中

在了解元数据的存储整个流程之前，我先介绍一下在整个流程中主要的的两个文件 Edits 和 Fsimage

Edits 编辑日志文件: 记录 HDFS 的每次操作（文件创建，删除或修改）,即为 NameNode 处理客户端的操作，并且 HDFS 的每次操作首先会被记录到 Edits 文件中。

Fsimage 镜像文件: 记录某一个时间节点前的当前文件系统全部文件的状态和信息，是元数据的一个持久化的检查点，所以它储存着整个系统的所有目录和文件元数据信息，它隶属于NameNode 管理的镜像文件之一。

1、如果 NameNode 首次启动时，NameNode 会自动生成 Edits 和 Fsimage ，当再次启动，内存会加载储存在 Fsimage 文件中的数据。

2、当客户端对 HDFS 进行操作时，NameNode 将客户端的操作储存到内存中，然后执行操作，并且将记录储存到 edits_inprogress 文件中。

3、当 edits_inprogress 文件·储存达到了一定值时，edits_inprogress 文件会将数据序列化写入进 Edits 备份文件中

4、然后 edits_inprogress 会将自己的文件名改写成最新的一次文件名编号

5、当 SecondaryNameNode 检测到自己距离上次检查已经有一个小时或者事务数量达到100w时，SecondaryNameNode 会向 NameNode 询问，是否要合并 Edits 文件和 Fsimage 文件。

6、NameNode 发布指令 SecondaryNameNode 合并文件时，SecondaryNameNode 会将 Edits 文件和 Fsimage 文件拷贝加载到本地

7、然后将两个文件加载到内存中进行合并，合并完成后，会生成 fsimage_checkpoint 文件

8、之后 NameNode 会将 SecondaryNameNode 中生成的 fsimage_checkpoint 文件拷贝到本地

9、NameNode 将拷贝的 fsimage_checkpoint 文件改名为 Fsimage ，覆盖原来的 Fsimage 文件。

hadoop组件的安全机制,hadoop,hdfs,mapreduce,yarn

HDFS归档机制

当每个小文件储存到HDFS中，每个小文件占用一个block块，非常浪费资源，所以将小文件进行归档处理，将需要使用的小文件尽量合并到一个块中，这个过程称为归档机制。

hadoop archive -archiveName 文件名.har -p 打包文件路径存储路径

HDFS安全模式

在集群安全模式下，客户端只能读取数据，不能操作数据，安全模式是对数据进行保护状态。

hdfs dfsadmin -safemode get --查看

hdfs dfsadmin -safemode enter --开启

hdfs dfsadmin -safemode leave --离开

HDFS文件操作

增：

hdfs dfs -put 文件路径上传路径 / hadoop fs -put 文件路径上传路径

hdfs dfs -appendToFile 文件路径上传路径 / hadoop fs -appendToFile 文件路径上传路径

hdfs dfs -touch 创建文本路径 / hadoop fs 下面代码如上所示，只需要加上后

hdfs dfs -mkdir 创建文件夹路径 / hadoop fs 面的参数即可，/ --是或的意思

hdfs dfs -mkdir -p 创建多级文件夹路径 / hadoop fs

删：

hdfs dfs -rm 文件路径 / hadoop fs

hdfs dfs -rm -r 文件夹路径 / hadoop fs

改：

hdfs dfs -cp 文件路径复制到文件路径 / hadoop fs

hdfs dfs -mv 文件路径移动到文件路径 / hadoop fs

查：

hdfs dfs -ls 文件路径 / hadoop fs

hdfs dfs -cat 文件路径 / hadoop fs

MapReduce组件

MR任务对圆周率和词频统计的计算

使用jar包对数据进行计算

圆周率：hadoop jar jar包名 pi 参数1 参数2 （参数1是任务次数，参数2是任务取样次数）

单词个数计算：hadoop jar jar包名读取文件位置写入计算文件位置

（读取文件位置必须有文件并且写入计算位置不能有文件，不然会报错）

MapReduce 三大阶段

map阶段：

1、在MAP阶段首先将文件切块，每个块对应一个 Maptask 进程，然后调用 Map 方法将Block块进行切分，切分的数据存储到 buffer环形内存缓冲区，buffer官方默认是100mb，当储存大于80%时，就会溢写成有一个文件。

shuffle阶段：

2、在shuffle阶段将文件进行【分区】，再对分好区的文件根据英文字母顺序进行【排序】，当设置了【规约】时，会对当前 Maptask 任务中的相应数据进行组合，最后在 Maptask 中进行数据合并，然后在 Reducetask 中对数据进行【分组】。

reduce阶段：

3、在reduce阶段进行数据合并，然后封装输出组件，写到目的地文件中。

YARN组件

YARN的执行流程

1、当客户端产生MR计算任务提交给 ResourceManager。

2、ResourceManager 中 application manager 通知并指定 NodeManager 创建 appmaster。

3、创建完 appmaster 后，appmaster 会告知 application manager 自己的状态，然后会向Resource Scheduler 中申请相应的资源。

4、申请资源后 appmaster 会通知所有 NodeManager 给对应的MR计算来分配资源。

5、分配完资源开始计算，同时会一直向appmaster汇报自己的情况，直到计算完成。

6、计算完成后，appmaster 会向 ResourceManager 申请注销自己，所有申请的资源被RM回收。