1.1.1 YARN的介绍
1.2.1 YARN的配置
注:以下需要配置的配置文件均在hadoop-3.1.1安装目录下的 /etc/hadoop 文件夹里
1.2.2 mapred-site.xml
<configuration>
<!-- 指定MapReduce作业执⾏时,使⽤YARN进⾏资源调度 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value> #写hadoop的安装路径,下同
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
</property>
</configuration>
1.2.3 yarn-site.xml
<configuration>
<!-- 设置ResourceManager -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>shulin</value> #主机名
</property>
<!--配置yarn的shuffle服务-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1.2.4 hadoop-env.sh
# 在最后面添加如下:
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
1.2.5 分发到其他节点
#如果没有其他节点,这步请忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/
[root@shulin etc]# scp -r hadoop shulin02:$PWD
[root@shulin etc]# scp -r hadoop shulin03:$PWD
1.2.6 YARN的服务启停
描述 | 命令 |
开启
YARN
全部服务
|
start-yarn.sh
|
停⽌
YARN
全部服务
|
stop-yarn.sh
|
单点开启
YARN
相关进程
|
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
|
单点停⽌
YARN
相关进程
|
yarn --daemon stop resourcemanager
yarn --daemon stop nodemanager
|
1.3.1 YARN的历史日志
1.3.2 历史日志概述
1.3.3 mr-historyserver
顾名思义,就是去记录MapReduce的历史⽇志的。接下来我们从配置开始、到⽇志聚合、运⾏任务去讲解
1.3.4 配置文件
1.mapred-site.xml
<configuration>
<!-- 添加如下配置 -->
<!-- 历史任务的内部通讯地址 -->
<property>
<name>MapReduce.jobhistory.address</name>
<value>shulin:10020</value>
</property>
<!--历史任务的外部监听⻚⾯-->
<property>
<name>MapReduce.jobhistory.webapp.address</name>
<value>shulin:19888</value>
</property>
</configuration>
<configuration>
<!-- 添加如下配置 -->
<!-- 是否需要开启⽇志聚合 -->
<!-- 开启⽇志聚合后,将会将各个Container的⽇志保存在yarn.nodemanager.remote-app-log-dir的位置 -->
<!-- 默认保存在/tmp/logs -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 历史⽇志在HDFS保存的时间,单位是秒 -->
<!-- 默认的是-1,表示永久保存 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://shulin:19888/jobhistory/logs</value>
</property>
</configuration>
1.3.5 分发配置
#没有其他节点的这步可以忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/hadoop
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin01:$PWD
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin02:$PWD
1.3.6 开启历史服务
# 重启YARN集群
[root@shulin ~]# stop-yarn.sh
[root@shulin ~]# start-yarn.sh
# 打开历史服务
[root@shulin ~]# mapred --daemon start historyserver
# 开启之后,通过jps可以查看到 JobHistoryServer 进程,表示开启成功
在浏览器输入IP地址加端口号8088即可打开YARN界面
http://192.168.184.12:8088
文章来源:https://www.toymoban.com/news/detail-628445.html
现在配置的服务已够学习使用,后续还会更新其他配置如timeline服务,YARN的队列配置等。文章来源地址https://www.toymoban.com/news/detail-628445.html
到了这里,关于hadoop安装之保姆级教程(二)之YARN的配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!