hadoop安装之保姆级教程(二)之YARN的配置

这篇具有很好参考价值的文章主要介绍了hadoop安装之保姆级教程(二)之YARN的配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.1.1 YARN的介绍

  为克服 Hadoop 1.0HDFSMapReduce存在的各种问题⽽提出的,针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架YARN.
  Apache YARNYet another Resource Negotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平台,⽽MapReduce等计算程序则相当于运⾏于操作
系统之上的应⽤程序。
  YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现,但是因为具有⾜够的通⽤性,同样可以⽀持其他的 分布式计算模式,⽐如SparkTez等计算框架。

1.2.1 YARN的配置

YARN属于Hadoop的核⼼组件,不需要单独安装,只需要修改⼀些配置⽂件即可。

注:以下需要配置的配置文件均在hadoop-3.1.1安装目录下的 /etc/hadoop 文件夹里

1.2.2 mapred-site.xml

<configuration>
<!-- 指定MapReduce作业执⾏时,使⽤YARN进⾏资源调度 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>  #写hadoop的安装路径,下同
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
</configuration>

1.2.3 yarn-site.xml

<configuration>
<!-- 设置ResourceManager -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shulin</value>               #主机名
    </property>
<!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

1.2.4 hadoop-env.sh

# 在最后面添加如下:
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

1.2.5 分发到其他节点

#如果没有其他节点,这步请忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/ 
[root@shulin etc]# scp -r hadoop shulin02:$PWD
[root@shulin etc]# scp -r hadoop shulin03:$PWD

1.2.6 YARN的服务启停

描述 命令
开启 YARN 全部服务
start-yarn.sh
停⽌ YARN 全部服务
stop-yarn.sh
单点开启 YARN 相关进程
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
单点停⽌ YARN 相关进程
yarn --daemon stop resourcemanager
yarn --daemon stop nodemanager

1.3.1 YARN的历史日志

1.3.2 历史日志概述

  我们在YARN上运⾏MapReduce的程序的时候,可以在控制台上看到任务的⽇志输出,以获取到任务的运⾏状态。同 时,YARN也会将⽇志写在本地的$HADOOP_HOMOE/logs/userlogs⽂件夹中,我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容,会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志?
  此时就需要开启Hadoop的历史⽇志服务了,Hadoop会将MapReduce的任务⽇志在HDFS也保留⼀份,我们可以通过 Hadoop的历史任务服务来查看到之前的历史⽇志!
  但是每⼀个程序会被分布在不同的节点上进⾏运⾏,我们在进⾏任务查看的时候还得⼀个个的去指定节点进⾏查看, 并⼀个个的找MapTask或者ReduceTask的⽇志,很麻烦!预设YARN提供了历史⽇志聚合的服务!
顾名思义,就是将每⼀个程序的历史⽇志都聚合在⼀起,存储在HDFS上,⽅便查看!

1.3.3 mr-historyserver

顾名思义,就是去记录MapReduce的历史⽇志的。接下来我们从配置开始、到⽇志聚合、运⾏任务去讲解

1.3.4 配置文件

1.mapred-site.xml

<configuration>
<!-- 添加如下配置 -->
<!-- 历史任务的内部通讯地址 -->
    <property>
        <name>MapReduce.jobhistory.address</name>
        <value>shulin:10020</value>
    </property>
<!--历史任务的外部监听⻚⾯-->
    <property>
        <name>MapReduce.jobhistory.webapp.address</name>
        <value>shulin:19888</value>
    </property>
</configuration>
2. yarn-site.xml
<configuration>
<!-- 添加如下配置 -->
<!-- 是否需要开启⽇志聚合 -->
<!-- 开启⽇志聚合后,将会将各个Container的⽇志保存在yarn.nodemanager.remote-app-log-dir的位置 -->
<!-- 默认保存在/tmp/logs -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
<!-- 历史⽇志在HDFS保存的时间,单位是秒 -->
<!-- 默认的是-1,表示永久保存 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://shulin:19888/jobhistory/logs</value>
    </property>
</configuration>

1.3.5 分发配置

#没有其他节点的这步可以忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/hadoop
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin01:$PWD
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin02:$PWD

1.3.6 开启历史服务

# 重启YARN集群
[root@shulin ~]# stop-yarn.sh
[root@shulin ~]# start-yarn.sh
# 打开历史服务
[root@shulin ~]# mapred --daemon start historyserver
# 开启之后,通过jps可以查看到 JobHistoryServer 进程,表示开启成功

在浏览器输入IP地址加端口号8088即可打开YARN界面

http://192.168.184.12:8088

hadoop yarn安装成功,hadoop,大数据,分布式,yarn,1024程序员节

现在配置的服务已够学习使用,后续还会更新其他配置如timeline服务,YARN的队列配置等。文章来源地址https://www.toymoban.com/news/detail-628445.html

到了这里,关于hadoop安装之保姆级教程(二)之YARN的配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【运维】hadoop 集群安装(三)hdfs、yarn集群配置、nodemanager健康管理讲解

    上篇简单说明了多节点的hadoop节点怎么安装,但是没有细致的分析hadoop相关配置,具体怎么根据环境进行配置,接下来我们对这些配置进行讲解 Daemon Environment Variable NameNode HDFS_NAMENODE_OPTS DataNode HDFS_DATANODE_OPTS Secondary NameNode HDFS_SECONDARYNAMENODE_OPTS ResourceManager YARN_RESOURCEMANAGER_OP

    2024年02月10日
    浏览(43)
  • 【大数据之Hadoop】二十三、Yarn命令行操作及生产环境下的配置

    Yarn状态查询可以在hadoop103:8088页面查看,也可以通过命令查看。 先运行案例再查看运行情况。 (1)yarn application 查看任务 (2)yarn logs 查看日志 (3) yarn application attempt 查看尝试运行的任务(即正在运行的任务状态) (4) yarn container查看容器 只有任务在执行过程中才能看

    2024年02月16日
    浏览(44)
  • 【Hadoop】YARN多资源队列配置及使用实践

           由于MapReduce默认采用Capacity Scheduler(详见【Hadoop】YARN简述),因此理论上可以存在多个队列,而默认只有一个队列(default),现有需求:额外创建两个队列分别为online和offline,将这三个队列的资源分别分配为70%、10%、20%,且允许在资源不足时借用其他队列的资源

    2024年02月16日
    浏览(34)
  • Hadoop Yarn 配置多队列的容量调度器

    配置多队列的容量调度器 首先,我们进入 Hadoop 的配置文件目录中( $HADOOP_HOME/etc/hadoop ); 然后通过编辑容量调度器配置文件 capacity-scheduler.xml 来配置多队列的形式。 默认只有 default 队列,显然一个队列不符合集群的生产环境,会造成队列阻塞,资源分配不合理的情况等等

    2024年02月11日
    浏览(47)
  • 大数据开发之Hadoop(Yarn)

    思考: 1、如何管理集群资源? 2、如何给任务合理分配资源? Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 YARN主要由ResourceManager、NodeManager、ApplicationMas

    2024年01月19日
    浏览(45)
  • Hadoop3教程(二十五):Yarn的多队列调度器使用案例

    生产环境下怎么创建队列? 调度器默认只会开一个default队列,这个肯定是不满足生产要求的; 可以按照框架来划分队列。比如说hive/spark/flink的任务分别放在不同的队列里,不过这么做的效率不高,企业用的不是很多。 按照业务模块来划分队列。比如说登录注册的业务,单

    2024年02月02日
    浏览(45)
  • 大数据课程D4——hadoop的YARN

    文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州 ⚪ 了解YARN的概念和结构; ⚪ 掌握YARN的资源调度流程; ⚪ 了解Hadoop支持的资源调度器:FIFO、Capacity、Fair; ⚪ 掌握YARN的完全分布式结构和常见问题; ⚪ 掌握YARN的服役新节点操作; 1. Another Resource Negotiator

    2024年02月14日
    浏览(33)
  • Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 本次YARN的部署结构如下图所示: 当前,共有三台服务器(虚拟机)构成集群,集群规划如下所示: 主机 部署的服务 node1 ResourceManager、N

    2024年02月04日
    浏览(47)
  • Hadoop学习笔记(HDP)-Part.14 安装YARN+MR

    目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger Part.14 安装YARN+MR Part.15 安装HIVE Part.16 安装HBase

    2024年02月05日
    浏览(35)
  • 大数据技术之Hadoop:Yarn集群部署(七)

    目录 一、部署说明 二、集群规划 三、开始配置 3.1 MapReduce配置文件 3.2 YARN配置文件 3.3 分发配置文件 四、集群启停 4.1 命令介绍  4.2 演示 4.3 查看YARN的WEB UI页面 Hadoop HDFS分布式文件系统,我们会启动: NameNode进程作为管理节点 DataNode进程作为工作节点 SecondaryNamenode作为辅

    2024年02月09日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包