Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门

这篇具有很好参考价值的文章主要介绍了Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

版权声明

  • 本博客的内容基于我个人学习黑马程序员课程的学习笔记整理而成。我特此声明,所有版权属于黑马程序员或相关权利人所有。本博客的目的仅为个人学习和交流之用,并非商业用途。
  • 我在整理学习笔记的过程中尽力确保准确性,但无法保证内容的完整性和时效性。本博客的内容可能会随着时间的推移而过时或需要更新。
  • 若您是黑马程序员或相关权利人,如有任何侵犯版权的地方,请您及时联系我,我将立即予以删除或进行必要的修改。
  • 对于其他读者,请在阅读本博客内容时保持遵守相关法律法规和道德准则,谨慎参考,并自行承担因此产生的风险和责任。本博客中的部分观点和意见仅代表我个人,不代表黑马程序员的立场。

一 分布式计算概述

1.1 分布式计算

  • 分布式计算:以分布式的形式完成数据的统计,得到需要的结果。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

1.2 分布式(数据)计算模式

  • 分散->汇总模式
    1. 将数据分片,多台服务器各自负责一部分数据处理
    2. 然后将各自的结果,进行汇总处理
    3. 最终得到想要的计算结果
  • 生活中的“人口普查”就是典型的分散汇总的分布式统计模式
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

  • 中心调度->步骤执行模式
    1. 由一个节点作为中心调度管理者
    2. 将任务划分为几个具体步骤
    3. 管理者安排每个机器执行任务
    4. 最终得到结果数据
  • 生活中的各类项目的:项目经理 和 项目成员就是这种模式,一个管理分配任务,其余人员领取任务工作
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

1.3 小结

  1. 什么是计算、分布式计算?
    • 计算:对数据进行处理,使用统计分析等手段得到需要的结果
    • 分布式计算:多台服务器协同工作,共同完成一个计算任务
  2. 分布式计算常见的2种工作模式
    • 分散->汇总 (MapReduce就是这种模式)
  • 中心调度->步骤执行 (大数据体系的Spark、Flink等是这种模式)

二 MapReduce概述

Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

2.1 分布式计算框架 - MapReduce

  • MapReduce是“分散->汇总”模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算。
  • MapReduce提供了2个编程接口:Map、Reduce,其中
    • Map功能接口提供了“分散”的功能, 由服务器分布式对数据进行处理
    • Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计
  • 用户如需使用MapReduce框架完成自定义需求的程序开发,只需要使用Java、Python等编程语言,实现Map Reduce功能接口即可。

2.2 MapReduce执行原理

  • 假设有如下文件,内部记录了许多的单词。且已经开发好了一个MapReduce程序,功能是统计每个单词出现的次数。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 假定有4台服务器用以执行MapReduce任务,可以3台服务器执行Map,1台服务器执行Reduce

2.3 小结

  1. 什么是MapReduce
    • MapReduce是Hadoop中的分布式计算组件
    • MapReduce可以以分散->汇总(聚合)模式执行分布式计算任务
  2. MapReduce的主要编程接口
    • map接口,主要提供“分散”功能,由服务器分布式处理数据
    • reduce接口,主要提供“汇总”功能,进行数据汇总统计得到结果
  • MapReduce可供Java、Python等语言开发计算程序
  • 注:MapReduce尽管可以通过Java、Python等语言进行程序开发,但当下年代基本没人会写它的代码了,因为太过时了。 尽管MapReduce很老了,但现在仍旧活跃在一线,主要是Apache Hive框架非常火,而Hive底层就是使用的MapReduce。 所以对于MapReduce的代码开发,简单扩展一下,但不会深入讲解,对MapReduce的底层原理会放在Hive之后,基于Hive做深入分析。
  1. MapReduce的运行机制
    • 将要执行的需求,分解为多个Map Task和Reduce Task
    • 将Map Task 和 Reduce Task分配到对应的服务器去执行

三 YARN概述

3.1 YARN & MapReduce

  • MapReduce是基于YARN运行的,即没有YARN”无法”运行MapReduce程序,所以,MapReduce和YARN要同时学习
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

3.2 资源调度

Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

  • 对于资源的利用,有规划、有管理的调度资源使用,是效率最高的方式,在程序中亦是如此

3.3 程序的资源调度

  • 服务器会运行多个程序, 每个程序对资源(CPU内存等)的使用都不同。程序没有节省的概念,有多少就会用多少。所以,为了提高资源利用率,进行调度就非常有必要了。
  • 将服务器上的资源进行划分,对程序实行申请制度,需要多少申请多少,提高资源使用率
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

3.4 YARN的资源调度

  • 对于服务器集群亦可使用这种思路,调度整个集群的资源
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

  • 这就是 Hadoop YARN框架的作用:调度整个服务器集群的资源统一管理

  • YARN 管控整个集群的资源进行调度, 那么应用程序在运行时,就是在YARN的监管(管理)下去运行的。

  • 一个具体的MapReduce程序。 MapReduce程序会将任务分解为若干个Map任务和Reduce任务。

  • 假设,有一个MapReduce程序, 分解了3个Map任务,和1个Reduce任务,那么如何在YARN的监管(管理)下运行呢?
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

3.5 小结

  1. YARN是做什么的?
    • YARN是Hadoop的一个组件,用以做集群的资源(内存、CPU等)调度
  2. 为什么需要资源调度
    • 将资源统一管控进行分配可以提高资源利用率
  3. 程序如何在YARN内运行
    • 程序向YARN申请所需资源
    • YARN为程序分配所需资源供程序使用
  4. MapReduce和YARN的关系
    • YARN用来调度资源给MapReduce分配和管理运行资源,所以,MapReduce需要YARN才能执行(普遍情况)

四 YARN架构

4.1 核心结构

Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

  • ResourceManager:整个集群的资源调度者, 负责协调调度各个程序所需的资源。
  • NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 如何实现服务器上精准分配如下的硬件资源呢?
  • NodeManager在服务器上构建一个容器(提前占用资源),然后将容器的资源提供给程序使用,程序运行在容器(集装箱)内,无法突破容器的资源限制。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

4.2 小结

  1. YARN的架构有哪2个角色?
    • 主(Master):ResourceManager
    • 从(Slave):NodeManager
  2. 两个角色各自的功能是什么?
    • ResourceManager: 管理、统筹并分配整个集群的资源
    • NodeManager:管理、分配单个服务器的资源,即创建管理容器,由容器提供资源供程序使用
  3. 什么是YARN的容器?
    • 容器(Container)是YARN的NodeManager在所属服务器上分配资源的手段
    • 创建一个资源容器,即由NodeManager占用这部分资源
    • 然后应用程序运行在NodeManager创建的这个容器内
  • 应用程序无法突破容器的资源限制

4.3 辅助结构

  • YARN的架构中除了核心角色,即:
    • ResourceManager:集群资源总管家
    • NodeManager:单机资源管家
  • 还可以搭配2个辅助角色使得YARN集群运行更加稳定
    • 代理服务器(ProxyServer):Web Application Proxy Web应用程序代理
    • 历史服务器(JobHistoryServer): 应用程序历史信息记录服务

4.4 Web应用代理(Web Application Proxy)

  • 代理服务器,即Web应用代理是 YARN 的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但是可以配置为在独立模式下运行。使用代理的原因是为了减少通过 YARN 进行基于网络的攻击的可能性。
  • 因为, YARN在运行时会提供一个WEB UI站点(同HDFS的WEB UI站点一样)可供用户在浏览器内查看YARN的运行信息
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 对外提供WEB 站点会有安全性问题, 而代理服务器的功能就是最大限度保障对WEB UI的访问是安全的。 比如:警告用户正在访问一个不受信任的站点、剥离用户访问的Cookie等
  • 开启代理服务器,可以提高YARN在开放网络中的安全性 (但不是绝对安全只能是辅助提高一些)

  • 代理服务器默认集成在了ResourceManager中也可以将其分离出来单独启动,如果要分离代理服务器
  1. yarn-site.xml中配置yarn.web-proxy.address 参数即可
<property>
	<name>yarn.web-proxy.address</name>
	<value>node1:8089</value>
	<description>代理服务器主机和端口</description>s/property>
</property>
  1. 并通过命令启动它即可 $HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver

4.5 JobHistoryServer历史服务器

  • 历史服务器的功能:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
    JobHistoryServer历史服务器功能:
    • 提供WEB UI站点,供用户在浏览器上查看程序日志
    • 可以保留历史数据,随时查看历史运行程序信息
      JobHistoryServer需要配置:
  • 开启日志聚合,即从容器中抓取日志到HDFS集中存储
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 配置历史服务器端口和主机
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

4.6 YARN架构角色小结

  • 核心角色:ResourceManager和NodeManager
  • 辅助角色:ProxyServer,保障WEB UI访问的安全性
  • 辅助角色:JobHistoryServer,记录历史程序运行信息和日志

五 MapReduce & YARN 的部署

5.1 部署说明

Hadoop HDFS分布式文件系统,会启动:

  • NameNode进程作为管理节点
  • DataNode进程作为工作节点
  • SecondaryNamenode作为辅助
    Hadoop YARN分布式资源调度,会启动:
  • ResourceManager进程作为管理节点
  • NodeManager进程作为工作节点
  • ProxyServer、JobHistoryServer两个辅助节点

MapReduce运行在YARN容器内,无需启动独立进程


关于MapReduce和YARN的部署,其实就是2件事情:

  • 关于MapReduce: 修改相关配置文件,但是没有进程可以启动
  • 关于YARN: 修改相关配置文件, 并启动ResourceManager、NodeManager进程以及辅助进程(代理服务器、历史服务器)

  • 表格汇总
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

5.2 集群规划

Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

5.3 MapReduce配置文件

$HADOOP_HOME/etc/hadoop文件夹内,修改:

  • mapred-env.sh文件,添加如下环境变量

    # 设置JDK路径
    export JAVA_HOME=/export/server/jdk8
    # 设置JobHistoryServer进程内存为1G
    export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
    # 设置日志级别为INFO
    export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
    
  • mapred-site.xml文件,添加如下配置信息:

      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>MapReduce的运行框架设置为YARN</description>
      </property>
    
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node1:10020</value>
        <description>历史服务器通讯端口为node1:10020</description>
      </property>
    
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node1:19888</value>
        <description>历史服务器web端口为nodel的19888</description>
      </property>
    
      <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/data/mr-history/tmp</value>
        <description>历史信息在HDFS的记录临时路径</description>
      </property>
    
      <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/data/mr-history/done</value>
        <description>历史信息在HDFS的记录路径</description>
      </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
      <description>MapReduce HOME设置为HADOOP_HOME</description>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
      <description>MapReduce HOME设置为HADOOP_HOME</description>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
      <description>MapReduce HOME设置为HADOOP_HOME</description>
    </property>
    
  • yarn-env.sh文件,添加如下4行环境变量内容:

    #设置JDK路径的环境变量
    export JAVA_HOME=/export/server/jdk8
    #设置HADOOPHOME的环境变量
    export HADOOP_HOME=/export/server/hadoop
    #设置配置文件路径的环境变量
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    #设置日志文件路径的环境变量
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs
    
  • yarn-site.xml文件,修改内容

    <configuration>
    
    <!-- 核心配置 -->
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
        <description>>ResourceManager设置在nodel节点</description>
      </property>
    
    
      <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/nm-local</value>
        <description>NodeManager中间数据本地存储路径</description>
      </property>
    
    
      <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/nm-log</value>
        <description>NodeManager中间数据本地存储路径</description>
      </property>
    
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>为MapReduce程序开启Shuf fle服务</description>
      </property>
    
      <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
        <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
      </property>
    
    <!-- 额外配置 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://node1:19888/jobhistory/logs</value>
        <description>历史服务器URL</description>
    </property>
    
      <property>
        <name>yarn.web-proxy.address</name>
        <value>node1:8089</value>
        <description>代理服务器主机和端口</description>
      </property>
    
    
      <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description>开启日志聚合</description>
      </property>
    
      <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
        <description>程序日志HDFS的存储路径</description>
      </property>
    
      <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
        <description>选择公平调度器</description>
      </property>
    </configuration>
    

5.4 分发配置文件

  • MapReduce和YARN的配置文件修改好后,需要分发到其它的服务器节点中。
    scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
    scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/
    
  • 分发完成配置文件,就可以启动YARN的相关进程

5.5 集群启动命令

常用的进程启动命令如下:

  • 一键启动YARN集群: $HADOOP_HOME/sbin/start-yarn.sh
    • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
    • 会基于workers文件配置的主机启动NodeManager
  • 一键停止YARN集群: $HADOOP_HOME/sbin/stop-yarn.sh
  • 在当前机器,单独启动或停止进程
    • $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
    • start和stop决定启动和停止
    • 可控制resourcemanager、nodemanager、proxyserver三种进程
  • 历史服务器启动和停止
    • $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

5.6 开始启动YARN集群

在node1服务器,以hadoop用户执行

  1. 首先执行:$HADOOP_HOME/sbin/start-yarn.sh,一键启动所需的:ResourceManager、NodeManager、ProxyServer(代理服务器)
  2. 其次执行:$HADOOP_HOME/bin/mapred --daemon start historyserver 启动:HistoryServer(历史服务器)
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  3. 查看YARN的WEB UI页面
    • 打开 http://node1:8088 即可看到YARN集群的监控页面(ResourceManager的WEB UI)
      Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
      Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 最后,可以给虚拟机打上快照,保存安装状态

六 MapReduce & YARN 初体验

6.1 集群启停命令

6.1.1 一键启动脚本

  • 启动:
    $HADOOP_HOME/sbin/start-yarn.sh
    
    • 从yarn-site.xml中读取配置,确定ResourceManager所在机器,并启动它
    • 读取workers文件,确定机器,启动全部的NodeManager
    • 在当前机器启动ProxyServer(代理服务器)
  • 关闭:$HADOOP_HOME/sbin/stop-yarn.sh

6.1.2 单进程启停

  • 控制单独控制进程的启停。
  • $HADOOP_HOME/bin/yarn单独控制所在机器的进程的启停
    • 用法:
    yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)
    
  • $HADOOP_HOME/bin/mapred,单独控制所在机器的历史服务器的启停
    • 用法:
    mapred --daemon (start|stop) historyserver
    

6.2 提交MapReduce任务到YARN执行

  • 在部署并成功启动YARN集群后,就可以在YARN上运行各类应用程序了。

  • YARN作为资源调度管控框架,其本身提供资源供许多程序运行,常见的有:MapReduce程序、Spark程序、Flink程序

  • Hadoop官方内置了一些预置的MapReduce程序代码,无需编程,只需要通过命令即可使用。
    常用的有2个MapReduce内置程序:

  • wordcount:单词计数程序。 【统计指定文件内各个单词出现的次数】

  • pi:求圆周率【通过蒙特卡罗算法(统计模拟法)求圆周率】


  • 这些内置的示例MapReduce程序代码,都在:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar 这个文件内。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 可以通过 hadoop jar 命令来运行它,提交MapReduce程序到YARN中。
    语法: hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

6.2.1 提交wordcount示例程序

  • 单词计数示例程序的功能很简单:
    • 给定数据输入的路径(HDFS)、给定结果输出的路径(HDFS)
    • 将输入路径内的数据中的单词进行计数,将结果写到输出路径
  1. 准备一份数据文件,并上传到HDFS中。
    • 将以下内容保存到Linux中为words.txt文件,并上传到HDFS
    itheima itcast itheima itcast
    hadoop hdfs hadoop hdfs
    hadoop mapreduce hadoop yarn
    itheima hadoop itcast hadoop
    itheima itcast hadoop yarn mapreduce
    
hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/
  • 执行如下命令,提交示例MapReduce程序WordCount到YARN中执行
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc1

注意:

  • 参数wordcount,表示运行jar包中的单词计数程序(Java Class)
  • 参数1是数据输入路径(hdfs://node1:8020/input/wordcount/)
  • 参数2是结果输出路径(hdfs://node1:8020/output/wc1), 需要确保输出的文件夹不存在

  • 提交程序后,可以在YARN的WEB UI页面看到运行中的程序(http://node1:8088/cluster/apps)
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 执行完成后,可以查看HDFS上的输出结果
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
    • _SUCCESS文件是标记文件,表示运行成功,本身是空文件
    • part-r-00000,是结果文件,结果存储在以part开头的文件中
  • 执行完成后,可以借助历史服务器查看到程序的历史运行信息
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

6.2.2 查看运行日志

点击logs链接,可以查看到详细的运行日志信息。
Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
此功能基于:文章来源地址https://www.toymoban.com/news/detail-671639.html

  1. 配置文件中配置了日志聚合功能,并设置了历史服务器
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  2. 启动了代理服务器和历史服务器
  3. 历史服务器进程会将日志收集整理,形成可以查看的网页内容供我们查看。

6.2.3 提交求圆周率示例程序

  • 可以执行如下命令,使用蒙特卡罗算法模拟计算求PI(圆周率)
    hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 100000
    
    • 参数pi表示要运行的Java类,这里表示运行jar包中的求pi程序
    • 参数3,表示设置几个map任务
    • 参数1000,表示模拟求PI的样本数(越大求的PI越准确,但是速度越慢)
      Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

6.3 补充:蒙特卡罗算法求PI的基础原理

  • Monte Carlo算法的基本思想是: 以模拟的”实验”形式、以大量随机样本的统计形式,来得到问题的求解。
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式
  • 如图,我们在正方形内,随机落点统计落在1/4圆内的点和总点数量的比例即可得到1/4的PI,最终乘以4即可得到PI
  • 比如,红色点的数量比全部点的数量,结果是0.765,那么乘以四可以得到3.06。3.06就是求得的PI所以,此方法,需要大量的样本(落点),样本越多越精准
  • 以Python语言实现的蒙特卡罗求PI
    Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门,大数据修炼之旅,hadoop,大数据,分布式

到了这里,关于Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式计算框架Hadoop核心组件

    Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS,以加深了解。 1、Hadoop基本介绍 Hadoop是分布式计算框架,主要解决海量数据的存储和计算问题。Hadoop主要组件包括分布式文件系统HDFS、分布式离线并行计算框架

    2024年02月06日
    浏览(40)
  • 芯片设计重要工具—— IBM LSF 分布式高性能计算调度平台

    IBM Spectrum® LSF® Suites 是面向分布式高性能计算 (HPC) 的工作负载管理平台和作业调度程序。基于 Terraform 的自动化现已可用,该功能可在 IBM Cloud® 上为基于 IBM Spectrum LSF 的集群供应和配置资源。 借助我们针对任务关键型 HPC 环境的集成解决方案,提高用户生产力和硬件使用,

    2024年01月19日
    浏览(49)
  • 分布式计算 第五章 大数据多机计算:Hadoop

    5.2.1 从硬件思考大数据 从硬件角度看,一台或是几台机器似乎难以胜任大数据的存储和计算工作。 • 大量机器的集群构成数据中心 • 使用高速互联网络对大量机器进行连接以确保数据传递 • 综合考量数据中心的散热问题、能耗问题,以及各方面成本 • 集群中硬件发生故

    2024年02月05日
    浏览(51)
  • 【云计算平台】Hadoop全分布式模式环境搭建

    此前搭建了hadoop的单机模式与伪分布式模式: 单机模式部署 伪分布式模式部署 中间拖得有点久了,今天索性做个了结,把hadoop的全分布式模式部署的操作也简单地记录一下,算是一个系统性的学习吧。 伪分布式模式是学习阶段最常用的模式,它可以将进程都运行在同一台机

    2023年04月08日
    浏览(54)
  • 【云计算】Hadoop2.x完全分布式集群(入门)

    【虚拟机】VMware Workstation 16 Pro 【镜像】CentOS-7-x86_64-DVD-1804.iso 【java】jdk-8u281-linux-x64.rpm 【Hadoop】hadoop-2.7.1.tar.gz 【SSH远程】SecureCRTPortable.exe 【上传下载】SecureFXPortable.exe 配网卡ens33 重启网络 私钥、公钥 克隆、改名、改IP 三台机都要做:👇 生成密钥 密钥发送 登录测试 had

    2024年04月12日
    浏览(44)
  • 分布式计算中的大数据处理:Hadoop与Spark的性能优化

    大数据处理是现代计算机科学的一个重要领域,它涉及到处理海量数据的技术和方法。随着互联网的发展,数据的规模不断增长,传统的计算方法已经无法满足需求。因此,分布式计算技术逐渐成为了主流。 Hadoop和Spark是目前最为流行的分布式计算框架之一,它们都提供了高

    2024年01月23日
    浏览(54)
  • 39学习分布式计算框架 Hadoop 的高可用方案,如 NameNode 集群、ZooKeeper

    Hadoop 是一个分布式计算框架,用于存储和处理大数据。在 Hadoop 集群中,NameNode 是一个关键组件,它负责管理 Hadoop 分布式文件系统(HDFS)中的文件和目录。为了确保高可用性,需要使用多个 NameNode 节点进行冗余备份,并使用 ZooKeeper 进行故障检测和自动故障切换。 以下是学

    2023年04月26日
    浏览(49)
  • Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Master运行WordCount

    本系列文章索引以及一些默认好的条件在 传送门 首先需要明确eclipse安装目录,然后将hadoop-eclipse-plugin_版本号.jar插件放在安装目录的dropins下 关于插件,可以通过博主上传到csdn的免费资源获取,链接 具体版本可以自己选择: 在eclipse界面中依次选择:Window→show view→other→

    2023年04月09日
    浏览(64)
  • 云计算与大数据第15章 分布式大数据处理平台Hadoop习题带答案

    1、分布式系统的特点不包括以下的(  D  )。 A. 分布性     B. 高可用性        C. 可扩展性     D.串行性 2、Hadoop平台中的(  B  )负责数据的存储。 A. Namenode   B. Datanode         C. JobTracker D. SecondaryNamenode 3、HDFS中block的默认副本数量是(  A  )。 A.3     

    2024年02月06日
    浏览(50)
  • 分布式任务调度系统分析

    首先,我们来思考一些几个业务场景: XX 信用卡中心,每月 28 日凌晨 1:00 到 3:00 需要完成全网用户当月的费用清单的生成 XX 电商平台,需要每天上午 9:00 开始向会员推送送优惠券使用提醒 XX 公司,需要定时执行 Python 脚本,清理掉某文件服务系统中无效的 tmp 文件 最开始,

    2023年04月22日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包