Windows 环境下 Hadoop 的安装和配置-Toy模板网

这篇具有很好参考价值的文章主要介绍了Windows 环境下 Hadoop 的安装和配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Windows 环境下 Hadoop 的安装和配置

平台及版本

Windows10
JDK1.8.0_192
Hadoop2.7.3

安装 Java1.8，并配置环境变量

首先要安装好Java。没装的先搜索安装Java的教程吧。

这里我已经安装好了，需要配置好环境变量，Hadoop的安装会用到。

路径：C:\Program Files\Java\jdk1.8.0_192

环境变量：HAVA_HOME，值：C:\Program Files\Java\jdk1.8.0_192

安装 Hadoop2.7.3

从hadoop-2.7.3下载hadoop-2.7.3.tar.gz，解压后放到C盘根目录下：

windows安装hadoop及配置,数据挖掘,hadoop,windows,大数据

原版的Hadoop不支持Windows系统，我们需要修改一些配置方便在Windows上运行，需要从网上搜索下载hadoop对应版本的windows运行包hadooponwindows-master.zip。解压后，复制解压开的bin文件和etc文件到hadoop-2.7.3文件中，并替换原有的bin和etc文件。

hadooponwindows-master.zip下载：
链接：https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw
提取码：acif

配置Java环境变量：

并在Path系统变量中加上：%JAVA_HOME%\bin;
配置Hadoop环境变量：

并在Path系统变量中加上：%HADOOP_HOME%\bin;
使用编辑器打开C:\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，找到set JAVA_HOME，将等号右边的值改成自己Java jdk的路径（如果路径中有Program Files，则将Program Files改为 PROGRA~1）。
配置好上面所有操作后，win+R 输入cmd 打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示结果，则说明安装成功：

Hadoop 核心配置文件

在hadoop-2.7.3根目录下新建data文件夹和tmp文件夹，再在data文件夹里面新建datanote和namenote文件夹：

windows安装hadoop及配置,数据挖掘,hadoop,windows,大数据

在hadoop-2.7.3\etc\hadoop中找到以下几个文件用文本编辑器打开。

打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/C:/hadoop-2.7.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/C:/hadoop-2.7.3/data/datanode</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

从C:\hadoop-2.7.3\bin下拷贝hadoop.dll到 C:\Windows\System32 ，不然在window平台使用MapReduce测试时报错：

windows安装hadoop及配置,数据挖掘,hadoop,windows,大数据