Hadoop集群环境搭建（超详细）

这篇具有很好参考价值的文章主要介绍了Hadoop集群环境搭建（超详细）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1 实验环境

Oracle Linux 7.4
JDK 1.8
Hadoop 2.7.4

2 实验准备

1.实验准备三台机器分别为master,slave1,slave2
2.单击master机器桌面中的konsole图标
Hadoop集群环境搭建（超详细）

3 配置SSH免密登录

1.编辑/etc/hosts文件,出现如下界面
[Command 001]：

vim /etc/hosts

Hadoop集群环境搭建（超详细）
2.按i键，如下图

3.第一行前面添加#，如下图

4.按键ESC，按键:wq回车，保存退出。如下图

5.切换到slave1机器，重复1~4步骤
6.切换到slave2机器，重复1~4步骤
7.切换到master机器，master机器中创建ssh秘钥，输入如下命令，红框位置直接回车即
[Command 002]：

ssh-keygen -t rsa

Hadoop集群环境搭建（超详细）
8.将公钥拷贝到slave1机器，第一个红框位置输入yes，第二个红输位置输入root
[Command 003]：

ssh-copy-id slave1

Hadoop集群环境搭建（超详细）
9.将公钥拷贝到slave2机器, 第一个红框位置输入yes，第二个红输位置输入root
[Command 004]：

ssh-copy-id slave2

Hadoop集群环境搭建（超详细）
10.同样道理，将公钥拷贝到master本机
[Command 005]：

ssh-copy-id master

11.验证由master机器通过ssh方式免密登录到slave1
[Command 006]：

ssh slave1

Hadoop集群环境搭建（超详细）
12.退出slave1
[Command 007]：

exit

Hadoop集群环境搭建（超详细）
13.验证由master机器通过ssh方式免密登录到slave2
[Command 008]：

ssh slave2

Hadoop集群环境搭建（超详细）

14.退出slave2
[Command 009]：

exit

Hadoop集群环境搭建（超详细）

4 Hadoop安装与配置

1.解压hadoop压缩文件至/opt目录下
[Command 010]：

tar -zxvf ~/experiment/file/hadoop-2.7.4.tar.gz -C /opt

2.修改解压后为文件名为hadoop
[Command 011]：

mv /opt/hadoop-2.7.4 /opt/hadoop

Hadoop集群环境搭建（超详细）

3.修改环境变量
[Command 012]：

vim /etc/profile

Hadoop集群环境搭建（超详细）

4.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码
[Code 001]：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop集群环境搭建（超详细）
5.按键Esc，按键:wq保存退出

6.刷新配置文件
[Command 013]：

source /etc/profile

Hadoop集群环境搭建（超详细）
7.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，部分截图如下
[Command 014]：

vim /opt/hadoop/etc/hadoop/hadoop-env.sh

Hadoop集群环境搭建（超详细）
8.按键:set nu回车设置行号，部分截图如下

9.按键25gg定位到25行，部分截图如下

10.按键dd删除此行，部分截图如下

11.按键 i 添加如下代码
[Code 002]：

export JAVA_HOME=/usr/lib/java-1.8

Hadoop集群环境搭建（超详细）
12.按键Esc，按键:wq保存退出
13.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下
[Command 015]：

vi /opt/hadoop/etc/hadoop/core-site.xml

Hadoop集群环境搭建（超详细）
14.按键:set nu回车设置行号，部分截图如下

15.按键19gg定位到19行，按键o添加如下代码，部分截图如下
[Code 003]：

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>

Hadoop集群环境搭建（超详细）
16.按键Esc,按键:wq保存退出
17.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
[Command 016]：

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

Hadoop集群环境搭建（超详细）
18.按键:set nu回车，设置行号

19.按键20gg定位到20行，按键i添加如下代码
[Code 004]：

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

Hadoop集群环境搭建（超详细）

20.按键Esc,按键:wq保存退出
21.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
[Command 017]：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml

Hadoop集群环境搭建（超详细）
22.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下
[Command 018]：

vi /opt/hadoop/etc/hadoop/mapred-site.xml

Hadoop集群环境搭建（超详细）
23.按键:set nu回车，设置行号

24.按键20gg定位到20行,按键i添加如下代码
[Code 005]：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

Hadoop集群环境搭建（超详细）
25.按键Esc,按键:wq保存退出
26.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下
[Command 019]：

vi /opt/hadoop/etc/hadoop/yarn-site.xml

Hadoop集群环境搭建（超详细）
27.按键:set nu回车，设置行号

28.按键18gg定位到18行,按键i添加如下代码，部分截图如下
[Code 006]：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>