【大数据】hadoop运行环境搭建（搭建如此简单）-Toy模板网

这篇具有很好参考价值的文章主要介绍了【大数据】hadoop运行环境搭建（搭建如此简单）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

首先准备好工具。下载好最新的VMware Workstation，CentorOS 7运行Linux，建议Linux桌面标准版，且创建好一个用户

一、模板虚拟机Hadoop100环境准备

安装模板虚拟机。IP地址192.168.150.100（自定义）、主机名称hadoop100、内存4G、硬盘50G，嘎嘎重要，一步一步来完成

1. 改为静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33进入配置文件（想不起来用tab键查找）
更改内容示例如下(最后的IP地址等依照自身情况做更改)：

BOOTPROTO="static"
…
IPADDR=192.168.150.100
GATEWAY=192.168.150.2
DSN1=192.168.150.2

2. 建立主机名映射

Linux系统
进入配置文件vim /etc/hosts，加上主机名及其对应IP地址
或者
echo "192.168.150.100 hadoop100" >> /etc/hosts
再进windows系统C:\Windows\System32\drivers\etc同样修改hosts文件

如果主机名不是hadoop100可通过echo "hadoop100" > /etc/hostname来修改，reboot重启即可，如不想重启就执行hostnamectl并新开一个终端

3. 远程连接

ssh root@主机名远程连接Linux系统
下载Xshell或者finalshell或者windows终端，本文使用的是windows终端

检查网络是否连接 ping www.csdn.com

4. 安装软件包

yum install -y epel-release

Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包

5. 关闭防火墙及其开机自启

关闭防火墙：systemctl stop firewalld
关闭开机自启：systemctl disable firewalld.service

6. 添加root权限（后面选择root用户登录的话可以不修改）

root用户vim /etc/sudoers第91行加上该用户名 ALL=(ALL) NOPASSWD: ALL，由于是只读文件，退出时wq!
或者
将用户usermod -g wheel 该用户名 添加到wheel组中，加上NOPASSWD即可

7. 在/opt 目录下创建文件夹

创建文件夹

mkdir /opt/module
mkdir /opt/software

修改所有者、所属组（后面选择root用户登录的话可以不修改）

chown ygy:ygy /opt/module
chown ygy:ygy /opt/software

最后 ll 查看修改情况

8. 卸载虚拟机自带的openJDK

为什么要卸载openJDK?
是因为现在很多公司都用JDK，开发项目需要统一的标准，而且对于一些一直用JDK，对openJDK不是特别了解的朋友来说，openJDK不用为好，毕竟和官网JDK稍微不太一样，难免在开发中遇到一些问题，这样会大大增加项目的不可控风险

先检查虚拟机是否自带了JDK：rpm -qa | grep -i java
一键删除操作：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

解释：
rpm -qa 查询安装的所有rpm软件包
grep -i 忽略大小写
xargs -n1 表示每次只传递一个参数
rpm -e --nodeps 忽略依赖关系强制删除软件

9. 重启虚拟机

# 重启
reboot

没有改好就再改，重启到改好为止😤

二、克隆虚拟机

利用模板机hadoop100，克隆三台虚拟机Hadoop102、103、104（选择完整克隆），注意在克隆时要使hadoop100关机

对于每一台虚拟机（按照上面的方法）

修改静态IP地址
修改主机名字
查看/etc/hosts文件内是否写入IP地址及对应的主机名
reboot重启后检查主机名是否修改成功、是否ping的通（联网）
挨个远程登录试试看

三、在hadoop102上安装JDK&hadoop

以下操作在root用户下，无需安装包即可下载

1. 安装JDK

进入software文件夹 cd /opt/software，执行

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

下载完毕后，解压下载的JDK1.8安装包 tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/module/
为了方便，重命名 mv jdk1.8.0_151/ java8
配置Java环境变量，vim /etc/profile.d/my_env.sh写入

#JAVA_HOME
export JAVA_HOME=/opt/module/java8
export PATH=$PATH:$JAVA_HOME/bin

刷新当前的shell环境 source /etc/profile
最后查看是否成功安装java -version

2. 安装hadoop3.3.6

回到/opt/software下载安装包，执行

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压 tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module
改名 mv hadoop-3.3.6/ hadoop
配置环境变量，进入配置文件vim /etc/profile.d/my_env.sh写入

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

刷新当前的shell环境 source /etc/profile
最后查看是否成功安装hadoop

其中重要目录：

bin 目录：存放对 Hadoop 相关服务（ HDFS,YARN）进行操作的脚本

etc 目录： Hadoop 的配置文件目录，存放 Hadoop 的配置文件

lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

sbin 目录：存放启动或停止 Hadoop 相关服务的脚本；share 目录：存放 Hadoop 的依赖 jar 包、文档和官方案例