Hadoop 运行环境搭建
一、VMware准备Linux虚拟机
1. 设置VMware网段
在VMware的虚拟网络编辑器中，将VMnet8虚拟网卡的：
- 网段设置为：192.168.88.0
- 网关设置为：192.168.88.2
2. 下载CentOS操作系统
首先，我们需要下载操作系统的安装文件，本次使用CentOS7.6版本进行学习：
https://vault.centos.org/7.6.1810/isos/x86_64/ 首先，我们需要下载操作系统的安装文件，本次使用CentOS7.6版本进行学习：
或者直接使用如下链接下载：
https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
3. 在VMware中安装CentOS操作系统
打开VMware软件
按照步骤创建虚拟机：
点击完成后，即开启了CentOS系统的安装，耐心等待安装完成即可，后续都是自动化的。
点击用户名：
体验Linux的快乐吧。
4. 配置多台Linux虚拟机
我们可以使用VMware提供的克隆功能，基于一台虚拟机去克隆创建多台虚拟机。
首先，在VMware中，创建一个文件夹，起名为大数据集群
克隆
同样的操作克隆出：node2和node3
对虚拟机的内存进行配置：
- node1配置为4G内存
- node2、node3配置为2G内存
二 、VMware虚拟机系统设置
1. 对三台虚拟机完成主机名、固定IP、SSH免密登陆等系统设置
1. 1 配置固定IP地址
开启node1，修改主机名为node1，并修改固定ip为：192.168.88.131
#修改主机名
hostnamectl set-hostname node1
#修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"
#重启网卡
systemctl stop network
systemctl start network#
#或者直接
systemctl restart network
同样的操作启动node2和node3,
修改node2主机名为node2，设置ip为192.168.88.132
修改node2主机名为node3，设置ip为192.168.88.133
1.2 配置主机名映射
在Windows系统中修改hosts文件，填入如下内容：
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node31.3 配置SSH免密登录
后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆
在每一台机器都执行：`ssh-keygen -t rsa -b 4096`，一路回车到底即可。
在每一台机器都执行：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通
1.4 创建hadoop用户并配置免密登录
后续大数据的软件，将不会以root用户启动（确保安全，养成良好的习惯）
我们为大数据的软件创建一个单独的用户hadoop，并为三台服务器同样配置hadoop用户的免密互通
1. 在每一台机器执行：useradd hadoop，创建hadoop用户
2. 在每一台机器执行：passwd hadoop，设置hadoop用户密码为123456
3. 在每一台机器均切换到hadoop用户：su - hadoop，并执行 ssh-keygen -t rsa -b 4096，创建ssh密钥
4 在每一台机器均执行
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
2. JDK环境部署
2.1 什么是JDK为什么需要部署它
JDK：Java Development Kit，是用于Java语言开发的环境。
大数据的很多软件的运行都需要有Java运行环境的支持，所以我们在三台服务器上，预先都部署好JDK环境。
2.2 配置JDK环境
下载JDK软件：https://www.oracle.com/java/technologies/downloads
在页面下方找到：
下载jdk-8u361-linux-x64.tar.gz
1.创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server 内
mkdir -p /export/server2. 解压缩JDK安装文件
tar -zxvf jdk-8u351-linux-x64.tar.gz-C /export/server3. 配置JDK的软链接
ln-s /export/server/jdk1.8.0_351 /export/server/jdk4. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中
# 编辑/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin5. 生效环境变量
source /etc/profile6. 配置java执行程序的软链接
# 删除系统自带的java程序
rm -f /usr/bin/java
# 软链接我们自己安装的java程序
Ln-s /export/server/idk/bin/java /usr/bin/java7. 执行验证
java -version
javac -version3. 防火墙、SELinux、时间同步
关闭防火墙和SELinux
集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。
# 每台机器执行
systemctl stop firewalld
systemctl disable firewalldLinux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。
在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可
# 每台机器执行
vim /etc/sysconfig/selinux
#将第七行，SELINUX=enforcing 改为
SELINUX=disabled
#保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统4. 修改时区并配置自动时间同步
以下操作在三台Linux均执行
1. 安装ntp软件
yum install -y ntp
2. 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3. 同步时间
ntpdate -u ntp.aliyun.com
4. 开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd
5. 设置快照
目前Linux虚拟机的状态基本准备就绪，可以对当前状态进行快照保存，以备后续恢复。
对三台虚拟机均执行拍摄快照。文章来源：https://www.toymoban.com/news/detail-838212.html
文章来源地址https://www.toymoban.com/news/detail-838212.html
到了这里，关于大数据技术之Hadoop-运行环境搭建的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
