本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适合用在开发阶段。
平台软件说明
| 平台&软件 | 说明 |
|---|---|
| 宿主机操作系统 | Windows / MacOS |
| 虚拟机操作系统 | CentOS 7 |
| 虚拟机软件 | Windows: VMWare MacOS: Parallels Desktop |
| SSH工具 | Windows: MobaXterm / FinalShell MacOS: FinalShell / iTerm2 |
| 软件包上传路径 | /root/softwares |
| 软件安装路径 | /usr/local |
| JDK | X64: jdk-8u321-linux-x64.tar.gz ARM: jdk-8u321-linux-aarch64.tar.gz |
| Hadoop | X64: hadoop-3.3.1.tar.gz ARM: hadoop-3.3.1-aarch64.tar.gz |
| 用户 | root |
安装JDK
-
卸载之前的JDK
# 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。 [root@qianfeng01 ~]# rpm -qa | grep jdk # 如果有,请卸载 [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps # 将查询到的内置jdk强制卸载复制代码 -
上传JDK安装包到指定的路径
使用MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下复制代码 -
解压JDK到指定安装路径
[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local复制代码 -
配置环境变量
[root@qianfeng01 local]# vim /etc/profile ...上述内容省略，在末尾添加即可... # Java Environment export JAVA_HOME=/usr/local/jdk1.8.0_321 export PATH=$PATH:$JAVA_HOME/bin复制代码 -
重新引导，使得环境变量生效
[root@qianfeng01 local]# source /etc/profile复制代码 -
验证JDK是否配置完成
[root@qianfeng01 local]# java -version复制代码
安装Hadoop
-
上传Hadoop到指定的路径
使用MobaXterm或者FinalShell上传到 /root/softwares 下即可复制代码 -
解压安装
[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local复制代码 -
配置环境变量
[root@qianfeng01 ~]# vim /etc/profile ...上述内容省略，在最下方添加即可... # Hadoop Environment export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin复制代码 -
重新引导，使得环境变量生效
[root@qianfeng01 ~]# source /etc/profile复制代码 -
验证是否配置成功
[root@qianfeng01 ~]# hadoop version复制代码
Hadoop的目录说明Hadoop的目录说明
iShot2022-01-28 12.22.58
案例演示
-
新建一个目录，存放文本文件
# 将若干个存储单词的文件放入这个目录下 [root@qianfeng01 ~]# mkdir ~/input复制代码 -
执行wordcount
[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output复制代码 -
查看结果
[root@qianfeng01 ~]# cat ~/output/*复制代码
案例演示: pi
直接计算pi的结果
[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10
也可以观看视频：文章来源：https://www.toymoban.com/news/detail-473536.html
大数据简介-什么是大数据文章来源地址https://www.toymoban.com/news/detail-473536.html
到了这里，关于Hadoop部署本地模式的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
