Hadoop 3.2.4 伪分布式安装
前言
基本上操作步骤跟2.x的版本内容差异不大，我的理解除了能力强了外，就是把默认的http端口改了，有点意外，安装完成验证的时候，用50070试了半天，还以为自己安装错了呢，原来调整为了9870端口。在此不再多bb了。
配置ssh免密登录
直接参考之前的帖子即可：https://blog.csdn.net/MrZhangBaby/article/details/128329959?spm=1001.2014.3001.5502
其他（主机名、jdk、环境变量等）杂七杂八的，在此不再详细赘述
下载安装包
直接贴地址：https://downloads.apache.org/hadoop/common/hadoop-3.2.4/
解压并调整配置文件
解压安装包到当前位置
tar -xzvf ~/Downloads/hadoop-3.2.4.tar.gz -C .
调整配置文件
hadoop-env.sh
# 首行新增jdk安装目录
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home
yarn-env.sh
# 首行新增jdk安装目录
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cgzhang.local:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/zhangchenguang/software/hadoop-3.2.4/tmp</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/zhangchenguang/software/hadoop-3.2.4/datas/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/zhangchenguang/software/hadoop-3.2.4/datas/data</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cgzhang.local</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
workers 配置
echo `hostname` > workers
cgzhang.local
启动验证
启动与命令查验
# 格式化namenode 会自动出创建相关目录及文件
hdfs namenode -format
# 启动所有服务
start-all.sh
# 查看进程是否已启动
jps
web页面查看
# 查看命令help
hdfs hdfs
# 创建一个目录试下
hdfs dfs -mkdir -p /test/20230712
# 验证是否创建成功
hdfs dfs -lsr /
文章来源：https://www.toymoban.com/news/detail-571299.html
到此已经成功安装了，可以瞅瞅这个神秘的hadoop3.x咯。文章来源地址https://www.toymoban.com/news/detail-571299.html
到了这里，关于Hadoop 3.2.4 本机伪分布式安装的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
