1.配置静态ip
2.关闭防火墙
3.修改主机名为 master ,并重启虚拟机
vi /etc/hostname
4.修改主机名与ip映射
5.设置SSH免密登录
6.安装配置java环境
可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。
验证java是否配置好
输入:
java
javac
java -version
----------------------正式Hadoop配置
1.移动安装包到合适位置
2.解压安装包并重命名
3.配置环境变量
4.修改hadoop的核心配置文件:
修改六个配置文件hadoop-env.sh
5.启动与停止Hadoop
5.1NameNode格式化
启动hadoop之前需要格式化(具体在出现的问题第六点)
5.2启动、停止HDFS
验证:
5.3启动停止yarn
出现错误,解决和验证见问题8
成功:(到此hadoop安装配置就完结啦!)
6.访问Hadoop
通过web 浏览器访问Hadoop的集群环境
出现的问题:
1.
在/etc目录下修改sudoers文件,赋予权限。
2.为什么有步骤4
3.
下载hbase.bin.tar.gz(这里下的是2.2.2,因为我的hadoop是3.1.3版本的)
下载地址:https://archive.apache.org/dist/hbase/2.2.2/
4.为什么从8020变成了9000
5.配置完hadoop-env.sh文件后,运行命令:hadoop version
出现报错:ERROR: /usr/lib/jvm/bin/java is not executable
解决:本文件中的路径要与Java的配置文件(/etc/profile中的完全一致)
解决后,再次运行hadoop version
出现内容如下:
6.格式化错误
WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够
命令如下:
7.报错:Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.
(还没去解决)文章来源:https://www.toymoban.com/news/detail-715866.html
8.报错:start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.
解决:
yarn-env.sh文件配置错误,java环境错误,要与java_home的完全一致文章来源地址https://www.toymoban.com/news/detail-715866.html
到了这里,关于CentOS7搭建伪分布式Hadoop(全过程2023)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!