CentOS7 Hadoop3.3.0 安装与配置

这篇具有很好参考价值的文章主要介绍了CentOS7 Hadoop3.3.0 安装与配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、安装JDK

1、创建文件夹tools和training用于存放压缩包和解压使用,tools存放压缩包,training用于解压后安装jdk和hadoop的路径。
1)回到路径为 / 的位置
cd /

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2) 创建 tools 和 training
mkdir tools
mkdir training
3) 进入tools文件夹
cd tools

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去,拖的是tar.gz压缩包,不要在电脑里面解压过了!,拖的时候有进度条,上传完后如图所示

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2、JDK解压
1) 在控制台输入以下命令,将文件解压至training文件夹,如图所示,路径在tools里面,会有一堆进度条,等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2) 查看mobaxterm左边,点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3、JDK安装
1)控制台输入此命令回车进行环境配置
 vi ~/.bash_profile

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2) 进入文件后是不可编辑的阅读状态,使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面,按一下电脑的 i 键盘,进入编辑模式,按右键挪到H的后面,然后回车两次,在进行下一步

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3) 在文件中添加此配置,直接复制粘贴,若java版本不是从我这下的,和我不同,请自行在配置里更改版本编号144,具体如图
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4) 按一下esc退出编辑模式

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

5) 输入 冒号wq,然后回车, 不可复制,直接键盘自己输,此操作是保存文件并退出,w是保存,q是退出,后面不会讲这么细,忘记可以翻回来看,如果不下心改错了,不想保存退出,则使用 :wq! ,就是不保存退出。
:wq

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

6) 环境变量更改以后,需要让他生效,所以输入一下命令让环境变量生效。
source ~/.bash_profile

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

7) 输入此命令,检查java是否安装完毕,如果弹出对应版本信息则成功安装java。
 java -version

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

二、安装Hadoop

1、关闭centos的防火墙,不然影响后面hadoop远程连接
systemctl stop firewalld.service

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

systemctl disable firewalld.service

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2、更改主机名为niit和我一样,方便后续文件直接复制粘贴不用更改,更改后不会马上显示,关掉mobaxterm重新连接一下就好了。
 hostnamectl --static set-hostname niit
3、配置映射关系
1)进入centos的hosts映射文件
 vi /etc/hosts
2)添加ip编号 空格 主机名

(每个人ip都不一样,自己用自己的)
具体怎么添加的参考上面的详细环境变量文件更改和保存操作,一样的。

192.168.163.137 niit

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3):wq保存退出
:wq
4、配置另一个映射文件
1)进入文件
vi /etc/sysconfig/network
2)添加主机名在这个文件里
niit

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3) :wq 保存退出
:wq
5、进入/tools文件夹
cd /tools
6、解压hadoop压缩包到training文件夹
tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

7、Hadoop环境配置
1)再次进入环境变量配置文件
vi ~/.bash_profile
2)添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3):wq保存退出
4)生效环境变量
source ~/.bash_profile

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

5)输入hdfs检查hadoop是否安装成功,如果有这些东西出来了,说明成功安装,接下来去进行hadoop配置文件的配置。
hdfs

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

三、Hadoop免密登录配置

1、创建免密登录数据存放文件
1)在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp 

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2、免密配置
1)进行hadoop ssh免密配置

a输入以下代码,回车四次什么都不要输入快速回车4次,然后你会得到一个密码图形,每个人不一样,不用看我的图,有图形就好了

ssh-keygen -t rsa

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

b输入以下命令

cd ~/.ssh/

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
c输入以下命令(niit是主机名,和我不一样得换自己的)

具体如图所示

 ssh-copy-id -i id_rsa.pub root@niit

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

四、Hadoop5个配置文件设置

1、进入Hadoop配置文件地址
cd /training/hadoop-3.3.0/etc/hadoop/
2、第一个配置文件:hadoop-env.sh,用于设置jdk的
1)输入命令进入编辑
vi hadoop-env.sh

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)进去后长这样

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3)往下滑动鼠标找到

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4)进入编辑模式,在这一行下面一行添加此内容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

5):wq保存退出
3、第二个配置文件:hdfs-site.xml,用于设置权限和数据块备份数量
1)进入文件
vi hdfs-site.xml

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)进去长这样,在两个configuration中间添加配置

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3)进入编辑模式添加内容
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4):wq保存退出
4、第三个配置文件:core-site.xml,用于设置主节点和临时文件夹
1)进入文件
vi core-site.xml

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)进去长这样,在configuration中间加

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3)添加内容,niit是主机名,不一样记得改,8020不用动
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://niit:8020</value>
</property>			
<property>
	<name>hadoop.tmp.dir</name>
	<value>/training/hadoop-3.3.0/tmp</value>
</property>

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4):wq保存退出
5、第四个配置文件:mapred-site.xml,用于设置mapreduce的运行环境
1)进入文件
vi mapred-site.xml

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)进去长这样,在configuration中间加

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3)添加内容
<property>	
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

6、第五个配置文件:yarn-site.xml,用于设置yarn
1)进入文件
vi yarn-site.xml

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)进入长这样,在箭头处添加

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

3)添加内容
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>niit</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

4):wq保存退出

五、Hadoop格式化主节点

hdfs namenode -format

#注意: 如果格式化成功,你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

六、Hadoop启动与关闭

1、启动Hadoop
1)启动命令
start-all.sh

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop

2)是否启动成功进程检查
jps

成功会有5个进程,1个jps进程
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
如果成功看到5个hadoop进程恭喜你成功了,只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响,从头检查一遍。

2、关闭Hadoop
stop-all.sh

CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop
CentOS7 Hadoop3.3.0 安装与配置,大数据,Hadoop,hadoop文章来源地址https://www.toymoban.com/news/detail-704882.html

到了这里,关于CentOS7 Hadoop3.3.0 安装与配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(53)
  • Hadoop(01) Hadoop3.3.6安装教程,单机/伪分布式配置

    在安装 Hadoop 3.3.6 前,需要满足以下前置条件: Java Development Kit (JDK):Hadoop 是用 Java 编写的,因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK,并设置 JAVA_HOME 环境变量。 SSH:Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在

    2024年02月06日
    浏览(49)
  • Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm设置 在安装过程中推荐设置root用户密码为1234方面后续操作 1.设置主机名 以hadoop3为例 2.设置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后执行 service network restart 刷新网卡 3.工具连接(三个机器都要设置) 4.主机映射 windows: C:WindowsSystem32driversetc 修改这个路

    2024年02月03日
    浏览(44)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(46)
  • Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目录 前言: 一、VMware Workstation 二、Ubuntu系统安装 新建虚拟机 三、Ubuntu系统的配置 四、更新apt 五、安装SSH、配置SSH无密码登陆  六、安装Java环境 七、安装 Hadoop3.1.3 八、Hadoop单机配置(非分布式) 九、Hadoop伪分布式配置 前言:         本篇教程由作者本人进行修改,原教

    2024年02月03日
    浏览(46)
  • Hadoop3.1.3安装教程单机伪分布式配置

    本教程使用 Ubuntu 18.04 64位 作为系统环境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位、64位均可),请自行安装系统。装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用

    2024年02月04日
    浏览(51)
  • centos7安装hadoop 单机版

    1.解压 (1)将hadoop压缩包复制到/opt/software路径下 (2)解压hadoop到/opt/module目录下 [root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ (3)修改hadoop属主和属组 [root@kb135 module]# chown -R root:root ./hadoop-3.1.3/ 2.配置环境变量 [root@kb135 module]# vim /etc/profile # HADOOP_HOME export HADOOP_HOME

    2024年02月11日
    浏览(46)
  • 【大数据基础】Hadoop3.1.3安装教程

    来源: https://dblab.xmu.edu.cn/blog/2441/ 前言:重装解决一切bug!事实上,问题中的绝大部分衍生问题都可以通过重装解决。 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 : 接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码: 可为

    2024年02月09日
    浏览(66)
  • Hadoop-3.3.0-Centos7安装详解

    Hadoop3.1.3–Centos7伪分布式安装 安装包目录软件安装目录 一、基础配置 ​ 我们规划整个Hadoop集群由三台服务器组成,分别为node1、node2和node3 配置虚拟机 ​ 通过克隆方式创建的虚拟机node2和node3的主机名均与克隆源虚拟机 ​ 这里需要修改虚拟机node2和node3的主机名,即将它们分

    2024年04月27日
    浏览(31)
  • 大数据第一步-Mac安装Hadoop3

    前提是把jJDK8安装好,hadoop3.x最低需要jdk8。 然后打开共享把远程登陆打开,不打开说是后面会报错, 到终端输入命令:ssh localhost 生成新的keygen否则后面会报错 Permission denied 命令:ssh-keygen -t rsa -P \\\'\\\' -f ~/.ssh/id_rsa   注册,命令为如下: 安装hadoop,命令为我用的是bre

    2024年02月16日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包