hadoop3.3.4安装及启动

这篇具有很好参考价值的文章主要介绍了hadoop3.3.4安装及启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.虚拟机的安装

此处我选择的是VMware,激活码可以百度搜索,安装过程比较缓慢,需要耐心等待

---------------------------------------------------------------------------------------------------------------------------------

2.创建新的虚拟机

hadoop3.3.4安装及启动,学习

点击创建虚拟机,如果已经创建,导入即可

---------------------------------------------------------------------------------------------------------------------------------

3.下载镜像

多种镜像可以选择,我选择下载的是CentOS7。相比于ubantu,CentOS7下载速度更快,相对应的虚拟机克隆的速度也更快。但是图形化界面不如ubantu,对新手不友好。

---------------------------------------------------------------------------------------------------------------------------------

4.导入镜像

hadoop3.3.4安装及启动,学习

注意:一定要先选稍后安装,如果在这里直接安装,将会出现用户注册无效的问题,你将无法登录进入虚拟机

hadoop3.3.4安装及启动,学习

hadoop3.3.4安装及启动,学习

创立成功后,再在CD/DVD设置中,导入镜像文件。重启虚拟机,使其生效

---------------------------------------------------------------------------------------------------------------------------------

5.登入

一共有两种模式,一种是注册时注册的自定义用户,该用户权限很小,特征是命令前缀为$,另一种是root用户,该用户权限很大,特征是命令前缀为#。如果在登录界面输入的用户名是“root”(不加引号)那么将登入root用户。输入exit可以切换为自定义用户。此外,自定义用户可以输入su指令,切换到root用户

hadoop3.3.4安装及启动,学习

---------------------------------------------------------------------------------------------------------------------------------

6.网络设置

Hadoop需要至少三台机器互联互通,因此网络的设置至关重要,可以先采用ping www.baidu.com的方法,检验网络设置(点击ctrl+c中止该过程,不然会一直进行通信)

hadoop3.3.4安装及启动,学习

如果能显示,证明可以联通互联网,反之则需要调试网络。

hadoop3.3.4安装及启动,学习

打开虚拟网络编辑器,选择VMnet8模式,关闭使用本地DHCP分配IP地址选项(静态ip地址,不需要分配),同时点击NAT设置,查找本机子网IP,子网掩码以及网卡,记住他们。

以我的设置为例:

hadoop3.3.4安装及启动,学习

接下里,打开本机的网络配置器,选择VMnet8

hadoop3.3.4安装及启动,学习

修改IPV4协议,除了IP地址以外,其他地址按在虚拟网络适配器中查到的值抄写。IP地址头三组按查到的值抄写,最后一位写0-255之间的任意数。注意合理分配最后一位数,待会还会用到

hadoop3.3.4安装及启动,学习

输入ip addr查找虚拟机配置文件号

hadoop3.3.4安装及启动,学习

输入vi /etc/sysconfig/network-scripts/ifcfg-ens33(ens33是刚刚用ip addr查到的号码),按i进入编辑模式,给机器分配ip地址,要与在ipv4中设置的ip地址不同,我这里写的是200.编辑完成后按esc退出,按下:wq保存修改

BOOTPROTO=static
 
ONBOOT=yes
IPADDR=192.168.198.200
NETMASK=255.255.255.0
GATEWAY=192.168.198.2
DNS=8.8.8.8

hadoop3.3.4安装及启动,学习

输入service network restart重启网络,使修改生效。最后再ping www.baidu.com检验。一台机子完成设置后,克隆两台(完整克隆,不要链接克隆!),再按同样的流程,修改为不同的ip地址(202,204)

我们采用主从结构搭建,三台机器为:

192.168.198.200 hadoop01
192.168.198.202 hadoop02
192.168.198.204 hadoop03

使用vi /home/hosts打开hosts文件,把上面那段代码加进去,完成后重启网络,使修改生效

使用相互ping的方法检验是否设置成功

hadoop3.3.4安装及启动,学习

注意:在这一步就可以关闭防火墙了,使用systemctl stop firewalld和systemctl disable firewalld.service指令。

---------------------------------------------------------------------------------------------------------------------------------

7.配置ssh免密登录

在主节点机器(hadoop01)使用ssh-keygen -t rsa生成ssh密钥

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

把密钥拷贝到三台机器上,这样就实现免密登陆了。这一步成功的基础在于,必须关闭防火墙

使用

ssh hadoop01
ssh hadoop02
ssh hadoop03

进行检验,看是否分发成功。输入exit即可断开连接

---------------------------------------------------------------------------------------------------------------------------------

8.远程连接工具的下载

putty和xshell均可以。xshell无需购买,家庭版足矣,此外xshell图形化界面更友好。下载之后采用ip地址连接的方式与虚拟机连接即可。值得注意的是,连接虚拟机时,虚拟机必须开机,不能关机!

---------------------------------------------------------------------------------------------------------------------------------

9.jdk下载传输

利用xshell或者putty和虚拟机建立连接。输入rz,如果没有任何反应那么意味着没有下载rz包,使用yum install语句,下载rz命令的资源包。同时,考虑到后续要设置java变量,区分命令和变量的颜色十分重要,我们同样使用yum install语句,下载vim语句的资源包(vim 语句区分不同变量的颜色十分醒目,便于我们修改、配置java变量)。使用家庭版xshell第一次上传时,可能会出现乱码,不要慌张,退出连接后,重新再上传一次基本上就不会有乱码了。输入ls检查下载的目录下是否有jdk压缩包。没有问题的话,将该压缩包解压(利用语句在虚拟机上解压,不要理解为在本机解压!)输入

tar zxvf 资源包名字

再次输入ls查看目录下是否有解压文件和安装包。这一步的时候,也可以上传hadoop 3.3.4的压缩包,上传过程同理

hadoop3.3.4安装及启动,学习

输入以下语句配置jdk变量

vim .bash_profile

输入:

PATH=$PATH:$HOME/.local/bin:$HOME/bin
export JAVA_HOME=/jdk地址/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

(可以输入pwd查看jdk下载地址)

再输入,使配置的修改生效:

source .bash_profile

输入java -version检查虚拟机的jdk是否配置成功

hadoop3.3.4安装及启动,学习

如果出现不能识别java的报错,那就意味着要么jdk未正确解压,要么java变量未配置成功

---------------------------------------------------------------------------------------------------------------------------------

10.hadoop的解压与配置

输入如下命令,解压hadoop

tar zxvf hadoop-3.3.4.tar.gz

 可以把压缩包移到想要的地址,合理分配内存资源,利用mv语句,比如这个地址:

/home/hadoop/hadoop-3.3.4

输入cd /home/hadoop语句,切换到该文件夹,输入ls查看是否成功的把压缩包移动到该文件夹下,如果用mv语句一直没有反应,那可以直接先切换到该文件下,然后使用rz语句,就在该文件夹下解压hadoop

hadoop3.3.4安装及启动,学习

接下来配置hadoop服务器上的各个文件:

/home/hadoop/hadoop-3.3.4/etc/hadoop/

切换到该目录下

输入

vim hadoop-env.sh

将# export JAVA_HOME=那一行的注释符删除,同时将地址配置为jdk安装的地址

hadoop3.3.4安装及启动,学习

接下来配置,core-site.xml

vim  core-site.xml

在两个configuraiton标签之间插入:

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.198.200:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>

然后配置hdfs-site.xml 

vim hdfs-site.xml 

同样的,插入:

 <property>  
 <name>dfs.namenode.name.dir</name> 
 <value>file:/home/hadoop/dfs/name</value>
 </property>
 <property> 
 <name>dfs.datanode.data.dir</name> 
 <value>file:/home/hadoop/dfs/data</value>
 </property>
 <property> 
 <name>dfs.replication</name>
 <value>2</value> 
 </property>
 <property>
 <name>dfs.http.address</name>  
 <value>192.168.198.200:50070</value>
 </property>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.198.200:9001</value>
 </property>
 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property>

还需要配置mapred-site.xml

vim mapred-site.xml

插入:

 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>192.168.198.200:10020</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>192.168.198.200:19888</value>
 </property>

此外还有yarn-site.xml

vim yarn-site.xml

插入:

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
 <name>yarn.resourcemanager.address</name>
 <value>192.168.198.200:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>192.168.198.200:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>192.168.198.200:8031</value>
 </property>
 <property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>192.168.198.200:8033</value>
 </property>
 <property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>192.168.198.200:8088</value>
 </property>
 <property>
<name>yarn.nodemanager.resource.memory-mb</name>
 <value>1024</value>
 </property>

注意:在hadoop3.3.4中,不再需要配置yarn-env.sh文件!

最后,配置环境变量

vim /etc/profile

输入:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/home/hadoop
export HADOOP_HOME=/home/hadoop/hadoop-3.3.4/
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HOME/bin
export PATH

输入命令,使得配置生效:

source /etc/profile

---------------------------------------------------------------------------------------------------------------------------------

11.配置worker,为下一步分发hadoop以及后续守护线程的启动做准备

cd /home/hadoop/hadoop-3.3.4/etc/hadoop
vim workers

删除localhost,输入三台机器的ip地址

hadoop3.3.4安装及启动,学习

输入指令重启,使修改生效

---------------------------------------------------------------------------------------------------------------------------------

12.分发jdk,hadoop,file到两台从机

scp -r /home/jdk1.8.0_212 hadoop02:/home/
scp -r /home/jdk1.8.0_212 hadoop03:/home/
scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop03:/etc/
scp -r /home/hadoop hadoop02:/home/
scp -r /home/hadoop hadoop03:/home/

注意上传成功后要在两台从机分别重启配置文件,不然配置无效

---------------------------------------------------------------------------------------------------------------------------------

13.hadoop服务器启动

只需要在主虚拟机上启动服务器,第一次启动时要注意要进行格式化。不要轻易进行格式化,多次格式化会产生严重报错。如果这一次启动失败了,那么需要执行以下命令清除上一次格式化产生的错误数据

rm -rf tmp/       ----/home/hadoop目录下
mkdir tmp         ----/home/hadoop目录下
rm -rf logs/      ----/home/hadoop/hadoop-3.3.4目录下
mkdir logs        ----/home/hadoop/hadoop-3.3.4目录下

第一次启动,建议分别启动dfs和yarn,不要直接启动两个服务器,第一次启动直接用sbin/start-all.sh几乎百分之百会报错。采用sbin/start-dfs.sh、sbin/start-yarn.sh分别启动。没有报错的话,输入jps检查守护线程

hadoop3.3.4安装及启动,学习

或者输入hadoop fs命令

hadoop3.3.4安装及启动,学习

那么hadoop3.3.4就配置成功了!文章来源地址https://www.toymoban.com/news/detail-766813.html

到了这里,关于hadoop3.3.4安装及启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

    目录 前言 一、问题重现 1、查询Hadoop版本  2、集群启动Hadoop 二、问题分析 三、Hadoop3.x的集群配置 1、停止Hadoop服务 2、配置workers 3、从节点检测 4、WebUI监控 总结         在大数据的世界里,Hadoop绝对是一个值得学习的框架。关于Hadoop的知识,有很多博主和视频博主都做

    2024年02月04日
    浏览(51)
  • Hadoop3.X集群安装

    服务器 运行角色 hadoop01 namenode、datanode、resourcemanager、nodemanager hadoop02         secondarynamenode、datanode、nodemanager hadoop03 datanode、nodemanager 安装包、源码包下载 https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/ 准备三台主机 hosts映射 JDK1.8安装 JDK1.8 配置ssh免密登录 ssh免密登录 创建

    2024年01月20日
    浏览(48)
  • MacOS本地安装Hadoop3

    金翅大鹏盖世英,展翅金鹏盖世雄。 穿云燕子锡今鸽,踏雪无痕花云平。 ---------------- 本文密钥:338 ----------------- 本文描述了在macbook pro的macos上安装hadoop3的过程,也可以作为在任何类linux平台上安装hadoop3借鉴。 1、准备工作 确保已安装jdk,本地已安装jdk1.8.0_221。 export JAV

    2024年02月15日
    浏览(46)
  • hadoop3.0 非高可用安装

    伪分布式集群,不依赖zookeeper的hadoop集群 只有namenode, 和datanode, 可以有两个namenode. 没有zookeeper, 没有zkfc, 没有journalnode. 只在学习的时候使用, 生存环境不适用 . 生产环境用的高可用集群见 https://blog.csdn.net/weijiqian/article/details/137157513 关闭: 禁止开机启动: 查看状态: 注意:

    2024年04月11日
    浏览(47)
  • Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm设置 在安装过程中推荐设置root用户密码为1234方面后续操作 1.设置主机名 以hadoop3为例 2.设置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后执行 service network restart 刷新网卡 3.工具连接(三个机器都要设置) 4.主机映射 windows: C:WindowsSystem32driversetc 修改这个路

    2024年02月03日
    浏览(44)
  • Hadoop3.3伪分布式安装部署

    目录 引言 实验目的及准备 实验步骤 引言 Hadoop生态的搭建有本地模式、伪分布模式、集群模式(3台机器)三种安装模式,本篇文章将详细介绍Hadoop3.3的伪分布安装模式。 实验目的及准备 一、完成Hadoop3.3伪分布安装 二、在Linux中配置jdk1.8环境变量 三、配置主机的免密钥登录

    2024年02月21日
    浏览(47)
  • 【大数据基础】Hadoop3.1.3安装教程

    来源: https://dblab.xmu.edu.cn/blog/2441/ 前言:重装解决一切bug!事实上,问题中的绝大部分衍生问题都可以通过重装解决。 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 : 接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码: 可为

    2024年02月09日
    浏览(66)
  • Hadoop(01) Hadoop3.3.6安装教程,单机/伪分布式配置

    在安装 Hadoop 3.3.6 前,需要满足以下前置条件: Java Development Kit (JDK):Hadoop 是用 Java 编写的,因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK,并设置 JAVA_HOME 环境变量。 SSH:Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在

    2024年02月06日
    浏览(49)
  • 大数据第一步-Mac安装Hadoop3

    前提是把jJDK8安装好,hadoop3.x最低需要jdk8。 然后打开共享把远程登陆打开,不打开说是后面会报错, 到终端输入命令:ssh localhost 生成新的keygen否则后面会报错 Permission denied 命令:ssh-keygen -t rsa -P \\\'\\\' -f ~/.ssh/id_rsa   注册,命令为如下: 安装hadoop,命令为我用的是bre

    2024年02月16日
    浏览(60)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包