Hadoop3.1.3完全分布式安装配置

这篇具有很好参考价值的文章主要介绍了Hadoop3.1.3完全分布式安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、安装hadoop

1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下: 

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

3.在/opt/module目录下修改文件夹名称:

mv hadoop-3.1.3/ hadoop

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 4.打开环境变量:

vim /etc/profile

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

5.将光标移至文件底部,按“i”键编辑并作出如下配置:

#hadoop
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.按esc键退出编辑,并输入冒号“:wq”  ,回车保存退出:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 7.将profile文件重新运行:

source /etc/profile

8. 运行hadoop version检验安装结果:

hadoop version

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

hadoop安装成功!

二、前期准备

1.关闭防火墙:

查看防火墙状态:

systemctl status firewalld.service

关闭防火墙:

systemctl stop firewalld.service

永久关闭防火墙:

systemctl disable firewalld.service

再次查看防火墙状态:

systemctl status firewalld.service

 执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

2.设置免密登录:

ssh-keygen -t rsa -P ''
ssh-copy-id localhost
ssh localhost
exit

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 3.启用RSA认证:

vim /etc/ssh/sshd_config

添加如下配置:

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

4.虚拟机关机,克隆虚拟机创建bigdata02、bigdata03节点:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 同样的方式创建bigdata03节点这里不再进行演示。

5.开机,三个节点修改主机名:

vim /etc/hostname

修改完成后需要重启虚拟机。

 6.三个节点设置静态ip(之前博客有发这里不再进行演示)。

7.三个节点设置ip映射:

vim /etc/hosts

在文件底部作出如下配置:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

8.三个节点都测试⼀下配置是否成功:

ssh bigdata01
ssh bigdata02
ssh bigdata03

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 准备完毕!

三、配置hadoop完全分布式

1.在/opt/module/hadoop/etc/hadoop/目录下,编辑hadoop-env.sh、yarn-env.sh、mapred-env.sh文件:

vim hadoop-env.sh
vim yarn-env.sh
vim mapred-env.sh

均添加如下配置:

export JAVA_HOME=/opt/module/jdk

2.在/opt/module/hadoop/etc/hadoop/目录下,编辑core-site.xml文件:

vim core-site.xml

在<configuration>下添加如下配置:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop/dfs/tmp/</value>
</property>

3.在/opt/module/hadoop/etc/hadoop/目录下,编辑hdfs-site.xml文件:

vim hdfs-site.xml

在<configuration>下添加如下配置:

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop/dfs/data</value>
</property>

4.在/opt/module/hadoop/etc/hadoop/目录下,编辑yarn-site.xml文件:

vim yarn-site.xml

在<configuration>下添加如下配置:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata01</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

5.在/opt/module/hadoop/etc/hadoop/目录下,编辑mapred-site.xml文件:

vim mapred-site.xml

在<configuration>下添加如下配置:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>

6.在/opt/module/hadoop/etc/hadoop/目录下,编辑works:

vim workers

删除原配置,添加如下配置:

bigdata01
bigdata02
bigdata03

7.在/etc/profile下配置hadoop的HDSF和YARN⽤户:

vim /etc/profile

在文件底部添加如下配置:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

8.source使配置⽂件⽣效:

source /etc/profile

9.将hadoop和将/etc/profile拷⻉到bigdata02和bigdata03:

scp -r /opt/module/hadoop/ @bigdata02:/opt/module/
scp -r /opt/module/hadoop/ @bigdata03:/opt/module/
scp -r /etc/profile @bigdata02:/etc/
scp -r /etc/profile @bigdata03:/etc/

10.格式化namenode:

hdfs namenode -format

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 11.启动hadoop集群:

start-all.sh

执行结果如下:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 12.查看jps进程:

jps

bigdata01:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 bigdata02:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

bigdata03:

hadoop3.1.3安装详细步骤,大数据应用开发组件,大数据

 hadoop完全分布式配置完毕!文章来源地址https://www.toymoban.com/news/detail-721683.html

到了这里,关于Hadoop3.1.3完全分布式安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3.1.4完全分布式集群搭建

    在Centos7中直接使用root用户执行hostnamectl命令修改,重启(reboot)后永久生效。 要求:三台主机的名字分别为:master slave1 slave2 关闭后,可查看防火墙状态,当显示disavtive(dead)的字样,说明CentOS 7防火墙已经关闭。 但要注意的是,上面的命令只是临时关闭了CentOS 7防火墙,

    2024年04月17日
    浏览(51)
  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署

    目录 环境条件: 1、安装虚拟机(已安装好虚拟机的可跳转至  二、安装JDK与Hadoop) (1)直接新建一台虚拟机 (2)首次启用虚拟机,进行安装 一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录) 1、查看一下本机与虚拟机的网卡和ip信息 (1)

    2024年02月06日
    浏览(49)
  • Hadoop(01) Hadoop3.3.6安装教程,单机/伪分布式配置

    在安装 Hadoop 3.3.6 前,需要满足以下前置条件: Java Development Kit (JDK):Hadoop 是用 Java 编写的,因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK,并设置 JAVA_HOME 环境变量。 SSH:Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在

    2024年02月06日
    浏览(49)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    虚拟机相关: VMware workstation 16:虚拟机 vmware_177981.zip CentOS Stream 9:虚拟机 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相关 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 辅助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相关资源可以

    2024年04月14日
    浏览(51)
  • Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

    集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.102 hadoop02 从节点 Hadoop完全分布式环境搭建请移步传送门 先在主节点上进行安装和配置,随后分发到各个从节点上。 1.1 解压zookeeper并添加环境变量 1)解压zookeeper到/usr/local文件夹

    2024年02月04日
    浏览(46)
  • Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

    目录 前言 一、问题重现 1、查询Hadoop版本  2、集群启动Hadoop 二、问题分析 三、Hadoop3.x的集群配置 1、停止Hadoop服务 2、配置workers 3、从节点检测 4、WebUI监控 总结         在大数据的世界里,Hadoop绝对是一个值得学习的框架。关于Hadoop的知识,有很多博主和视频博主都做

    2024年02月04日
    浏览(51)
  • Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置

    华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装图形界面 本篇文章是基于上一篇所配置好的云服务器进行实验软件安装,该系列文章是根据林子雨所讲述的课程就在

    2024年01月21日
    浏览(54)
  • Hadoop3.3伪分布式安装部署

    目录 引言 实验目的及准备 实验步骤 引言 Hadoop生态的搭建有本地模式、伪分布模式、集群模式(3台机器)三种安装模式,本篇文章将详细介绍Hadoop3.3的伪分布安装模式。 实验目的及准备 一、完成Hadoop3.3伪分布安装 二、在Linux中配置jdk1.8环境变量 三、配置主机的免密钥登录

    2024年02月21日
    浏览(47)
  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(53)
  • 【大数据】Hadoop-3.3.4完全分布式安装(包含VMware16和Ubuntu22的下载安装及配置)、搭建、配置教程,以及Hadoop基础简介

    注:本篇文章主要涉及到: HDFS (分布式文件系统)、 YARN (资源管理和调度框架)、以及 MapReduce (离线计算)。 以下就是本篇文章所采用的的架构 。 (1)HDFS架构简述 HDFS架构图 注:上述的master、slave1、slave2均是主机名(结点名),可以和本篇文章不一致,但下面所有涉

    2023年04月17日
    浏览(99)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包