1. Toy模板网首页
  2. >Toy博客

hadoop完全分布式

1年前作者：gudeman分类：Toy博客阅读(7)违法举报

这篇具有很好参考价值的文章主要介绍了hadoop完全分布式。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

准备工作

三台虚拟机，关闭防火墙，关闭selinux

查看防火状态 systemctl status firewalld

暂时关闭防火墙 systemctl stop firewalld

永久关闭防火墙 systemctl disable firewalld

查看 selinux状态 getenforce

暂时关闭 selinux setenforce 0

永久关闭 selinux 在/etc/selinux/config文件中将SELINUX改为disabled

修改主机名：hostnamectl set-hostname 主机名称

修改映射文件/etc/hosts 使得三台主机可以互ping

hadoop完全分布式

配置ssh免密登录

ssh-keygen -t rsa 生成私钥与公钥

 文章来源地址https://www.toymoban.com/news/detail-411654.html

hadoop完全分布式

 

 

 ssh-copy-id hadoop01 将公钥复制到需要远程连接的机器上 

注意：也需要分发给自己，否则启动hadoop进程的时候会要求输入密码

hadoop完全分布式

 

 

解压jdk与hadoop压缩包 解压到/usr/local/src/目录下

hadoop完全分布式

 

 

 hadoop完全分布式

配置jdk与Hadoop环境变量

如果觉得环境变量太长可以把后面的版本号删除

 在/etc/profile文件中修改配置文件

hadoop完全分布式

修改Hadoop配置文件

evn文件    hadoop-env.sh　　yarn-env.sh　　mapred-env.sh

在env.sh中配置java环境

注意：三个env文件中都要配置java，否则无法启动集群

hadoop完全分布式

 

 

 

配置HDFS相关文件

配置core-site.xml

<configuration>
  <property>    <!-- 指定HDFS中NameNode的地址 -->
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>    <!-- 指定Hadoop运行时产生文件的存储目录 -->
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/src/hadoop/data/tmp</value>
  </property>
</configuration>

 

配置hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>4</value>
        </property>
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/src/hadoop/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/src/hadoop/data</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave2:50090</value>
        </property>
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn-resourcemanager.hostname</name>
                <value>slave1</value>
        </property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

配置slave文件  写入其他主机名称

hadoop完全分布式

 全部配置完之后分发给其他集群

hadoop完全分布式

 

 scp命令说明  

-r是传输文件夹，如果只是传输文件，可以不需要加-r

root是传输给root用户，如果要传输给其他用户也可以修改为其他用户的名称

@后面加主机名 hadoop02是主机名

：后面加传输的目录下

 

格式化NameNode

第一次开启必须要格式化

注意：如果需要重新格式化，将namenode存放的路径的目录删除即可

[hadoop@hadoop01 hadoop-2.7.2]$ bin/hdfs namenode -format

启动HDFS

在NameNode节点启动

[hadoop@hadoop01 hadoop-2.7.2]$ sbin/start-dfs.sh

[hadoop@hadoop01 hadoop-2.7.2]$ jps

启动Yarn

在Resourcemanager节点启动

[hadoop@hadoop02 hadoop-2.7.2]$ sbin/start-yarn.sh

[hadoop@hadoop02 hadoop-2.7.2]$ jps

 

使用jps查看进程与节点是否对应

  hadoop01 192.168.112.101 hadoop02 192.168.112.102 hadoop03 192.168.112.103
HDFS

NameNode

DataNode

 DataNode

SecondaryNameNode

DataNode
YARN NodeManager

ResourceManager

NodeManager

 NodeManager

 

启动HDFS：start-dfs.sh

启动Yarn：start-yarn.sh

关闭HDFS：stop-dfs.sh

关闭Yarn：stop-yarn.sh

 

 

 

 

 最终全部启动

hadoop完全分布式hadoop完全分布式

hadoop完全分布式

 

到了这里，关于hadoop完全分布式的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包赞助服务器费用

相关文章

  • 搭建伪分布式集群（克隆三台虚拟机，配置ens33网络）

    搭建伪分布式集群（克隆三台虚拟机，配置ens33网络）

    目录 1 克隆虚拟机 1.修改主机名 2.修改UUID 2 配置ens-33网络        同样的，第三台也是重复操作即可 克隆完成三台虚拟机后，由于node02和node03都是由node01克隆来的，所以他们的主机名和UUID都是一样的，我们需要修改一下 1.修改主机名 在node01的虚拟机下，输入： hostnamectl s

    2024年02月06日
    浏览(18)
  • hadoop完全分布式

    hadoop完全分布式

    三台虚拟机，关闭防火墙，关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenforce 暂时关闭 selinux setenforce 0 永久关闭 selinux 在/etc/selinux/config文件中将SELINUX改为disabled 修改主机名： hostn

    2023年04月12日
    浏览(7)
  • Hadoop完全分布式搭建

    Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive，数据仓库学习大数据专业的用的到     注：开启虚拟机把鼠标放入屏幕点击后消失，使用键盘上下键进行选择   注：点击之后，什么都不动，再点击完成（因为它自动帮我们分区了） 注：我们配置

    2024年02月04日
    浏览(7)
  • 搭建完全分布式Hadoop

    搭建完全分布式Hadoop

    登录三个虚拟机 执行命令： vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令： vim /etc/profile 存盘退出，执行命令： source /etc/profile ，让配置生效 查看had

    2024年02月04日
    浏览(13)
  • Hadoop 完全分布式部署

    Hadoop 完全分布式部署

    前期准备 分析： 准备3台客户机（关闭防火墙、静态IP、主机名称） 【CentOS 7】 安装JDK 【jdk1.8】 安装Hadoop 【hadoop 3.3.4】 配置环境变量 配置ssh 配置集群 单点启动 群起并测试集群 Hadoop 集群规划： node1 node2 node3 IP 10.90.100.121 10.90.100.122 10.90.100.123 HDFS NameNode 、 DataNode DataNode D

    2024年03月23日
    浏览(16)
  • 【Hadoop】完全分布式集群搭建

    【Hadoop】完全分布式集群搭建

    大家好，我是向阳花花花花，这篇文章是我历时三天，推翻重做两小时进行搭建的Hadoop集群（完全分布式）个人笔记和感想，收录于初心的《大数据》专栏。 🏠 个人主页：初心%个人主页 🧑 个人简介：大家好，我是初心，一名正在努力的双非二本院校计算机专业学生 💕

    2024年02月15日
    浏览(9)
  • Hadoop完全分布式集群搭建

    Hadoop完全分布式集群搭建

    1.在虚拟机关机的状态下选择克隆 2.开始克隆 3.选择从当前状态创建 4.创建一个完整的克隆 5.选择新的虚拟机存储位置（选择内存充足的磁盘） 6.开始克隆 7.克隆完成 8.同样的方法克隆第二台虚拟机 9.在计算机中存在三台虚拟机 将第一台虚拟机更名为hadoop01 修改hadoop01的主机

    2024年02月02日
    浏览(5)
  • Hadoop的完全分布式搭建

    Hadoop的完全分布式搭建

    主机名 Hadoop10 Hadoop11 Hadoop12 网络 192.168.10.10 192.168.10.11 192.168.10.12 用户 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安装虚拟机系统,省略 第一步:网卡配置 使用 vi 编辑器编辑系统的网卡配置文件,配置以下

    2024年02月08日
    浏览(8)

  • hadoop平台完全分布式搭建

    安装前准备 一、设置ssh免密登录 1.编辑hosts文件，添加主机名映射内容 vim  /etc/hosts 添加内容： 172.17.0.2      master 172.17.0.3      slave1 172.17.0.4      slave2 2.生成公钥和私钥 ssh-keygen –t rsa 然后按三次回车 3.复制公钥到其他容器（包括自己） ssh-copy-id master ssh-copy-id slav

    2024年03月17日
    浏览(9)
  • Hadoop 完全分布式集群搭建

    Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop运行模式及目录结构-CSDN博客 服务 hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安装 Neokylin7.0 用于搭建 Had

    2024年02月04日
    浏览(18)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包