1. Toy模板网首页
  2. > Toy博客

hadoop平台完全分布式搭建

8月前 作者：氵皮先生 分类：Toy博客 阅读(47) 违法举报

这篇具有很好参考价值的文章主要介绍了hadoop平台完全分布式搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

安装前准备

一、设置ssh免密登录

1.编辑hosts文件，添加主机名映射内容

vim  /etc/hosts

添加内容：

172.17.0.2      master

172.17.0.3      slave1

172.17.0.4      slave2

2.生成公钥和私钥

ssh-keygen –t rsa

然后按三次回车

3.复制公钥到其他容器（包括自己）

ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave2

填入yes回车，然后输入root密码即可

4.测试是否能免密登录

ssh master

ssh slave1

ssh slave2

若回显登录界面，则设置成功

（另外两个节点重复以上操作）

二、java安装及环境变量配置

1.解压jdk安装包到/opt/module中

tar –zxvf jdk安装包名 –C /opt/module

cd /opt/module

mv jdk1.8.0_192 jdk1.8（非必须）

（为了之后便利，可把jdk名改简单点，下面都以jdk1.8来写）

2.配置JAVA环境变量，编辑文件/etc/profile，添加内容，输入命令，使添加配置生效

vim  /etc/profile

添加以下内容

export JAVA_HOME=/opt/module/jdk1.8(该处填入jdk路径)

export PATH=$PATH:$JAVA_HOME/bin

使配置生效

source /etc/profile

3.验证java环境变量是否配置成功

java –version

javac

若正常回显结果则代表安装配置正确

hadoop平台搭建

一、hadoop安装及环境变量配置

1.解压hadoop安装包到/opt/module中

cd /opt/software

tar -zxvf hadoop包名 -C /opt/module

cd /opt/module

mv hadoop-3.2.3 hadoop3(非必须)

2.配置hadoop环境变量，编辑文件/etc/profile,添加内容，输入命令使其生效

vim /etc/profile

添加内容

export HADOOP_HOME=/opt/module/hadoop3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效

source /etc/profile

3.验证hadoop环境变量是否配置成功

hadoop version

slave1、slave2使用scp命令分发到slave1、slave2

scp传输文件命令：scp -r 要传输的目录 主机名：传输到的位置

-r传输目录，传送文件可不加

scp -r module slave1:/opt

scp -r module slave2:/opt

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

二、Hadoop集群配置

集群部署规划

注意：

  • Namenode和secondarynamenode不要安装在同一台服务器
  • Resourcemanagery也很消耗内存，不要和namenode、secondarynamenode配置在同一台机器上

master

slave1

slave2

HDFS

Namenode

Datanode

datanode

Secondarynamenode

datanode

YARN

nodemanager

Resourcemanager

nodemanager

nodemanager

1.进入到/opt/module/hadoop3/etc/hadoop目录下

cd /opt/module/hadoop3/etc/hadoop

2.修改core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml四个配置文件

（hadoop默认配置文件在/opt/module/hadoop3/share/hadoop中）

核心配置文件core-site.xml

<configuration>

<!-- 指定NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9820</value>

</property>

<!-- 指定hadoop数据的存储目录 -->

（hadoop.tmp.dir是Hadoop文件系统依赖的基础配置，默认存放在/tmp/{$user}下。但是存放在/tmp下是不安全的，因为系统重启后文件有可能被删除，所以会指向另外的路径）

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop3/data</value>

</property>

</configuration>

HDFS配置文件hdfs-site.xml

<configuration>

<!-- 指定NameNode的web端访问地址 -->

<property>

<name>dfs.namenode.http-address</name>

<value>master:9870</value>

</property>

<!-- 指定SecondaryNameNode的web端访问地址 -->(该部分可能不需要)

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>slave2:9868</value>

</property>

</configuration>

YARN配置文件yarn-site.xml

<configuration>

<!-- 设置ResourceManager -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>slave1</value>

</property>

<!-- 配置yarn的shuffle服务 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

MapReduce配置文件mapred-site.xml

<configuration>

<!-- 指定MapReduce作业执行时，使用YARN进行资源调度-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

3.修改hadoop-env.sh文件

vim hadoop-env.sh

添加内容

export JAVA_HOME=/opt/module/jdk1.8

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

4.修改workers文件

vim workers

删除原来的localhost修改为

master

slave1

slave2

5.用scp分发第一、二步的文件到所以节点

cd /opt/module

scp –r hadoop3 slave1:/opt/module

scp –r hadoop3 slave2:/opt/module

6.在master节点初始化namenode

hdfs namenode -format

7.启动hadoop集群

start-dfs.sh

start-yarn.sh(yarn在哪个节点，就在哪个节点启动)

或

start-all.sh

8.查看java进程

jps

9.检查是否成功启动hadoop集群

打开网址http://master:9870(成功打开则说明启动成功)

扩展一、历史服务器配置

1.配置mapred-site.xml

添加内容：

<!--历史服务器端地址-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<!—历史服务器web端地址 -->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

2.分发配置到其他节点

3.启动历史服务器

mapred --daemon start historyserver

扩展二、日志聚集功能配置

1.配置yarn-site.xml

添加内容

<!—开启日志聚集功能-->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!—设置日志聚集服务器地址-->

<property>

<name>yarn.log.server.url</name>

<value>http://master:19888/jobhistory/logs</value>

</property>

<!—设置日志保留时间为7天-->

<property>

<name>yarn.log-aggregation.retain</name>

<value>604800</value>

</property>

2.分发配置到其他节点

3.重启yarn、historyserser文章来源地址https://www.toymoban.com/news/detail-840817.html

到了这里，关于hadoop平台完全分布式搭建的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Hadoop完全分布式搭建

    Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive，数据仓库学习大数据专业的用的到     注：开启虚拟机把鼠标放入屏幕点击后消失，使用键盘上下键进行选择   注：点击之后，什么都不动，再点击完成（因为它自动帮我们分区了） 注：我们配置

    2024年02月04日
    浏览(48)
  • 搭建完全分布式Hadoop

    搭建完全分布式Hadoop

    登录三个虚拟机 执行命令： vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令： vim /etc/profile 存盘退出，执行命令： source /etc/profile ，让配置生效 查看had

    2024年02月04日
    浏览(54)
  • Hadoop完全分布式集群搭建

    Hadoop完全分布式集群搭建

    1.在虚拟机关机的状态下选择克隆 2.开始克隆 3.选择从当前状态创建 4.创建一个完整的克隆 5.选择新的虚拟机存储位置（选择内存充足的磁盘） 6.开始克隆 7.克隆完成 8.同样的方法克隆第二台虚拟机 9.在计算机中存在三台虚拟机 将第一台虚拟机更名为hadoop01 修改hadoop01的主机

    2024年02月02日
    浏览(47)
  • Hadoop的完全分布式搭建

    Hadoop的完全分布式搭建

    主机名 Hadoop10 Hadoop11 Hadoop12 网络 192.168.10.10 192.168.10.11 192.168.10.12 用户 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安装虚拟机系统,省略 第一步:网卡配置 使用 vi 编辑器编辑系统的网卡配置文件,配置以下

    2024年02月08日
    浏览(41)
  • 【Hadoop】完全分布式集群搭建

    【Hadoop】完全分布式集群搭建

    大家好，我是向阳花花花花，这篇文章是我历时三天，推翻重做两小时进行搭建的Hadoop集群（完全分布式）个人笔记和感想，收录于初心的《大数据》专栏。 🏠 个人主页：初心%个人主页 🧑 个人简介：大家好，我是初心，一名正在努力的双非二本院校计算机专业学生 💕

    2024年02月15日
    浏览(41)
  • Hadoop 完全分布式集群搭建

    Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop运行模式及目录结构-CSDN博客 服务 hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安装 Neokylin7.0 用于搭建 Had

    2024年02月04日
    浏览(57)

  • hadoop01_完全分布式搭建

    Hadoop运行模式包括： 本地模式 （计算的数据存在Linux本地，在一台服务器上 自己测试）、 伪分布式模式 （和集群接轨 HDFS yarn，在一台服务器上执行）、 完全分布式模式 。 本地模式 ：（hadoop默认安装后启动就是本地模式，就是将来的数据存在Linux本地，并且运行MR程序的时

    2024年02月04日
    浏览(42)
  • HADOOP完全分布式搭建（饭制版）

    HADOOP完全分布式搭建（饭制版）

    安装系统 点击VMware Workstation左上角文件，新建虚拟机 选择自定义，点击下一步 点击下一步 选择 稍后安装操作系统 （后续我们使用的操作系统为CentOS7）,点击下一步 客户机系统选择Linux,版本选择CentOS 7 64位,点击下一步 自定义安装位置，点击下一步。 处理器配置2核2G 此虚拟

    2024年03月22日
    浏览(105)
  • 【Hadoop】安装部署-完全分布式搭建

    【Hadoop】安装部署-完全分布式搭建

    Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式文件系统。在真实环境中，

    2024年02月07日
    浏览(51)
  • Hadoop3完全分布式搭建

    Hadoop3完全分布式搭建

    使用hostnamectl set-hostname 修改当前主机名 1，使用 systemctl stop firewalld systemctl disable firewalld 关闭防火墙 2，使用 vim /etc/selinux/config 修改为 SELINUX=disabled 1，修改网络配置 修改如下三项内容： BOOTPROTO=static ONBOOT=yes IPADDR=自己想要设置的IP。这个ip参考vmware的虚拟网络编辑器的vmnet8的

    2024年01月21日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包