Hadoop3完全分布式搭建

这篇具有很好参考价值的文章主要介绍了Hadoop3完全分布式搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、第一台的操作搭建

修改主机名

使用hostnamectl set-hostname 修改当前主机名
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

关闭防火墙和SELlinux

1,使用

systemctl stop firewalld
systemctl disable firewalld

关闭防火墙
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

2,使用

vim /etc/selinux/config

修改为 SELINUX=disabled

Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

使用NAT模式配置静态IP

1,修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改如下三项内容:
BOOTPROTO=static
ONBOOT=yes
IPADDR=自己想要设置的IP。这个ip参考vmware的虚拟网络编辑器的vmnet8的IP地址进行设置。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
2,重启网络。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

二、克隆虚拟机

克隆虚拟机

1,克隆
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
2,
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
3,
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

修改克隆后的虚拟机的静态IP

修改IP为192.168.248.102. 同理第三台虚拟机同样的修改。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

可以修改一下hadoop02,hadoop03的主机名

使用hostnamectl set-hostname 修改当前主机名
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

三、主机映射

为后面的hadoop的核心配置文件做准备的。
vim /etc/hosts
因为配置三个集群节点。所以如下配置。

Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

在另外两台节点,也修改上面的文件vim /etc/hosts

四、设置免密登录

管理集群不可能每个都要输入账号密码进行登录,那可太费劲了。
所以需要借助公钥、私钥免密登录
1,在第一台节点上,使用 ssh-keygen -t rsa 生成公钥私钥
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
2,使用ssh-copy-id 目标节点。拷贝到这三台节点上
(1)先拷贝给自己。 先拷贝到hadoop01, 然后会要求输入当前节点的登录密码。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
(2)拷贝到hadoop02
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

(3)拷贝到hadoop03
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
3,在hadoop02, hadoop03 两个节点上,重复上面的1和2步骤

五、集群时间同步

一种是从节点同步主节点的时间。
一种是所有节点同步网络时间。
这里让所有节点同步网络时间
1,在3台节点上都执行如下命令
crontab -e
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

2,然后输入如下内容:

* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com >/var/null 2>&1

Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

六、在第一台虚拟机上安装配置jdk和hadoop

参考:https://blog.csdn.net/qq_45860901/article/details/135676494?spm=1001.2014.3001.5502

七、配置hadoop配置文件

1,切换到hadoop的home 目录下。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
2,切到etc目录下, 里面只有一个hadoop文件夹
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

3,进入到这个hadoop文件夹,就有我们的核心配置文件了。
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

4,修改配置core-site.xml 文件
注意端口:在hadoop1.x 使用9000端口
hadoop2.x使用8020
hadoop3.x使用9820

<configuration>
             <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.248.101:9820</value>
            </property>
            <!--hdfs基础数据路径,放在hadoop文件夹下的tmp文件夹,这个文件不需要提前创建,让hadoop自己创建-->

</configuration>

5,修改hdfs-site.xml
对外http服务的地址

<configuration>
             <property>
                <name>dfs.replication</name>
                <value>2</value>
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.248.102:9868</value>
            </property>
             <property>
                <name>dfs.namenode.http-address</name>
                <value>192.168.248.101:9870</value>
            </property>
            <!--namenode守护进程运行数据路径-->
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/app/hadoop/hadoop-3.3.5/tmp/name</value>
         </property>
         <!--datanode守护进程运行数据路径-->
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/app/hadoop/hadoop-3.3.5/tmp/data</value>
    </property>

</configuration>

6,修改hadoop-env.sh 文件
配置hadoop允许的配置

export JAVA_HOME=/usr/local/app/java/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

7,配置workers 集群文件。 这个是指定datanode 在哪些节点上,因为要在三台节点上都要配置Datanode,所以都要写。 里面会有一个localhost ,要去掉。

hadoop01
hadoop02
hadoop03

拷贝

为了避免再去多个主机上进行上面的配置操作,使用scp 命令拷贝分发。
1,拷贝hadoop和Jdk文件分发给其他节点.
(1)下面命令是递归的将hadoop-3.3.5文件夹,拷贝到hadoop02的当前目录下,当前目录就是在hadoop01同级的目录下。

 scp -r hadoop-3.3.5/ hadoop02:$PWD

Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
(2)hadoop03也执行上面操作。

2, 拷贝 /etc/profile 给其他节点
(1)将 profile 文件,拷贝到 hadoop02的 /etc目录下。

scp /etc/profile hadoop02:/etc/

(2)hadoop03也执行上面操作。

格式化集群

在 hadoop01节点上执行下面的命令:hdfs namenode -format
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
得到如下结果:
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

启动集群

执行:start-dfs.sh
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

使用JPS命令查看所有运行的java程序:
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

访问hadoop的web界面

http://192.168.248.101:9870
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
成功进入:
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

界面介绍

1,Datanode相关界面负载信息
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言
2,这个查看 HDFS的相关信息
Hadoop3完全分布式搭建,大数据,分布式,php,开发语言

如果重启后没有Datanode节点

先停止集群:stop-all.sh
如果按照上面配置代码,则把/usr/local/app/hadoop/hadoop-3.3.5/tmp 文件夹彻底清空删除。
然后再重新格式化:hdfs namenode -format
然后再启动。文章来源地址https://www.toymoban.com/news/detail-811295.html

到了这里,关于Hadoop3完全分布式搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(45)
  • Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

    目录 前言 一、问题重现 1、查询Hadoop版本  2、集群启动Hadoop 二、问题分析 三、Hadoop3.x的集群配置 1、停止Hadoop服务 2、配置workers 3、从节点检测 4、WebUI监控 总结         在大数据的世界里,Hadoop绝对是一个值得学习的框架。关于Hadoop的知识,有很多博主和视频博主都做

    2024年02月04日
    浏览(51)
  • hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    本次搭建完全分布式集群用到的环境有: jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com/dk7WgaVk 密码:553ubk 本次完全分布式集群搭建需要提前建立好三台虚拟机,我分别把它们的主机名命名为:master,slave1,slave2 一.配置免密登陆 首先

    2024年02月10日
    浏览(52)
  • Hadoop3.1.4分布式搭建

    1.1 实验网络规划 hostname ip addr role other k8s-m133 10.10.10.133 NameNode, DataNode, NodeManageer k8s-m134 10.10.10.134 SecondaryNameNode, DataNode, NodeManageer k8s-m135 10.10.10.135 ResourceManager, DataNode, NodeManageer k8s-n151 10.10.10.151 DataNode, NodeManageer k8s-n157 10.10.10.157 DataNode, NodeManageer 1.2 配置免密登录(所有节点) 1

    2024年02月06日
    浏览(45)
  • 大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

    目录 Hadoop运行模式——完全分布式 1、准备3台虚拟机(关闭防火墙、配置静态IP 和 主机名称) 2、安装JDK 和 Hadoop 并配置JDK和Hadoop的环境变量 3、配置完全分布式集群 4、集群配置 1)集群部署规划 2)配置文件说明 3)配置集群 5、集群启动 与 测试 1)workers的配置 2)启动集

    2024年02月21日
    浏览(100)
  • 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

    官网链接 进入后网站如图,各位按需下载 官网链接 进入页面点击下载 再根据我们需要下载的软件进入下载页面 点击右侧红框内的免费授权页面获取免费许可 进入后如图,两者我们都需要所以都勾选,填写的邮箱用于接收下载链接,下载后进行安装即可 这里先和大家强调一

    2024年02月07日
    浏览(47)
  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(53)
  • Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive,数据仓库学习大数据专业的用的到     注:开启虚拟机把鼠标放入屏幕点击后消失,使用键盘上下键进行选择   注:点击之后,什么都不动,再点击完成(因为它自动帮我们分区了) 注:我们配置

    2024年02月04日
    浏览(48)
  • 搭建完全分布式Hadoop

    登录三个虚拟机 执行命令: vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令: tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令: vim /etc/profile 存盘退出,执行命令: source /etc/profile ,让配置生效 查看had

    2024年02月04日
    浏览(54)
  • 基于Linux环境下搭建Hadoop3.3.5伪分布式集群

    目录 架构设计: 一、下载hadoop安装包 二、解压及构建软连接 三、 修改配置文件 1. 配置workers文件   //hadoop02中叫slaves 2. 修改hadoop-env.sh          3. 修改core-site.xml     4. 修改hdfs-site.xml 5. 配置:mapred-site.xml文件   6. 配置yarn-site.xml文件  四、根据hdfs-site.xml的配置项,准备数

    2024年01月19日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包