Hadoop集群的配置

这篇具有很好参考价值的文章主要介绍了Hadoop集群的配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.、创建虚拟机

(10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客

    1. 创建虚拟机

    2. 安装 CentOS

 二、虚拟机网络设置

(10条消息) 虚拟机网络配置_仄言2997的博客-CSDN博客

三、 安装JDK

(10条消息) 虚拟机安装jdk,运行java文件_仄言2997的博客-CSDN博客

四、 安装 Hadoop

(10条消息) 虚拟机安装Hadoop_仄言2997的博客-CSDN博客

    1. 下载并解压

    2. 修改配置

五、组成集群(本章)

        1、虚拟机克隆与主机配置

        2、配置每台主机

       (1)主机配置:更改IP地址

        (2) 修改主机名(重启后永久生效)

        (3)设置ip和域名映射,四台主机都需要修改

        3. 免密登录

        4、Hadoop集群的配置

        (1)修改文件#############workers

         (2) 创建数据和临时文件夹

       5.、格式化 HDFS

六、 启动集群(本章)

        1、关闭防火墙 

        2、 宿主机上做节点映射

        3、Hadoop环境变量配置 (对所有节点)

七、 关闭集群(本章)

在上几篇文章中我们已经完成了jdk 以及Hadoop的安装和配置,下面我们就开始Hadoop集群的配置。

组成集群

虚拟机克隆与主机配置

(1)这里推荐采用完整克隆方式,克隆时需要虚拟机处于关机状态。

Hadoop集群的配置

Hadoop集群的配置

2. 配置每台主机

 (1)主机配置:更改IP地址

设置固定IP命令:vi  /etc/sysconfig/network-scripts/ifcfg-ens33

dot1: 192.168.230.151

dot2: 192.168.230.152

dot3: 192.168.230.153

Hadoop集群的配置

使用ip addr查看ip地址,ping www.baidu.com,ping通表示成功。

Hadoop集群的配置

(2) 修改主机名(重启后永久生效)

命令:vi /etc/sysconfig/network

Hadoop集群的配置

或者 命令:vi /etc/hostname

对于其他节点:

dot1 -  vi /etc/hostname

 dot1

dot2 - vi /etc/hostname

dot2

Hadoop集群的配置

dot3 -  vi /etc/hostname

dot3

 (3)设置ip和域名映射,四台主机都需要修改

命令:vi /etc/hosts

192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com

Hadoop集群的配置

Hadoop集群的配置

    3. 免密登录

 免密登录设置步骤

**第一步:四台机器生成公钥与私钥**

在四台机器执行以下命令,生成公钥与私钥

ssh-keygen -t rsa

执行该命令之后,按下三个回车即可

Hadoop集群的配置

**第二步:拷贝公钥到同一台机器**

四台机器将拷贝公钥到demo机器

四台机器执行命令:

ssh-copy-id demo

Hadoop集群的配置

 **第三步:复制第一台机器的认证到其他机器**

将demo机器的公钥拷贝到其他机器上

在demo机器上面指向以下命令

scp /root/.ssh/authorized_keys dot1:/root/.ssh

scp /root/.ssh/authorized_keys dot2:/root/.ssh

scp /root/.ssh/authorized_keys dot3:/root/.ssh

Hadoop集群的配置

各机器之间实现免密登录

ssh master

ssh node1

ssh node2

ssh node3

exit

Hadoop集群的配置

    4. 格式化 HDFS

 2、Hadoop集群的配置

(1)修改文件#############workers

dot1

dot2

dot3

Hadoop集群的配置 (2) 创建数据和临时文件夹

  (3) 创建数据和临时文件夹

demo 主节点:

mkdir -p /data/hadoop/tmp

mkdir -p /data/hadoop/namenode

Hadoop集群的配置

Other dots:

mkdir -p /data/hadoop/tmp

mkdir -p /data/hadoop/datanode

Hadoop集群的配置

或者在dot节点shell :

ssh dot1“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode

ssh dot2“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode

ssh dot3“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode

格式化 HDFS

在demo上面:

cd /opt/hadoop-3.1.4

cd bin

./hdfs namenode -format demo

Hadoop集群的配置

    5. 启动集群

  启动集群

在demo上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者  mapred --daemon start historyserver

Hadoop集群的配置!!!报错:设置hadoop-env.sh

/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh

Hadoop集群的配置在demo上设置,添加授权:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

Hadoop集群的配置 拷贝文件到其他节点:

scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/

scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/

scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/

[root@demo hadoop]# scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh                                                                            100%   16KB   4.8MB/s   00:00    
[root@demo hadoop]# scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh                                                                            100%   16KB   4.4MB/s   00:00    
[root@demo hadoop]# scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh                                                                            100%   16KB   4.7MB/s   00:00    
[root@demo hadoop]# 

Hadoop集群的配置-> 再重复2步骤,通过jps查看进程

 在demo上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者  mapred --daemon start historyserver

Hadoop集群的配置

Hadoop集群的配置

6. 关闭防火墙 

 (对所有节点,可以考虑在克隆之前完成)

systemctl status firewalld.service

systemctl stop firewalld.service & systemctl disable firewalld.service

Hadoop集群的配置

Hadoop集群的配置

 点击链接:

http://192.168.199.150:50070/dfshealth.html#tab-overview

Hadoop集群的配置

​​​​​http://192.168.199.150:8088/cluster

Hadoop集群的配置

http://192.168.199.150:19888/jobhistory

 Hadoop集群的配置

7. 宿主机上做节点映射

宿主机上修改,host文件

/C:/Windows/System32/drivers/etc/hosts

192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com

编辑文件

Hadoop集群的配置

 8. Hadoop环境变量配置 

 (对所有节点)

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.4

export PATH=$PATH:$HADOOP_HOME/bin

[root@demo ~]# vi /etc/profile
[root@demo ~]# source /etc/profile
[root@demo ~]# echo $HADOOP_HOME
/opt/hadoop-3.1.4
[root@demo ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/hadoop-3.1.4/bin

6. 关闭集群

在master上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意关闭顺序:

[root@master sbin]# ./stop-dfs.sh

[root@master sbin]# ./stop-yarn.sh

[root@master sbin]#./mr-jobhistory-daemon.sh stop historyserver 或者 mapred --daemon stop historyserver

poweroff

Hadoop集群的配置

Hadoop集群就配置成功啦!文章来源地址https://www.toymoban.com/news/detail-409904.html

到了这里,关于Hadoop集群的配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署

    目录 环境条件: 1、安装虚拟机(已安装好虚拟机的可跳转至  二、安装JDK与Hadoop) (1)直接新建一台虚拟机 (2)首次启用虚拟机,进行安装 一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录) 1、查看一下本机与虚拟机的网卡和ip信息 (1)

    2024年02月06日
    浏览(46)
  • Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

    前面安装的软件,都是以单机模式运行的,学习大数据相关的软件部署,后续安装软件服务,大多数都是以集群化(多台服务器共同工作)模式运行的。所以,需要完成集群化环境的前置准备,包括创建多台虚拟机,配置主机名映射,SSH免密登录等等。 我们可以使用VMware提供

    2024年02月04日
    浏览(50)
  • 「大数据-0」虚拟机VMware安装、配置、使用、创建大数据集群教程

    目录 一、下载VMware Wworkstation Pro 16 二、安装VMware Wworkstation Pro 16 三、检查与设置VMware的网卡 1. 检查 2. 设置VMware网段 四、在VMware上安装Linux虚拟机 五、对安装好的虚拟机进行设置 1. 打开设置 2. 设置中文 3. 修改字体大小 4. 修改终端字体大小 5. 关闭虚拟机 六、创建大数据集群

    2024年02月04日
    浏览(49)
  • win10深度学习环境配置系列之Conda创建虚拟环境[非公]

    @ 目录 1. Anaconda的安装及换源 1.1下载地址: 1.2 换源 1.2.1生成.condarc配置文件: 1.2.2修改.condarc配置文件: 1.3 Jupyter notebook修改默认文件夹 2.conda创建虚拟环境 3.虚拟环境常用命令 4.tensorflow2.0安装 1. 官网下载安装(速度较慢,不推荐) 2. 清华镜像站 原因:若不换源,生成虚拟环

    2024年02月05日
    浏览(72)
  • 超详细!手把手教你创建win10虚拟机及其如何配置!!

    实验一 VMware 虚拟机环境搭建 (一) 实验目的 熟悉Mware软件的应用,掌握使用虚拟机软件创建 Windows、Linux等操作系统的方法,学习虚拟机的基本配置和功能应用,为后续的取证实验做好基础环境配置。 (二) 实验类型 演示型、基础实验 (三) 实验原理 Windows操作系统:Windows XP、

    2023年04月15日
    浏览(66)
  • Centos7.9_hadoop集群下配置防火墙_安全部署_防火墙配置_端口配置_协议配置_IP配置_全部亲测---记录022_大数据工作笔记0182

    之前看的hadoop集群搭建的时候,都是要把linux的防火墙关闭,还有selinux也会关闭,但是有些环境下,对安全要求比较高,即使在内网搭建hadoop集群,也需要打开防火墙,这个时候,可以配置: 比如我集群中有3台机器,那么这3台机器直接的ip地址,可以给这3台机器,都开启防火墙,然后 不取分

    2024年02月08日
    浏览(38)
  • 虚拟机集群部署hadoop

    以三台虚拟机为例,配置如下: 1.台虚拟机:内存2G,处理2 硬盘50G ,如图 (电脑配置参考:8核16线程+32运行内存) 2.修改克隆虚拟机的静态IP root下执行 更改 DEVICE= e ns33 TYPE=Ethernet ONBOOT= yes BOOTPROTO= static NAME=\\\"ens33\\\" PREFIX=24 IPADDR=192.168.1.102 (要修改的 ip ) GATEWAY=192.168.1.2 DNS1

    2024年02月19日
    浏览(43)
  • CentOS7搭建hadoop集群

    说明:         1.准备三台虚拟机,参考:CentOS7集群环境搭建(以3台为例)         2.配置虚拟机间免密登陆:参考:CentOS7集群配置免密登录         3.虚拟机分别安装jdk:参考:CentOS7集群安装JDK1.8         4.hadoop安装包下载,下载地址 准备开始搭建hadoop集群,以下操作在第

    2024年02月09日
    浏览(54)
  • 搭建hadoop集群,从安装虚拟机开始直到hadoop成功搭建

    搭建Hadoop集群   一、实验目的与要求 学习和掌握Hadoop的相关应用,首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆,Linux系统的网络配置和SSH配置,Hadoop集群的搭建和配置,Hadoop集群测试,熟悉Hadoop集群基本的操作。

    2023年04月08日
    浏览(42)
  • CentOS 搭建 Hadoop3 高可用集群

    spark101 spark102 spark103 192.168.171.101 192.168.171.102 192.168.171.103 namenode namenode journalnode journalnode journalnode datanode datanode datanode nodemanager nodemanager nodemanager recource manager recource manager job history job log job log job log 1.1 升级操作系统和软件 升级后建议重启 1.2 安装常用软件 1.3 修改主机名 1

    2024年02月06日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包