hadoop集群配置与启动(三)

这篇具有很好参考价值的文章主要介绍了hadoop集群配置与启动(三)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 集群部署规划

  • NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。
    (它们两个都需要耗内存,分开减少集群的压力)

  • ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

2配置文件说明

Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

(1)默认配置文件:

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

(2)自定义配置文件:

core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。

3 配置 集群

(1)核心配置文件

配置 core-site.xml

[leokadia@hadoop102 ~] $ cd $HADOOP_HOME/etc/hadoop

[leokadia@hadoop102 hadoop]$ vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
    <!-- 指定 NameNode 的地址 --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://hadoop102:8020</value> 
    </property> 
 
</configuration> 
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
 
    <!-- 指定 hadoop 数据的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/module/hadoop-3.1.3/data</value> 
    </property> 
 
</configuration> 
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

先配置前面两个,后面这个我们先不配置,看看之后会出现什么问题

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
    <!-- 配置 HDFS 网页登录使用的静态用户为 leokadia --> 
    <property> 
        <name>hadoop.http.staticuser.user</name> 
        <value>leokadia</value> 
    </property> 
</configuration> 

也就是说我们总共要插入配置文件的东西一共有这三个

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
    <!-- 指定 NameNode 的地址 --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://hadoop102:8020</value> 
    </property> 
 
    <!-- 指定 hadoop 数据的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/module/hadoop-3.1.3/data</value> 
    </property> 
 
    <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu --> 
    <property> 
        <name>hadoop.http.staticuser.user</name> 
        <value>atguigu</value> 
    </property> 
</configuration> 
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

(2)HDFS 配置文件

配置 hdfs-site.xml

[leokadia@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
  <!-- NameNode web 端访问地址--> 
  <property> 
        <name>dfs.namenode.http-address</name> 
        <value>hadoop102:9870</value> 
    </property> 
  <!-- SecondaryNameNode web 端访问地址--> 
    <property> 
        <name>dfs.namenode.secondary.http-address</name> 
        <value>hadoop104:9868</value> 
    </property> 
</configuration> 
p.s.之前核心配置文件中NameNode地址hdfs://hadoop102:8020相当于是hadoop内部通讯地址,
现在NameNode是HDFS需要用户在web界面上访问,不需要操作命令行,即也需要对外暴露一个接口hadoop102:9870
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

(3)YARN 配置文件

配置 yarn-site.xml

[leokadia@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
    <!-- 指定 MR 走 shuffle --> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
 
    <!-- 指定 ResourceManager 的地址--> 
    <property> 
        <name>yarn.resourcemanager.hostname</name> 
        <value>hadoop103</value> 
    </property> 
 
    <!-- 环境变量的继承 --> 
    <property> 
        <name>yarn.nodemanager.env-whitelist</name> 
        
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
    </property> 
</configuration> 
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

(4)MapReduce 配置文件

配置 mapred-site.xml

[leokadia@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
  <!-- 指定 MapReduce 程序运行在 Yarn 上 --> 
    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property> 
</configuration> 
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

分别配置好上述文件,hadoop102的所有配置文件均配置完了。

但我们需要将这个配置文件分发给hadoop103,hadoop104

4 在集群上分发配置好的 Hadoop 配置文件

[leokadia@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

5 去 103 和 104 上 查看文件分发情况

[leokadia@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

[leokadia@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

至此,整个集群的配置就搞定了!

6群起集群并测试

1 ) 配置 workers
在启动集群前需要配置workers

先进入hadoop目录

[leokadia@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

[leokadia@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

在该文件中增加如下内容:(有几个节点就配置几个主机名称)

hadoop102

hadoop103

hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

同步所有节点配置文件

[leokadia@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

分发配置,将三台节点配置完毕,回到家目录,准备启动集群

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
2 ) 启动集群
(1)初始化(注意:只有第一次的时候才需要)

如果集群是第一次启动,需要在 hadoop102 节点格式化 NameNode(注意:格式化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停止 namenode 和 datanode 进程,并且要删除所有机器的 data 和 logs 目录,然后再进行格式化。)

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

[leokadia@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

相当于将整个记账本清空,重新开始记录

初始化完毕后,源路径就多了两个路径data合logs

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

其中VERSION里面的东西

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
(2)启动 HDFS
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

[leokadia@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

出现:错误ERROR: Attempting to operate on hdfs namenode as root

输入如下命令,在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile

用jps查看102,103,104

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

跟之前的集群部署规划一致!

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
(3) 在配置了 ResourceManager 的节点 (hadoop103 )启动 YARN

[leokadia@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

用jps查看102,103,104

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

跟之前的集群部署规划一致!

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
(4)Web 端查看 HDFS 的 NameNode

(a)浏览器中输入:http://hadoop102:9870

(b)查看 HDFS 上存储的数据信息

此外HDFS还给我们准备了一个HDFS web页面

输入hadoop102:9870

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

其中用的最多的是:

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
(5)Web 端查看 YARN 的 ResourceManager

需要我在103 上启动 /usr/local/hadoop313/sbin/start-yarn.sh

(a)浏览器中输入:http://hadoop103:8088

(b)查看 YARN 上运行的 Job 信息

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

7集群基本测试 上传文件到集群

上传小文件

[leokadia@hadoop102 ~]$ hadoop fs -mkdir /input

执行完后,HDFS网页种多了个文件

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

➢ 传递一个本地文件

[leokadia@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

➢ 上传大文件

[leokadia@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

这里面实际只存储了一个链接,实际存储的数据在datanode节点

(2)上传文件后查看文件存放在什么位置

➢ 查看 HDFS 文件存储路径

[leokadia@hadoop102 subdir0]$ pwd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

➢ 查看 HDFS 在磁盘存储文件内容

[leokadia@hadoop102 subdir0]$ cat blk_1073741825

Leokadia is a sophomore in HFUT, whose class is computer innovation experiment 19-1
She is learning Hadoop

(3)拼接

-rw-rw-r--. 1 leokadia leokadia       107 4月  29 22:52 blk_1073741825
-rw-rw-r--. 1 leokadia leokadia        11 4月  29 22:52 blk_1073741825_1001.meta
-rw-rw-r--. 1 leokadia leokadia 134217728 4月  29 22:55 blk_1073741826
-rw-rw-r--. 1 leokadia leokadia   1048583 4月  29 22:55 blk_1073741826_1002.meta
-rw-rw-r--. 1 leokadia leokadia  60795424 4月  29 22:55 blk_1073741827
-rw-rw-r--. 1 leokadia leokadia    474975 4月  29 22:55 blk_1073741827_1003.meta

[leokadia@hadoop102 subdir0]$ cat blk_1073741826>>tmp.tar.gz

查看一个文件,追加到文件后缀

[leokadia@hadoop102 subdir0]$ cat blk_1073741827>>tmp.tar.gz

[leokadia@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

解压到当前路径

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

即HDFS存储的文件就在

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-817129285-192.168.10.102-1619703574964/current/finalized/subdir0/subdir0

路径上

Hadoop高可用,任何一个服务器挂了还有两份副本

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

(4)下载

[leokadia@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

(5)执行 wordcount 程序

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档
hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

Web 端查看 YARN 的 ResourceManager 是这样的,我们发现有了我们刚刚的任务

hadoop启动访问,hadoop,hadoop,大数据,hdfs,Powered by 金山文档

同时我们注意到有个History

但是点进去无效,因此,我们需要对历史服务器进行配置,这个在后续博客中讲到。文章来源地址https://www.toymoban.com/news/detail-773832.html

到了这里,关于hadoop集群配置与启动(三)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据技术之Hadoop:HDFS集群安装篇(三)

    目录 分布式文件系统HDFS安装篇 一、为什么海量数据需要分布式存储 二、 分布式的基础架构分析 三、 HDFS的基础架构 四 HDFS集群环境部署 4.1 下载安装包 4.2 集群规划 4.3 上传解压 4.4 配置HDFS集群 4.5 准备数据目录 4.6 分发hadoop到其他服务器 4.7 配置环境变量 4.8 为普通用户授

    2024年02月14日
    浏览(50)
  • hadoop集群全部都启动了,但是还是访问不了网页的解决方法

     如图,进程通过jps发现已经启动,但是还是访问不了hdfs和yarn的网页。  解决思路:去检查下防火墙情况,发现开了 systemctl status firewalld 解决方法:直接关闭防火墙,或者开放对应的端口服务,这边选择直接关闭 systemctl stop firewalld systemctl status firewalld 再去连接网页就可以了

    2024年02月11日
    浏览(56)
  • Hadoop大数据技术-通过shell命令访问HDFS

    HDFS shell大致可以分为操作命令、管理命令、其他命令三类。 注意:当命令以“$”开头时,当前用户为普通用户;以“#”开头时,当前用户为root用户。 操作命令是以“ hdfs dfs ”开头的命令,用户可以通过执行这些命令,完成对文件的查找、上传、删除等操作。 [-p]:表示如

    2023年04月11日
    浏览(44)
  • 头歌Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建)

    注: 1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测,跳关或者实验环境结束后重新打开 不能单独评测通过 2 复制粘贴请用右键粘贴,CTRL+C/V不管用哦~ 第1关:配置开发环境 - JavaJDK的配置: 解压: 配置环境变量: 细节: vi

    2024年02月08日
    浏览(212)
  • hadoop集群配置与启动(三)

    1 集群部署规划 NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。 (它们两个都需要耗内存,分开减少集群的压力) ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上 2配置文件说明 Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有

    2024年02月03日
    浏览(42)
  • HDFS集群部署成功但网页无法打开如何解决(显示配置通过浏览器访问hdfs的端口)

    在学习黑马2023大数据教程过程中,首先依照视频完成了如下配置:【必须】 【黑马2023大数据实战教程】大数据集群环境准备过程记录(3台虚拟机) 黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程 最后node1的hadoop用户下输入 start-dfs.sh 一键启动hdfs集群成功,三台虚

    2024年02月09日
    浏览(62)
  • 【大数据之Hadoop】二十八、生产调优-HDFS集群扩容及缩容

      增加或缩减服务器,注意不允许白名单和黑名单同时出现同一个主机。   原有数据节点不能满足数据存储需求时,需要在原有集群的基础上动态增加节点,即动态增加服务器,增加服务器的同时不需要重启集群。   hadoop完全分布式集群设置了3个datanode节点,当白名

    2024年02月03日
    浏览(62)
  • Linux修改hadoop配置文件及启动hadoop集群详细步骤

    目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本,查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机: 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

    2024年02月03日
    浏览(62)
  • Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式、master/slave1/slave2配置

             本文章使用root用户完成相关配置与启动、这里分为master、slave1、slave2进行配置         一、将hadoop解压至需要的目录下          二、配置hadoop-env.sh启动文件         三、配置hdfs-site.xml文件         四、配置core-site.xml文件         五、配置yarn-site.x

    2024年02月06日
    浏览(54)
  • 【Hadoop】-HDFS集群环境部署[2]

    目录 一、VMware虚拟机中部署 1、安装包下载 2、集群规划 3、上传解压 3.1.上传hadoop安装包到node1节点中 3.2.解压缩安装包到/export/server/中 3.3.构建软连接 4、进入hadoop安装包内 4.1Hadoop安装包目录结构 4.2修改配置文件,应用自定义设置 4.2.1.配置workers文件 4.2.2.配置hadoop-env.sh文件

    2024年04月27日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包