Hadoop集群的启动

这篇具有很好参考价值的文章主要介绍了Hadoop集群的启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在首次启动Hadoop之前还需要进行一些配置工作

我们是在Linux集群上安装Hadoop集群

Linux中对大小写敏感!

1. 配置操作系统的环境变量

注意,一说Linux操作系统的环境变量
配置文件就在/home/wangguowei下的.bash.profile中

将hadoop的家目录写好
并引入到path路径中即可

注意:在编辑完成.bash.profile文件后,一定要再次重新让该配置文件生效

2. 创建Hadoop数据目录

在普通用户的家目录下创建hadoopdata目录,这个目录要与核心组件中的配置要对应

3. 格式化文件系统

这个操作只需要在master机上进行

使用hdfs命令就可以进行格式化
但是如果有些时候终端不认识hdfs命令,这种原因就是操作系统的环境变量配置不正确

因为在终端中有些是内部命令有些是外部命令,外部命令需要在环境变量配置后系统才能识别这个命令,这一点要注意

Hadoop集群的启动

4. 启动和关闭hadoop集群

在3.1.0中打开Hadoop

start-dfs.sh
start-yarn.sh

在3.1.0中关闭Hadoop

stop-yarn.sh
stop-dfs.sh

这里和在Hadoop2.x版本有点不同

?这里出现slave1: ERROR: JAVA_HOME is not set and could not be found.问题

  • 可能是在配置hadoop的过程中的配置文件的问题
  • 注意:hadoop中的文件中env结尾的文件的环境变量文件,而site结尾的文件是配置文件
    • 环境变量文件是env.sh
    • 组件配置文件是site.xml

5. 验证hadoop是否启动成功

在hadoop平台上对应用状态进行监测的基本组件

  • hadoop端口号是http://master:9870/可以在浏览器中检测hadoop的运行状况

  • master:18088可以监测yarn的运行状况


配置hadoop需要的东西

  • 2个环境变量文件
  • 4个组件配置文件
  • 1个workers文件

Hadoop集群的启动文章来源地址https://www.toymoban.com/news/detail-456453.html

到了这里,关于Hadoop集群的启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux修改hadoop配置文件及启动hadoop集群详细步骤

    目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本,查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机: 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

    2024年02月03日
    浏览(41)
  • 【Hadoop】执行start-dfs.sh启动hadoop集群时,datenode没有启动怎么办

    执行start-dfs.sh后,datenode没有启动,很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令(hdfs namenode -format),这时主节点namenode的clusterID会重新生成,而从节点datanode的clusterID 保持不变。 在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径

    2024年02月04日
    浏览(39)
  • Hadoop集群启动后利用Web界面管理HDFS

           Hadoop集群启动后,可以通过自带的浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址, hadoop版本为3.0以前访问端口默认为9870 , hadoop版本为3.0以后访问端口默认为50070 。( 下面测试版本为Hadoop3.0以后的 ) 一、利用ifconfig命令查看NameNode所在服

    2024年02月11日
    浏览(40)
  • 格式化文件系统和启动和关闭Hadoop集群

    初次启动HDFS集群时,须对主节点进行格式化处理,执行:hdfs   namenode  -format 格式化成功信息: 1. 一起启动hdfs和yarn服务 ,执行:start-all.sh 1. 单独启动hdfs服务 ,执行:start-dfs.sh 题外:关于jdk版本太高,启动hdfs和yarn会有警报这种,可以降低jdk版本,进行解决 具体可以参照

    2024年02月07日
    浏览(35)
  • 【非常重要】Hadoop成功启动的验证与集群的基本应用

    master上 slave上 master:9870 这是Hadoop自带的web监测软件,提供丰富的系统状态信息 自己理解:9870端口用来查看Hadoop中的hdfs运行状态 master:18088 监测yarn的运行状况 自己理解:18088端口用来查看Hadoop中的yarn运行状态 这个程序是验证hadoop最重要的一环,虽然在1和2的验证中都通过,

    2023年04月09日
    浏览(28)
  • Hadoop集群当中主节点的NameNode进程启动不成功

    原因: 是因为多次格式化NameNode的原因,每次格式化NameNode的时候,hadoop集群就会产生一个新的集群ID,导致了NameNode和DataNode的集群ID不一致,所以导致运行start-all.sh后,hadoop的NameNode进程启动不起来。 现在作者附上两种解决方法,我是使用了第二种方法成功的。 在hadoop集群

    2024年02月08日
    浏览(34)
  • Hadoop集群启动后命令JPS没有DataNode或者NameNode

    问题原因 1)需要检查core-site.xml 和 hdfs-site.xml这俩文件,配置没错的话再看第二条 2)可能已经执行格式化NameNode后,但是格式之前并没有停止之前的进程并删除相关数据。 解决方案(记得你的集群删除前需要停止, 每个副本都要进行一次下面操作 ) 1)删除dfs文件夹里的文

    2024年02月04日
    浏览(41)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(40)
  • hadoop集群全部都启动了,但是还是访问不了网页的解决方法

     如图,进程通过jps发现已经启动,但是还是访问不了hdfs和yarn的网页。  解决思路:去检查下防火墙情况,发现开了 systemctl status firewalld 解决方法:直接关闭防火墙,或者开放对应的端口服务,这边选择直接关闭 systemctl stop firewalld systemctl status firewalld 再去连接网页就可以了

    2024年02月11日
    浏览(44)
  • Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式、master/slave1/slave2配置

             本文章使用root用户完成相关配置与启动、这里分为master、slave1、slave2进行配置         一、将hadoop解压至需要的目录下          二、配置hadoop-env.sh启动文件         三、配置hdfs-site.xml文件         四、配置core-site.xml文件         五、配置yarn-site.x

    2024年02月06日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包