hadoop报错——ResourceManager无法启动

这篇具有很好参考价值的文章主要介绍了hadoop报错——ResourceManager无法启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、前言

二、解决

三、结尾


一、前言

        本次的遇到的问题为启动Hadoop集群后,jps查看进程中,ResourceManage节点没有启动,导致无法访问http://localhost:8088,通过查看ResourceManage的启动日志,日志中给出的错误为“已启用嵌入式自动故障转移,但未设置yarn.resourcemanager.zk-address”,笔者初步判断为yarn-site.xml文件未填写Zookeeper的端口,以及设置开启自动恢复和故障自动转移。

ResourceManage的日志,报出的问题



2023-04-14 03:56:09,668 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.AdminService failed in state INITED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Embedded automatic failover is enabled, but yarn.resourcemanager.zk-address is not set
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Embedded automatic failover is enabled, but yarn.resourcemanager.zk-address is not set
        at org.apache.hadoop.yarn.server.resourcemanager.EmbeddedElectorService.serviceInit(EmbeddedElectorService.java:70)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.resourcemanager.AdminService.serviceInit(AdminService.java:142)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceInit(ResourceManager.java:267)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1185)

二、解决

修改yarn-site.xml文件,添加以下内容

<!-- 指定 Zookeeper 集群服务器的 Host:Port 列表  -->
      <property>
           <name>yarn.resourcemanager.zk-address</name>
           <value>spark01:2181,spark02:2181,spark03:2181</value>
      </property>

      <!-- 开启自动恢复功能  -->
      <property>
           <name>yarn.resourcemanager.recovery.enabled</name>
           <value>true</value>
      </property>

      <!-- 开启故障自动转移  -->
      <property>
           <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
           <value>true</value>
      </property>

重新启动Hadoop集群后,jps查看进程中,ResourceManage节点启动成功

三、结尾

        对于本次的问题,笔者认为非常离谱,笔者在之前使用hadoop-2.10.1的时候尚为配置,集群仍然可以正常启动,而此次发生问题的hadoop版本为2.7.4,在未详细指定的情况下ResourceManage节点不能正常启动,笔者只能暂且归咎为版本差异问题,本篇文章仅供读者参考,具体问题应先查看日志,然后具体分析,切忽盲目照搬。文章来源地址https://www.toymoban.com/news/detail-720845.html

到了这里,关于hadoop报错——ResourceManager无法启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 启动yarn时,resourcemanager启动失败

    使用 sbin/start-yarn.sh 启动yarn后,再使用 jps 查看进程,发现只有Notemanager启动了,而resourcemanager没有启动。 代码如下所示: 先查看日志文件,启动resourcemanager的日志文件的位置如下图红框所示,将后缀.out改为.log就是日志文件。 在日志中发现错误原因是:yarn.resourcemanager.zk-

    2024年02月11日
    浏览(36)
  • jps查看命令缺少resourcemanager和nodemanager怎么处理

    hadoop ha搭建 缺少两个yarn进程     一般情况下是因为yarn下面的节点没有正常启动 需要检查一下配置文件     找到yarn-site.xml这个位置 仔细检查 完成之后重启进程 就可以成功了   希望对你有帮助

    2024年02月11日
    浏览(36)
  • hadoop namenode格式化错误以及启动不了解决方案

    重启虚拟机,启动Zookeeper和journalnode 启动三台机器的zookeeper 和 journalnode 第一次格式化namenode时报错,namennode可能会自动进入了安全模式,所以需要关闭安全模式 重新格式化 需要先关闭所有服务 查看配置文件是否有错误 然后删除tmp文件,并重新格式化namenode,tmp文件查看co

    2024年02月11日
    浏览(49)
  • hadoop集群全部都启动了,但是还是访问不了网页的解决方法

     如图,进程通过jps发现已经启动,但是还是访问不了hdfs和yarn的网页。  解决思路:去检查下防火墙情况,发现开了 systemctl status firewalld 解决方法:直接关闭防火墙,或者开放对应的端口服务,这边选择直接关闭 systemctl stop firewalld systemctl status firewalld 再去连接网页就可以了

    2024年02月11日
    浏览(54)
  • 在gateway中使用openfeign时,项目启动不了也不报错

    升级spring boot到2.7.0,gateway先启动其他微服务,在启动网关,网关启动不了,但是网关也没有任何异常日志,仅仅是一直等待状态,查看nacos服务未正常注册;先启动网关,所有服务能正常启动,产看nacos服务,所有服务能正常注册。 最终发现是Feign导致, Spring Cloud Gateway使用

    2024年02月09日
    浏览(57)
  • hadoop报错:Hadoop启动时,没有启动datanode

    当我们多次格式化文件系统(hadoop namenode -format)时,会出现DataNode无法启动。 多次启动中发现有NameNode节点,并没有DataNode节点 在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID

    2024年02月15日
    浏览(54)
  • hadoop datanode无法启动

    查看日志文件,显示报错: 错误原因:datanode和namenode的clusterID不同,导致无法启动datanode。通常是多次格式化导致的这个问题. 注:找到datanode和namenode数据存储文件中current文件夹,查看VERSION文件,可以发现他们的clusterID不同(数据存储路径可在hdfs-site.xml文件中查看,以个人实际为准

    2024年02月06日
    浏览(48)
  • Hadoop启动正常,能ping通,无法打开hadoop102:9870

        浏览器无法打开hadoop102:9870  经查询, 停用 集群中所有服务器 firewalld即可        

    2024年02月11日
    浏览(33)
  • Hadoop的DataNode无法启动的解决方案

    Hadoop重启一次,里面的数据需要重新导入,发现无法导入数据,查看jps发现是DataNode没有启动,重新启动发现也无法启动,原因是前面重新启动NameNode,里面的文件格式化一次,DataNode的文件不一致,需要删除,现给出以下解决方案: 停止所有服务 查询datanode的文件路劲 3. 删

    2024年02月12日
    浏览(41)
  • 华为手机不开机怎么办华为恢复出厂开机激活设备启动不了.提示您的设备芯片已损坏,无法正常使用维修相关服务解决方法

    您的设备芯片已损坏,无法正常使用.请前往华为官方服务门店获取维修相关服务恢复了出厂后,没手机验证进不了系统手机激活锁怎么注销.手机号不用了,华为手机恢复出厂设置,需要华为账号密码,怎么办.教你刷机解锁学会忘记密码后解锁成功开机用.芯片损坏怎么弄好恢复

    2024年02月04日
    浏览(184)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包