Hadoop集群当中主节点的NameNode进程启动不成功

这篇具有很好参考价值的文章主要介绍了Hadoop集群当中主节点的NameNode进程启动不成功。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

原因:是因为多次格式化NameNode的原因,每次格式化NameNode的时候,hadoop集群就会产生一个新的集群ID,导致了NameNode和DataNode的集群ID不一致,所以导致运行start-all.sh后,hadoop的NameNode进程启动不起来。

现在作者附上两种解决方法,我是使用了第二种方法成功的。

第一种解决方案:

在hadoop集群当中的所有节点将中的tmp文件删除和logs文件里面的内容删除里面的的内容,然后重新初始化NameNode。

hdfs NameNode -format

在core-site.xml文件里面查看自己tmp文件的位置:

集群启动没有namenode,hadoop,大数据,hdfs

hadoop路径下etc/hadoop路径下面,每个人hadoop安装的路径可能不同,我的是
/home/hadoop/software/hadoop-3.3.0/etc/hadoop

集群启动没有namenode,hadoop,大数据,hdfs

就可以了,如果这不行的话,就使用第二种解决方法,这个是能得吃的。

第二种解决方案:

将主节点的hadoop的包删掉,从从节点将hadoop的包用scp传输过去,因为集群当中的hadoop的包里面的内容都是一样的。

集群启动没有namenode,hadoop,大数据,hdfs

scp -r hadoop-3.3.0/ hadoop@192.168.19.63:/home/hadoop/software

前面的目录是自己从节点的hadoop包,然后后面的目录是要传输到主节点的目录。文章来源地址https://www.toymoban.com/news/detail-715678.html

注意:传输好之后一定要将hadoop的tmp文件里面的内容清除过后再进行格式化NameNode。并且之前一定即使NameNode没有启动,也要将hadoop集群关闭,如果使用第二个方案的话,那么之前hdfs里面的数据将会清空。

到了这里,关于Hadoop集群当中主节点的NameNode进程启动不成功的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop启动后没有NameNode进程,日志报ulimit -a for user root

    环境:CentOS7、Hadoop2.6.4 背景:安装后启动正常,一段时间在来启动发生这种情况。 现象:         启动后没有NameNode进程,于是查看日志,日志显示ulimit -a for user root,潜意识还以为文件不能读。( 坑1 )查看网上资料,说是同时打开文件描述符数量受限,于是更改参数

    2024年02月15日
    浏览(37)
  • Hadoop集群配置问题—小记jps没有NameNode的问题

    本人Hadoop集群部署如下: hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode DataNode DataNode Yarn NodeManager ResourceManager NodeManager NodeManager   问题:当格式化NameNode后,启动hdfs。发现jps后没有显示NameNode。 解决方法:          1、先关闭各节点的运行                 在h

    2023年04月11日
    浏览(41)
  • 多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

    多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动 在搭建完hadoop集群后,需要对主节点进行初始化(格式化) 其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。 而且 主节点格式化操作只能进行一次。 当我们不小心多次初始化,会导致启动

    2024年02月05日
    浏览(34)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(40)
  • 启动 Hadoop 后没有 dataNode 进程

    原因:进行 hadoop 格式化的时候没有事先结束所有进程,或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配,从而在启动后没有 datanode 进程。 解决办法1: 删除hadoop下的日志文件logs 重新格式化 解决办法2(成功率更高): 重新安装,或者恢复快照 重

    2024年02月05日
    浏览(37)
  • Zookeeper集群单节点启动成功但未同步其他节点数据

    首先排查节点启动是否正常: 在zookeeper的bin目录下执行:sh zkServer.sh status 判断当前节点数据leader 还是follower  节点都启动正常,但某一个zookeeper集群节点(下面简称“异常节点”)不同步其他节点数据,解决步骤: 1、查看异常节点的配置文件(**/zookeeper/conf/zoo.cfg) 2、找到

    2024年02月11日
    浏览(30)
  • hadoop中ResourceManager 进程或 NodeManager 进程没有启动

    如果 ResourceManager 进程或 NodeManager 进程没有启动,可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件,确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常,确保所有节点都能够连接到同一网络。

    2024年02月06日
    浏览(31)
  • hadoop集群启动后datanode没有启动

    今天启动hadoop集群后,查看进程发现名称节点的NameNode进程启动了,但是数据节点的DataNode进程没有启动,如下: 这个问题是个常见问题,对于自学的初学者来说,真的是个很头大的问题,一时不知道该怎么弄,我就是其中一个。但遇到问题不要慌,认真看错并查找解决办法

    2023年04月27日
    浏览(30)
  • 解决Hadoop完全分布式集群中从节点jps没有datanode节点问题

    当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程 正常情况: 有时候可能发现没有Datanode,即只有两项(第一项和最后一项)。原因可能是 重复格式化 namenode 后,导致 datanode 的 clusterID 和 namenode 的 clusterID 不一致。 解决方法: 在master节点(namenode): 找到你

    2024年02月06日
    浏览(41)
  • hadoop集群slave节点jps后没有datanode解决方案

    这个问题是重复格式化造成的,重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。 1.关闭集群 2.找到安装hadoop的文件夹,我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。 操作:在master里输入命令 3.切换到slave节点,

    2024年02月11日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包