hadoop集群启动后datanode没有启动

这篇具有很好参考价值的文章主要介绍了hadoop集群启动后datanode没有启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

今天启动hadoop集群后,查看进程发现名称节点的NameNode进程启动了,但是数据节点的DataNode进程没有启动,如下:

这个问题是个常见问题,对于自学的初学者来说,真的是个很头大的问题,一时不知道该怎么弄,我就是其中一个。但遇到问题不要慌,认真看错并查找解决办法。

hadoop102:

 # jps

27585 Jps

26874 ResourceManager

26622 NameNode

hadoop103:

25276 NodeManager

25581 Jps

hadoop104:

25988 Jps

25792 SecondaryNameNode

25862 NodeManager

原因为多次格式化namenode导致的namenode与datanode之间的不一致导致。

解决方法:

第一步:关掉所有启动的集群

在hadoop3.1.3目录下,输入命令sbin/stop-all.sh

第二步:删除每个集群中datanode存放路径的数据,data 和logs

输入命令:rm -rf  data/ logs/

第三步:重新格式化

输入命令:hadoop namenode -format

第四步:启动集群

在hadoop3.1.3目录下,输入命令sbin/start-all.sh

第五步:查看进程

输入命令:jps文章来源地址https://www.toymoban.com/news/detail-426560.html

到了这里,关于hadoop集群启动后datanode没有启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop集群slave节点jps后没有datanode解决方案

    这个问题是重复格式化造成的,重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。 1.关闭集群 2.找到安装hadoop的文件夹,我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。 操作:在master里输入命令 3.切换到slave节点,

    2024年02月11日
    浏览(60)
  • 解决Hadoop伪分布式集群jps没有datanode节点问题

    在启动Hadoop时,通过jps目录发现没有datanode进程。

    2024年02月13日
    浏览(57)
  • 解决Hadoop完全分布式集群中从节点jps没有datanode节点问题

    当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程 正常情况: 有时候可能发现没有Datanode,即只有两项(第一项和最后一项)。原因可能是 重复格式化 namenode 后,导致 datanode 的 clusterID 和 namenode 的 clusterID 不一致。 解决方法: 在master节点(namenode): 找到你

    2024年02月06日
    浏览(58)
  • 多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

    多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动 在搭建完hadoop集群后,需要对主节点进行初始化(格式化) 其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。 而且 主节点格式化操作只能进行一次。 当我们不小心多次初始化,会导致启动

    2024年02月05日
    浏览(48)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(50)
  • 【Hadoop】执行start-dfs.sh启动hadoop集群时,datenode没有启动怎么办

    执行start-dfs.sh后,datenode没有启动,很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令(hdfs namenode -format),这时主节点namenode的clusterID会重新生成,而从节点datanode的clusterID 保持不变。 在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径

    2024年02月04日
    浏览(53)
  • 关于如何解决hadoop jps时没有datanode

    在输入jps命令后,可能会出现无法启动DataNode的情况,如图。 可能因为多次格式化NameNode会重新生成新的ClusterId(集群ID),而原来的DataNode内data文件下的VERSION文件内的ClusterId还是原来的ClusterId,所以就会出现与NameNode的ClusterId不匹配。 解决方法: 找到存放VERSION的路径 我的

    2024年02月07日
    浏览(83)
  • hadoop集群启动master节点jps后没有namenode解决方案

    启动集群jps后出现: 1.关闭集群 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logs 3.重新格式化namenode 4.重新启动后集群

    2024年02月08日
    浏览(45)
  • Hadoop datanode启动异常 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode

    现象 线上收到hadoop集群datanode掉线告警。 排查 1、确认datanode状态 发现未存在datanode进程。 2、尝试单独启动datanode,发现还是不行,错误日志信息如下: $ hadoop-daemon.sh start datanode 2022-11-25 15:58:43,267 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanod

    2023年04月08日
    浏览(47)
  • hadoop datanode无法启动

    查看日志文件,显示报错: 错误原因:datanode和namenode的clusterID不同,导致无法启动datanode。通常是多次格式化导致的这个问题. 注:找到datanode和namenode数据存储文件中current文件夹,查看VERSION文件,可以发现他们的clusterID不同(数据存储路径可在hdfs-site.xml文件中查看,以个人实际为准

    2024年02月06日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包