hadoop报错:Hadoop启动时,没有启动datanode

这篇具有很好参考价值的文章主要介绍了hadoop报错:Hadoop启动时,没有启动datanode。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述:

当我们多次格式化文件系统(hadoop namenode -format)时,会出现DataNode无法启动。

多次启动中发现有NameNode节点,并没有DataNode节点

hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档

出现该问题的原因:

在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

解决办法:

根据日志中的路径,我这边放置在/opt/soft/hadoop313/data/dfs目录下,能看到 data和name两个文件夹。

hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档

解决方法一:(推荐)

删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除,然后重新执行hadoop namenode -format进行格式化,重启集群,错误消失。

解决方法二:

将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID

name/current:

hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档
hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档

data/current:

hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档
hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档

重新启动:start-all.sh

jps一下,就好啦

hadoopdatanode没有启动,# 错误分析,hadoop,大数据,hdfs,Powered by 金山文档

总结:

每次运行结束 Hadoop 后,都要执行 stop-all.sh 关掉Hadoop所有服务。下次想重新运行 Hadoop,不用再格式化 NameNode ,直接启动 Hadoop 即可文章来源地址https://www.toymoban.com/news/detail-612860.html

到了这里,关于hadoop报错:Hadoop启动时,没有启动datanode的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop启动后没有datenode进程的解决办法

    在启动Hadoop时,通过jps目录发现没有datanode进程。 clusterID不匹配导致的问题 网上的说法大多数都是由于进行hadoop格式化的时候没有事先结束所有进程,或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配,从而在启动后没有datanode进程。 重新格式化 执行 sto

    2024年02月07日
    浏览(49)
  • 解决hadoop启动后没有namenode节点问题(三)

    前景回顾:上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点,而且无法访问对应网站,该篇中将解决上篇的问题 针对前篇没有namenode节点解决方案: 先关闭hadoop:sbin/./stop-all.sh 删除文件夹 (hadoop2.7.3/下)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹

    2024年02月11日
    浏览(48)
  • hadoop报错:没有那个文件或目录

    删掉haoop安装目录下 /opt/module/hadoop-3.3.0/etc/hadoop/workers 文件里面的localhost 保存后可成功运行脚本 附上:myhadoop.sh(实现hadoop集群快速启停)

    2024年02月11日
    浏览(64)
  • hadoop中ResourceManager 进程或 NodeManager 进程没有启动

    如果 ResourceManager 进程或 NodeManager 进程没有启动,可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件,确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常,确保所有节点都能够连接到同一网络。

    2024年02月06日
    浏览(45)
  • hadoop- yarn启动后用jps查看没有resourcemanager

    启动hadoop的 yarn时 发现jps 并没有 resourcemanager 在hadoop-xxx-resourcemanager-.log 日志文件中 发现了报错日志 日志内容如下 jdk8之后 限制了跨包访问 如果要访问需要添加 --add-opens java.base/xxx.xxx=ALL-UNNAMED 编辑yarn-env.sh 文件 添加如下参数 export YARN_RESOURCEMANAGER_OPTS=“–add-opens java.base/ja

    2024年01月16日
    浏览(46)
  • Hadoop集群启动后命令JPS没有DataNode或者NameNode

    问题原因 1)需要检查core-site.xml 和 hdfs-site.xml这俩文件,配置没错的话再看第二条 2)可能已经执行格式化NameNode后,但是格式之前并没有停止之前的进程并删除相关数据。 解决方案(记得你的集群删除前需要停止, 每个副本都要进行一次下面操作 ) 1)删除dfs文件夹里的文

    2024年02月04日
    浏览(51)
  • HADOOP 启动后没有datanode解决办法(适用于所有节点datanode)

    解决方法: 1.首先停止集群 stop-dfs.sh stop-yarn.sh  2.切换到各节点hadoop解压包目录下的tmp目录,删除目录下所有文件 rm -rf * 3.格式化文件 在主节点hadoop01主节点上进行格式化操作,命令如下: hdfs namenode -format 4.测试集群datanode是否启动  

    2024年02月11日
    浏览(42)
  • Hadoop启动时出现错误:Cannot execute /home/hadoop/libexec/hadoop-config.sh.

    Hadoop启动时出现错误:Cannot execute /home/hadoop/libexec/hadoop-config.sh. 'ERROR: Cannot execute /usr/local/Hadoop/libexec/hdfs-config.sh'表示无法执行指定路径下的 hdfs-config.sh 文件。 可能是环境变量配置错误导致的,所以要检查 Hadoop 的环境变量配置是否正确。确保 Hadoop 的相关路径正确设置。

    2024年02月04日
    浏览(43)
  • hadoop集群启动master节点jps后没有namenode解决方案

    启动集群jps后出现: 1.关闭集群 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logs 3.重新格式化namenode 4.重新启动后集群

    2024年02月08日
    浏览(45)
  • hadoop报错——ResourceManager无法启动

    目录 一、前言 二、解决 三、结尾         本次的遇到的问题为启动Hadoop集群后,jps查看进程中,ResourceManage节点没有启动,导致无法访问http://localhost:8088,通过查看ResourceManage的启动日志,日志中给出的错误为 “已启用嵌入式自动故障转移,但未设置yarn.resourcemanager.zk-

    2024年02月08日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包