启动HDFS时jps查看不到namenode

这篇具有很好参考价值的文章主要介绍了启动HDFS时jps查看不到namenode。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述

使用命令 start-dfs.sh启动集群,然后使用jps查看进程时发现没有namenode,SecondaryNameNode、和DataNode正常启动,其他集群的DataNode也是正常启动。
然后去/export/server/hadoop-3.3.4/logs查找日志文件,发现日志中的错误信息为:

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: Failed to load FSImage file, see error(s) above for more info.

关键字:Failed to load FSImage file,表示FSImage文件存在异常。文章来源地址https://www.toymoban.com/news/detail-720787.html

解决办法

  1. 关闭集群,命令: stop-all.sh
  2. 找到数据存储的位置:
    1.1. 找到hadoop安装目录下的/etc/hadoop/hdfs-site.xml文件
    1.2. 查看里面 dfs.namenode.name.dir 下的值,这个值就是自己hdfs中namenode数据的存储位置了
  3. 打开current文件夹,删除其中以fsimage开头的大小为0的文件
  4. 重新启动集群,再输入jps。这个时候就可以看到namenode启动了

总结

  1. 启动服务遇到问题不要慌,先查看日志文件
  2. 根据日志文件中的信息来对症下药,如果日志文件内容较多可以使用tail -显示的行数 文件 来指定显示末尾多少行。

到了这里,关于启动HDFS时jps查看不到namenode的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据:HDFS存储原理,fsck命令查看文件副本状态,namenode元数据,edits流水账,fsimage合并,hdfs读取数据

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月05日
    浏览(73)
  • hadoop- yarn启动后用jps查看没有resourcemanager

    启动hadoop的 yarn时 发现jps 并没有 resourcemanager 在hadoop-xxx-resourcemanager-.log 日志文件中 发现了报错日志 日志内容如下 jdk8之后 限制了跨包访问 如果要访问需要添加 --add-opens java.base/xxx.xxx=ALL-UNNAMED 编辑yarn-env.sh 文件 添加如下参数 export YARN_RESOURCEMANAGER_OPTS=“–add-opens java.base/ja

    2024年01月16日
    浏览(46)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(51)
  • hadoop中jps命令后没有namenode

    在Hadoop中,使用 jps 命令可以列出当前运行的Java进程,包括Hadoop的各个组件。如果 jps 命令没有显示 namenode ,那可能是以下几个原因之一: namenode 进程没有启动。在运行Hadoop集群之前,需要确保启动了 namenode 进程,否则 jps 命令不会显示该进程。可以使用 start-dfs.sh 命令来启

    2024年02月11日
    浏览(61)
  • Hadoop集群配置问题—小记jps没有NameNode的问题

    本人Hadoop集群部署如下: hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode DataNode DataNode Yarn NodeManager ResourceManager NodeManager NodeManager   问题:当格式化NameNode后,启动hdfs。发现jps后没有显示NameNode。 解决方法:          1、先关闭各节点的运行                 在h

    2023年04月11日
    浏览(56)
  • 关于hadoop报错ERROR: Cannot set priority of namenode process与jps仅有自身的某类解决办法

    运行start-sh.all发现了如图的问题 也是搞了很久搜了很多教程,发现很多人并不是大毛病而是很多小细节出了错误。 首先检查如下hadoop-env.sh ,core-site.xml ,hdfs-site.xml ,mapred-site.xml ,yarn-site.xml 内容是否有配置错误 下图这种明显的错误一定要注意 “-”不要用错符号 若均正确

    2024年02月08日
    浏览(44)
  • hdfs-namenode

    namenode解析: 维护整个文件系统目录结构树,文件、目录的各种信息(相当于ls -l),还有文件(对应的数据块列表)存放在hdfs各个节点的信息; 接受客户端(用户)的访问(操作)请求; Namenode(存储的信息主要存储在以下4个文件)主要有以下4个文件控制它的配置【错误

    2024年02月11日
    浏览(33)
  • HDFS中namenode安全模式

    HDFS集群在停机状态下,使用hdfs -daemon命令逐个进程启动集群,观察现象 首先启动namenode 只启动namenode发现集群可以查看目录结构但是无法新增目录 打开HDFS集群web月面可以发现如下提示 提示说:已经汇报的数据块的比例没有达到阈值。阈值为总数量块的0.999 启动第一天机器上

    2024年02月15日
    浏览(41)
  • HDFS写流程源码分析(二)-NameNode服务端

    环境为hadoop 3.1.3 HDFS写流程源码分析(一)-客户端 该方法用于创建一个文件。 首先找到NameNode的rpc服务端,进入 NameNodeRpcServer.create() 。 该方法创建了文件,并返回了 fileId 以及权限等文件相关信息使客户端创建输出流。这里我们着重看 FSNamesystem.startFile() 。 不需要关注ecPo

    2024年02月11日
    浏览(40)
  • HDFS中的NAMENODE元数据管理(超详细)

    在HDFS中,元数据主要值得是文件相关的元数据,有namenode管理维护。从广义的角度来说,因为namenode还需要管理众多的DataNode结点,因此DataNode的位置和健康状态信息也属于元数据 在hdfs中,文件相关的元数据具有两种类型: 文件自身属性信息 文件名称、权限、修改时间,文件

    2024年02月13日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包