Hadoop集群配置问题—小记jps没有NameNode的问题

这篇具有很好参考价值的文章主要介绍了Hadoop集群配置问题—小记jps没有NameNode的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本人Hadoop集群部署如下:

hadoop102 hadoop103 hadoop104
HDFS NameNode DataNode SecondaryNameNode
DataNode DataNode
Yarn

NodeManager

ResourceManager

NodeManager

NodeManager

 

问题:当格式化NameNode后,启动hdfs。发现jps后没有显示NameNode。

解决方法:

        1、先关闭各节点的运行

                在hadoop102的hadoop-3.1.3目录下输入: sbin/stop-dfs.sh

                在hadoop103的hadoop-3.1.3目录下输入:   sbin/stop-yarn.sh、

        2、删除各节点的 /data 和 /logs 目录里的所有文件

                上述两个目录在    /opt/module/hadoop-3.1.3 中。

                (找到你解压hadoop所在的目录) 

                !!!hadoop102、hadoop103、hadoop104的两个目录

Hadoop集群配置问题—小记jps没有NameNode的问题

        3、重新在hadoop102上格式化NameNode

                在hadoop102的hadoop-3.1.3目录下输入命令: hdfs namenode -format

        4、启动hdfs

                在hadoop102的hadoop-3.1.3目录下输入命令: sbin/start-dfs.sh

启动成功示意图:

hadoop102节点:

Hadoop集群配置问题—小记jps没有NameNode的问题

 hadoop103节点:

Hadoop集群配置问题—小记jps没有NameNode的问题

hadoop104节点:

Hadoop集群配置问题—小记jps没有NameNode的问题

 文章来源地址https://www.toymoban.com/news/detail-410169.html

在Web端查看HDFS的NameNode

        浏览器中输入网址: http://hadoop102:9870

        查看HDFS上存储的数据信息

Hadoop集群配置问题—小记jps没有NameNode的问题

 Web端查看YARN的ResourceManager

        浏览器中输入:http://hadoop103:8088

        查看YARN上运行的Job信息

Hadoop集群配置问题—小记jps没有NameNode的问题

 

到了这里,关于Hadoop集群配置问题—小记jps没有NameNode的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 解决Hadoop完全分布式集群中从节点jps没有datanode节点问题

    当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程 正常情况: 有时候可能发现没有Datanode,即只有两项(第一项和最后一项)。原因可能是 重复格式化 namenode 后,导致 datanode 的 clusterID 和 namenode 的 clusterID 不一致。 解决方法: 在master节点(namenode): 找到你

    2024年02月06日
    浏览(55)
  • hadoop集群slave节点jps后没有datanode解决方案

    这个问题是重复格式化造成的,重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。 1.关闭集群 2.找到安装hadoop的文件夹,我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。 操作:在master里输入命令 3.切换到slave节点,

    2024年02月11日
    浏览(58)
  • 解决hadoop启动后没有namenode节点问题(三)

    前景回顾:上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点,而且无法访问对应网站,该篇中将解决上篇的问题 针对前篇没有namenode节点解决方案: 先关闭hadoop:sbin/./stop-all.sh 删除文件夹 (hadoop2.7.3/下)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹

    2024年02月11日
    浏览(45)
  • 关于hadoop报错ERROR: Cannot set priority of namenode process与jps仅有自身的某类解决办法

    运行start-sh.all发现了如图的问题 也是搞了很久搜了很多教程,发现很多人并不是大毛病而是很多小细节出了错误。 首先检查如下hadoop-env.sh ,core-site.xml ,hdfs-site.xml ,mapred-site.xml ,yarn-site.xml 内容是否有配置错误 下图这种明显的错误一定要注意 “-”不要用错符号 若均正确

    2024年02月08日
    浏览(43)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(49)
  • 关于如何解决hadoop jps时没有datanode

    在输入jps命令后,可能会出现无法启动DataNode的情况,如图。 可能因为多次格式化NameNode会重新生成新的ClusterId(集群ID),而原来的DataNode内data文件下的VERSION文件内的ClusterId还是原来的ClusterId,所以就会出现与NameNode的ClusterId不匹配。 解决方法: 找到存放VERSION的路径 我的

    2024年02月07日
    浏览(81)
  • Hadoop启动后没有namenode进程的解决办法

    在启动Hadoop时,通过jps目录发现没有namenode进程。 先关闭hadoop:stop-all.sh 删除文件夹 (/opt/module/hadoop-3.1.3/tmp/)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹下所有的东西:rm -rf logs/ mkdir logs 重新格式化:bin/hadoop namenode -format 格式化完成启动hadoop:

    2024年02月11日
    浏览(38)
  • 多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

    多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动 在搭建完hadoop集群后,需要对主节点进行初始化(格式化) 其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。 而且 主节点格式化操作只能进行一次。 当我们不小心多次初始化,会导致启动

    2024年02月05日
    浏览(47)
  • hadoop- yarn启动后用jps查看没有resourcemanager

    启动hadoop的 yarn时 发现jps 并没有 resourcemanager 在hadoop-xxx-resourcemanager-.log 日志文件中 发现了报错日志 日志内容如下 jdk8之后 限制了跨包访问 如果要访问需要添加 --add-opens java.base/xxx.xxx=ALL-UNNAMED 编辑yarn-env.sh 文件 添加如下参数 export YARN_RESOURCEMANAGER_OPTS=“–add-opens java.base/ja

    2024年01月16日
    浏览(44)
  • Hadoop集群当中主节点的NameNode进程启动不成功

    原因: 是因为多次格式化NameNode的原因,每次格式化NameNode的时候,hadoop集群就会产生一个新的集群ID,导致了NameNode和DataNode的集群ID不一致,所以导致运行start-all.sh后,hadoop的NameNode进程启动不起来。 现在作者附上两种解决方法,我是使用了第二种方法成功的。 在hadoop集群

    2024年02月08日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包