Hadoop--万恶NameNode各种起不来!!!

这篇具有很好参考价值的文章主要介绍了Hadoop--万恶NameNode各种起不来!!!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了!!!

以前写过一篇Hadoop集群缺少node结点,一下↓ 是对NameNode结点一些常见问题

目录

NameNode启动不了

HDFS可视化网页打不开

Last but not least


NameNode启动不了

 

  • 111 配置文件错误

 不管你的NameNode在哪个主机上,jpsall就是看不到它的进程

这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)

hadoop集群namenode没起来,hadoop,大数据,hdfs

先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这个目录下的core-site.xml 、 yarn-site.xml 、  hdfs-site.xml 、mapred-site.xml  、 workers

hadoop集群namenode没起来,hadoop,大数据,hdfs

仔细阅读配置文件,字母、括号都不要错过!!!!还有works里面的主机名,还要去确认一遍、/etc/hosts 里面的主机映射对不对(比如主机1:172.168.100  hadoop01 ,如果hosts映射错了咋能启动?) 请仔细阅读配置文件!!!!

  • 222  NameNode格式化问题

可能你NameNode起不来,就在网上找教程说格式化,然后格式化一次又一次.....

格式化没有错,但要明白格式化会怎么样

 

hadoop集群namenode没起来,hadoop,大数据,hdfs

每次格式化以后里面id都会改变,多次操作可能导致NameNode的id的和其他文件里缓存的NameNode的id不一致,就会报错。 

解决方法:先把data和logs目录删除,再格式化NameNode之后重启集群

hadoop集群namenode没起来,hadoop,大数据,hdfs

 格式化NameNode:

hdfs namenode -format

再重启集群会自动生成新的并且和NameNodeid信息一致的data和logs

 

tip:是自己的理解,专业名词或者解释有偏差,谅解!

  •  333以上都解决不了问题

学会看看log日志,每个人情况不同,其他问题可能别人没遇到,所以,要学会自己解决问题。

运行时的警告和报错都会记录在logs中,去看对应节点的log,

看到爆红的的地方,翻译一下问题什么意思,---->复制问题百度一下 

hadoop集群namenode没起来,hadoop,大数据,hdfs

HDFS可视化网页打不开

  • 444把linux防火墙关一下

查看防火状态

systemctl status firewalld

service  iptables status

关闭防火墙

systemctl stop firewalld.service

关闭开机自启

systemctl disable firewalld.service
  • 555查看访问地址

访问是如果用的是主机名比如hadoop01、或者自己的主机名,前提是你的windows有这个主机名映射,就是说你在windows上访问hadoop01:9870....他不知道hadoop01是谁啊

解决方法:把主机名hadoop改成主机号比如172.168...再访问

如果可以访问就在windows中的hosts里添加你的linux主机映射(把hadoop01 172.168....添加进去)

 

hadoop集群namenode没起来,hadoop,大数据,hdfs

Last but not least

如果看到现在还是解决不了,请重启电脑、重启linux、重启Hadoop集群、并仔细阅读配置文件!bey~文章来源地址https://www.toymoban.com/news/detail-752724.html

到了这里,关于Hadoop--万恶NameNode各种起不来!!!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop集群启动master节点jps后没有namenode解决方案

    启动集群jps后出现: 1.关闭集群 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logs 3.重新格式化namenode 4.重新启动后集群

    2024年02月08日
    浏览(45)
  • 39学习分布式计算框架 Hadoop 的高可用方案,如 NameNode 集群、ZooKeeper

    Hadoop 是一个分布式计算框架,用于存储和处理大数据。在 Hadoop 集群中,NameNode 是一个关键组件,它负责管理 Hadoop 分布式文件系统(HDFS)中的文件和目录。为了确保高可用性,需要使用多个 NameNode 节点进行冗余备份,并使用 ZooKeeper 进行故障检测和自动故障切换。 以下是学

    2023年04月26日
    浏览(53)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(51)
  • 多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

    多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动 在搭建完hadoop集群后,需要对主节点进行初始化(格式化) 其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。 而且 主节点格式化操作只能进行一次。 当我们不小心多次初始化,会导致启动

    2024年02月05日
    浏览(49)
  • hadoop中jps命令后没有namenode

    在Hadoop中,使用 jps 命令可以列出当前运行的Java进程,包括Hadoop的各个组件。如果 jps 命令没有显示 namenode ,那可能是以下几个原因之一: namenode 进程没有启动。在运行Hadoop集群之前,需要确保启动了 namenode 进程,否则 jps 命令不会显示该进程。可以使用 start-dfs.sh 命令来启

    2024年02月11日
    浏览(61)
  • Hadoop启动后没有namenode进程的解决办法

    在启动Hadoop时,通过jps目录发现没有namenode进程。 先关闭hadoop:stop-all.sh 删除文件夹 (/opt/module/hadoop-3.1.3/tmp/)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹下所有的东西:rm -rf logs/ mkdir logs 重新格式化:bin/hadoop namenode -format 格式化完成启动hadoop:

    2024年02月11日
    浏览(42)
  • 解决hadoop启动后没有namenode节点问题(三)

    前景回顾:上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点,而且无法访问对应网站,该篇中将解决上篇的问题 针对前篇没有namenode节点解决方案: 先关闭hadoop:sbin/./stop-all.sh 删除文件夹 (hadoop2.7.3/下)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹

    2024年02月11日
    浏览(49)
  • Hadoop中重新格式化NameNode的操作

    Hadoop中重新格式化NameNode的操作 在Hadoop集群中,NameNode是一个关键的组件,它负责管理文件系统的命名空间和存储元数据。有时候,我们需要重新格式化NameNode,这意味着清除现有的文件系统命名空间和元数据,并创建一个全新的NameNode实例。本文将介绍如何在大数据环境下重

    2024年02月08日
    浏览(43)
  • Hadoop理论及实践-HDFS的Namenode及Datanode(参考Hadoop官网)

            Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。有一下几个特点:         HDFS是一个高度容错性的系统,具有高容错、高可靠性、高扩展性的特点,适合部署在廉价的机器上。          HDFS能提供对应用程序数据

    2024年02月14日
    浏览(49)
  • Hadoop HA 搭建过程中报错:namenode格式化

    问题描述: 在格式化namenode时,显示报错如下 2024-03-07 13:55:30,543 ERROR namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.init(FSNamesystem.java:794)     at org

    2024年04月14日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包