Hadoop启动后没有NameNode进程,日志报ulimit -a for user root

这篇具有很好参考价值的文章主要介绍了Hadoop启动后没有NameNode进程,日志报ulimit -a for user root。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境:CentOS7、Hadoop2.6.4

背景:安装后启动正常,一段时间在来启动发生这种情况。

现象:

        启动后没有NameNode进程,于是查看日志,日志显示ulimit -a for user root,潜意识还以为文件不能读。(坑1)查看网上资料,说是同时打开文件描述符数量受限,于是更改参数为10000,以下图片是修改参数后的。重启dfs,问题依然没有解决。

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

        看到一篇博文说启用了Clickhouse导致,检查了下果然是这个原因。查看Clickhouse及端口信息,是由于Clickhouse的默认端口9000与dfs的默认端口一致,导致NameNode进程启动失败。

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

         通过Clickhouse stop,关闭Clickhouse服务,并通过ps -ef|grep clickhouse确认服务关闭。一段时间后再去重启dfs,发现问题还在,检查Clickhouse发现服务还在。查资料发现Clickhouse会自动重启服务(坑2)。

         注:一般情况下,如果不是主动使用systemctl stop clickhouse-server 停止clickhouse

而是使用kill -9 pid关闭clickhouse,或者异常奔溃,那么如果一切正常的情况下clickhouse server 10s检测进程,自动重启。

        通过命令systemctl stop clickhouse-server 停止clickhouse服务后,再启动dfs正常。

回到坑1

        偶然情况下进入hadoop的日志目录

        Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

         查看hadoop-root-namenode-hadoop.log,能查看,而hadoop-root-namenode-hadoop.out却显示ulimit -a 的信息。直到用vim hadoop-root-namenode-hadoop.out 打开并删除了其中一行数据,才明白.out后缀中写入的就是ulimit -a的信息,并不是同时打开文件描述符数量限制导致文件打不开。

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

 Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式     

        另外通过查看hadoop-root-namenode-hadoop.log日志也能看到namenode没有起来的原因

,就是端口号冲突导致的。 

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

总结:遇到类似问题,第一时间还是看日志,这次完全是看错了日志文件。被下图那句误导了。

Hadoop启动后没有NameNode进程,日志报ulimit -a for user root,大数据#hadoop,hadoop,大数据,分布式

 文章来源地址https://www.toymoban.com/news/detail-550914.html

到了这里,关于Hadoop启动后没有NameNode进程,日志报ulimit -a for user root的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop集群当中主节点的NameNode进程启动不成功

    原因: 是因为多次格式化NameNode的原因,每次格式化NameNode的时候,hadoop集群就会产生一个新的集群ID,导致了NameNode和DataNode的集群ID不一致,所以导致运行start-all.sh后,hadoop的NameNode进程启动不起来。 现在作者附上两种解决方法,我是使用了第二种方法成功的。 在hadoop集群

    2024年02月08日
    浏览(50)
  • hadoop集群启动master节点jps后没有namenode解决方案

    启动集群jps后出现: 1.关闭集群 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logs 3.重新格式化namenode 4.重新启动后集群

    2024年02月08日
    浏览(45)
  • 启动 Hadoop 后没有 dataNode 进程

    原因:进行 hadoop 格式化的时候没有事先结束所有进程,或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配,从而在启动后没有 datanode 进程。 解决办法1: 删除hadoop下的日志文件logs 重新格式化 解决办法2(成功率更高): 重新安装,或者恢复快照 重

    2024年02月05日
    浏览(52)
  • hadoop中ResourceManager 进程或 NodeManager 进程没有启动

    如果 ResourceManager 进程或 NodeManager 进程没有启动,可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件,确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常,确保所有节点都能够连接到同一网络。

    2024年02月06日
    浏览(45)
  • Hadoop启动后没有datenode进程的解决办法

    在启动Hadoop时,通过jps目录发现没有datanode进程。 clusterID不匹配导致的问题 网上的说法大多数都是由于进行hadoop格式化的时候没有事先结束所有进程,或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配,从而在启动后没有datanode进程。 重新格式化 执行 sto

    2024年02月07日
    浏览(50)
  • hadoop中jps命令后没有namenode

    在Hadoop中,使用 jps 命令可以列出当前运行的Java进程,包括Hadoop的各个组件。如果 jps 命令没有显示 namenode ,那可能是以下几个原因之一: namenode 进程没有启动。在运行Hadoop集群之前,需要确保启动了 namenode 进程,否则 jps 命令不会显示该进程。可以使用 start-dfs.sh 命令来启

    2024年02月11日
    浏览(61)
  • Hadoop集群配置问题—小记jps没有NameNode的问题

    本人Hadoop集群部署如下: hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode DataNode DataNode Yarn NodeManager ResourceManager NodeManager NodeManager   问题:当格式化NameNode后,启动hdfs。发现jps后没有显示NameNode。 解决方法:          1、先关闭各节点的运行                 在h

    2023年04月11日
    浏览(56)
  • flume环境配置-传输Hadoop日志(namenode或datanode日志)

    解压文件 修改文件名  配置环境变量 执行flume-ng version  将flume-env.sh.template改名为flume-env.sh, 并修改其配置 启动Flume传输Hadoop日志 启动flume  解压文件 修改文件名  配置环境变量 执行flume-ng version  将flume-env.sh.template改名为flume-env.sh, 并修改其配置          在flume/conf目

    2024年02月09日
    浏览(56)
  • 启动hdfs报错:Attempting to operate on hdfs namenode as root but there is no HDFS NAMENODE USER defined.

    配置好了hadoop的文件一启动就发现报错 这个问题呢,其实还是你的配置文件配错了,有两个配置文件的问题: core-site.xml文件 hadoop-env.sh 文件 这两个文件都是在hadoop软件下的etc/下的配置文件 其次可能还有就是你之前就配置过hadoop,并且还修改过环境变量的文件比如说/etc/p

    2023年04月19日
    浏览(66)
  • hadoop namenode格式化错误以及启动不了解决方案

    重启虚拟机,启动Zookeeper和journalnode 启动三台机器的zookeeper 和 journalnode 第一次格式化namenode时报错,namennode可能会自动进入了安全模式,所以需要关闭安全模式 重新格式化 需要先关闭所有服务 查看配置文件是否有错误 然后删除tmp文件,并重新格式化namenode,tmp文件查看co

    2024年02月11日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包