Hadoop HA 搭建过程中报错:namenode格式化

这篇具有很好参考价值的文章主要介绍了Hadoop HA 搭建过程中报错:namenode格式化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述:

在格式化namenode时,显示报错如下

24/04/10 16:05:49 error namenode.fsnamesystem: fsnamesystem initialization f,hadoop,大数据,运维

2024-03-07 13:55:30,543 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.

    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:794)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:735)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1180)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1645)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1755)
2024-03-07 13:55:30,549 INFO namenode.FSNamesystem: Stopping services started for active state
2024-03-07 13:55:30,549 INFO namenode.FSNamesystem: Stopping services started for standby state
2024-03-07 13:55:30,549 WARN namenode.NameNode: Encountered exception during format:
java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:794)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:735)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1180)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1645)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1755)
2024-03-07 13:55:30,549 ERROR namenode.NameNode: Failed to start namenode.
java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.

    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:794)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:735)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1180)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1645)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1755)
2024-03-07 13:55:30,550 INFO util.ExitUtil: Exiting with status 1: java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.
 

问题分析: 

根据报错"如果未启用ha,则不得指定共享编辑目录"提示定位到./hdfs-site.xml文件。在hdfs-site.xml文件中配置过两个共享目录,分别是journalnode namenode,查看后发现journalnode.edits多输入一个t

24/04/10 16:05:49 error namenode.fsnamesystem: fsnamesystem initialization f,hadoop,大数据,运维

问题解决:

删除多余的t,重新分发hadoop到salve1 slave2节点

再次进行namenode格式化

24/04/10 16:05:49 error namenode.fsnamesystem: fsnamesystem initialization f,hadoop,大数据,运维

格式化成功问题解决

总结:

在修改配置文件部分一定要细心,namenode格式化过程中报错大多都是配置文件写错了。根据报错找到对应文件进行修改。文章来源地址https://www.toymoban.com/news/detail-851507.html

到了这里,关于Hadoop HA 搭建过程中报错:namenode格式化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop格式化时报错,已解决!

    在进行Hadoop伪分布式配置时,到了执行namenode格式化这一步时出了问题: 输入命令: 执行时出现了问题: 解决: 删除问题中的/usr/local/hadoop/tmp/dfs/name,(根据自己问题中的目录来)    然后再格式一次,这次虽然没出现问题,但还是有错误: 解决: 修改一下权限就好了,

    2024年02月09日
    浏览(36)
  • 格式化文件系统和启动和关闭Hadoop集群

    初次启动HDFS集群时,须对主节点进行格式化处理,执行:hdfs   namenode  -format 格式化成功信息: 1. 一起启动hdfs和yarn服务 ,执行:start-all.sh 1. 单独启动hdfs服务 ,执行:start-dfs.sh 题外:关于jdk版本太高,启动hdfs和yarn会有警报这种,可以降低jdk版本,进行解决 具体可以参照

    2024年02月07日
    浏览(48)
  • vite-admin框架搭建,ESLint + Prettier 语法检测和代码格式化

    开发工具: vs code node: 20.10.0 npm: 10.2.3 UI框架: Element-plus gitee地址: 搭建一个新的vite项目 搭建完成执行命令后如图所示 安装完后项目目录为 1.1 安装插件 1.2 初始化ESLint 安装后生成 .eslintrc.cjs 文件, 配置如下: 2.1 安装插件 2.2 配置Prettier 根目录下创建.prettierrc.cjs文件 .prett

    2024年02月02日
    浏览(74)
  • Hadoop HA集群两个NameNode都是standby或者主NameNode是standby,从NameNode是active的情况集锦

    这里说一下配置Hadoop HA集群可能出现的两种情况,第一种就是两个NameNode都是standby,第二种就是主Master是standby,从Master是active。 针对Hadoop 1.x中可能出现的NameNode单点故障(SPOF)或者短时间无法使用的情况,Hadoop 2.x 通过增加一个NameNode的方式进行了改善,而增加一个NameNode后

    2024年02月12日
    浏览(43)
  • vscode 无法格式化python代码、无法格式化C++代码(vscode格式化失效)另一种解决办法:用外部工具yapf格式化(yapf工具)

    神马情况,我的vscode死活不能格式化python代码,还有C++代码也不能格式化,json代码都能格式化,为啥到python、C++就不行了。。。。 (格式化json代码) (格式化python代码) 都无反应。。。 弄了半天解决不了。。。只能用外部工具解决了,就是麻烦点 搞了个外部工具yapf来格

    2024年02月05日
    浏览(85)
  • Couldn‘t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro

    问题1:Couldn’t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro hadoop处于ha高可用模式了 需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下,特别是其中的 问题2:Class org.apache.hadoop.hdfs.DistributedFileSystem not found idea中需要加入hadoop-client的依赖,尤

    2024年02月16日
    浏览(39)
  • 使用vscode格式化文档无效(vue代码格式化文档无效)

    问题: 最近在写代码的时候,vscode使用格式化文档不管用。 原因: 单页面使用大量element组件和html代码导致,vscode识别不了。 解决方案: 1、 打开设置,点击右侧的图标打开settings.json文件,在文件中注入代码。 settings.json文件位置,vscode左下角:  设置页面右上角:  在

    2024年02月16日
    浏览(76)
  • DBeaver中使用外部格式化程序对进行sql格式化

    本文介绍了如何在DBeaver中使用pgFormatter、sqlprase、sqlformatter等外部格式化程序对sql进行格式化。 目录 一、pgFormatter 1.准备工作 2.DBeaver中进行配置 二、sqlprase 1.准备工作 2.在DBeaver中配置 三、sql-formatter 1.准备工作 2.在DBeaver中配置 pgFormatter本质是perl脚本,所以需要perl运行环境支

    2024年01月25日
    浏览(62)
  • 【vscode 格式化】prettier 格式化之后添加逗号,与eslint冲突

    最近格式化文件的时候老是添加逗号,保存的时候会eslint在格式化一遍,将逗号删掉;就感觉不是很舒服; 有两种方法, 一、配置 .prettierrc 文件; 文件配置,可直接用,配合eslint使用足够了 JSON文件是不支持备注的,cv过去时要删掉注释 2.就是在设置的搜索框中输入“vet

    2024年02月12日
    浏览(84)
  • 日期格式化的最佳实践:如何在Java中处理日期格式化

    当涉及到日期格式化时,了解正确的方式和最佳实践是至关重要的。 日期格式化是将日期转换为特定格式的过程,以便在应用程序开发中更好地展示、存储或交互。 以下内容展示常用的三种方式 在Java中,你可以使用java.time.format.DateTimeFormatter类来格式化日期,并将格式化后

    2024年02月07日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包