多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

这篇具有很好参考价值的文章主要介绍了多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

在搭建完hadoop集群后,需要对主节点进行初始化(格式化)

其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。

而且主节点格式化操作只能进行一次。

当我们不小心多次初始化,会导致启动hadoop集群时,主节点DataNode或NameNode无法启动

[root@node01 hadoop]# jps
6628 SecondaryNameNode
7412 Jps
6901 ResourceManager
7066 NodeManager

解决方法如下:

在重新初始化(格式化)前,

  • 先在主节点上运行 stop-all.sh终止所有进程 (可以使用jps查看)

  • 删除配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件

    查找方法:查看配置文件里面是如何写的

    多次格式化后没有datanode,数据仓库,大数据分析,hadoop,hdfs,大数据

    示例:

    $hadoop_home = /opt/app/hadoop-2.7.7
    
    1. 首先找到指定目录

    查看hdfs-site.xml文件

    示例: $hadoop_home/etc/hadoop/hdfs-site.xml

<configuration> 
    .
    .
    .
  <property> 
    <name>dfs.namenode.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/name</value>
  </property> 
    
  <property>
    <name>dfs.datanode.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/data</value>
  </property> 
    .
    .
    .

</configuration>

查看core–site.xml

示例:$hadoop_home/etc/hadoop/core–site.xml

<configuration> 
    .
    .
    .
    
  <property>
    <name>dfs.tmp.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/tmp</value>
  </property> 
    .
    .
    .

</configuration>
  1. cd /opt/app/hadoop-2.7.7去看有哪些内容

多次格式化后没有datanode,数据仓库,大数据分析,hadoop,hdfs,大数据

  1. 删除 dfs.namenode.dir和dfs.datanode.dir所指目录里的文件
  • rm -rf name

  • rm -rf data

  1. 删除logs日志文件和tmp缓存文件
  • rm -rf logs
  • rm -rf tmp
  1. 最后重新初始化(格式化) hadoop namenode - format

!!!注意:每个结点上都需要删除相应文件文章来源地址https://www.toymoban.com/news/detail-745536.html

到了这里,关于多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Rancher部署k8s集群测试安装nginx(节点重新初始化方法,亲测)

    一、安装前准备工作 计算机 机器名 IP地址 部署内容 rancher 172.16.5.221 rancher k8smaster 172.16.5.222 Control Plane, Etcd k8sworker01 172.16.5.223 worker k8sworker02 172.16.5.224 worker k8sworker03 172.16.5.225 worker 需在每个节点都进行操作,可以使用xshell工具分屏进行批量操作。 升级linux内核 时间同步 Hos

    2024年01月20日
    浏览(36)
  • 『pyqt5 从0基础开始项目实战』06. 获取选中多行table 重新初始化数据(保姆级图文)

    欢迎关注 『pyqt5 从0基础开始项目实战』 专栏,持续更新中 欢迎关注 『pyqt5 从0基础开始项目实战』 专栏,持续更新中 请查阅上文获取源码,此处只列举第三方库 新增点击事件 .clicked.connect 我们这里的处理也包括包括选中多行的情况 在主函数中给线程传入需要的参数 获取

    2023年04月16日
    浏览(43)
  • (十四)大数据实战——hadoop集群一键式高可用实现自动故障转移与故障初始化恢复

    本节内容延续前面几节内容,综合性的实现hadoop集群的高可用以及hadoop集群故障初始化的恢复,通过一个脚本,实现整个集群的高可用启停与状态观测。主要是zookeeper、hdfs、yarn等服务的高可用集群的一键式启停。 hadoop高可用集群整体规划 hadoop高可用集群服务规划 hadoop101

    2024年02月13日
    浏览(29)
  • Hive初始化异常:org.apache.hadoop.hive.metastore.HiveMetaException: 加载驱动程序大数据失败

    近年来,随着大数据技术的快速发展,越来越多的企业开始关注和运用大数据处理和分析。然而,在使用Hive进行大数据处理时,有时会遇到一些问题,比如在初始化过程中出现了加载驱动程序大数据失败的异常。本文将介绍这个异常的原因和解决方法,并提供相应的源代码示

    2024年02月04日
    浏览(31)
  • Hive初始化遇到的问题:org.apache.hadoop.hive.metastore.HiveMetaException: 失败加载驱动程序

    Hive初始化遇到的问题:org.apache.hadoop.hive.metastore.HiveMetaException: 失败加载驱动程序 在大数据领域,Hive是一个常用的数据仓库工具,它构建在Hadoop之上,提供了一种类似于SQL的查询语言,用于处理大规模的数据集。然而,有时在Hive的初始化过程中,可能会遇到一些错误。其中

    2024年02月08日
    浏览(36)
  • Hadoop中重新格式化NameNode的操作

    Hadoop中重新格式化NameNode的操作 在Hadoop集群中,NameNode是一个关键的组件,它负责管理文件系统的命名空间和存储元数据。有时候,我们需要重新格式化NameNode,这意味着清除现有的文件系统命名空间和元数据,并创建一个全新的NameNode实例。本文将介绍如何在大数据环境下重

    2024年02月08日
    浏览(32)
  • Pytorch权重初始化/参数初始化

    refer: 【Pytorch】各网络层的默认初始化方法 https://blog.csdn.net/guofei_fly/article/details/105109883 其实Pytorch初始化方法就在各自的层的 def reset_parameters(self) - None: 方法中。 有人可能会问 为什么这个方法和Pytorch直接出来的权重初始值不一样 ?单步调试会发现其实这个方法运行了至少两

    2024年02月11日
    浏览(49)
  • Linux内存初始化-启动阶段的内存初始化

    本文代码基于ARM64平台, Linux kernel 5.15 在加载kernel 之前, kernel对于系统是有一定要求的,明确规定了boot阶段必须要把MMU关闭: 那么在进入kernel之后, 就必须有一个使能MMU, 建立映射的过程, 本文描述kernel启动阶段进行内存初始化相关的操作。 在初始化阶段,我们mapping二段

    2024年02月08日
    浏览(67)
  • 深度学习参数初始化(二)Kaiming初始化 含代码

    目录 一、介绍 二、基础知识 三、Kaiming初始化的假设条件  四、Kaiming初始化的简单的公式推导 1.前向传播 2.反向传播 五、Pytorch实现 深度学习参数初始化系列: (一)Xavier初始化 含代码 (二)Kaiming初始化 含代码         Kaiming初始化论文地址:https://arxiv.org/abs/1502.01

    2024年02月04日
    浏览(61)
  • 【温故而知新】JavaScript初始化/初始化加载

    在JavaScript中,对象、数组、函数、类等都可以通过不同的方式进行初始化。以下是几种常见的初始化方式: 对象初始化: 使用字面量方式: 使用构造函数方式: 数组初始化: 使用字面量方式: 使用构造函数方式: 函数初始化: 类初始化: 使用Array的of和from方法进行数组

    2024年01月24日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包