hdfs-namenode

这篇具有很好参考价值的文章主要介绍了hdfs-namenode。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

namenode解析:
维护整个文件系统目录结构树,文件、目录的各种信息(相当于ls -l),还有文件(对应的数据块列表)存放在hdfs各个节点的信息;
接受客户端(用户)的访问(操作)请求;
Namenode(存储的信息主要存储在以下4个文件)主要有以下4个文件控制它的配置【错误,记忆的偏差点】:fsimage,edits,seed_txid,version...
(上述文件所在路径有一个参数(dfs.namenode.name.dir )去控制:)
配置文件:hdfs-default.xml - 配置namenode的各种属性 是hdfs-site.xml的 派生(会覆盖hdfs-default.xml),当没有配置hdfs-site.xml时,
会使用hdfs-default.xml, (C:\hadoop-3.2.2\share\hadoop\hdfs\hadoop-hdfs-3.2.2.jar\hdfs-default.xml)
其中dfs.namenode.name.dir 属性就是配置namenode这几个(fsimage,edits,seed_txid,version)文件存放的地方,也是core-site.xml中配置的临时目录的地方
案列中:/data/hadoop_repo/dfs/name:
in_use.lock 每次启动时看这个文件是否在,在的话就不会再启动了
在主节点的 /data/hadoop_repo/dfs/name/current/:
fsimage,edits,seed_txid,version
无法直接查看fsimage文件,需先执行以下命令生成相应的xml文件才可查看
hdfs oiv      -p XML          -i fsimage_0000000000000000098 -o fsimage98.xml
    固定参数 最终生成xml文件  输入文件                       输出文件
<inode>标签(对应一个文件的信息):<type>存储的数据类型 <name>名字,如README.txt <replication>副本数量  <atime> 访问时间 <mtime> 修改时间
<permission>权限
<blocks><block><id>(block的ID)<numbytes>(数据块的大小)</block><blocks> 有多少个数据块,就有多少个block标签

edits:实时记录文件的上传状态,特别是对于大文件,只有当该文件所有数据块都上传成功时,edits中才会记录该文件上传成功;
hdfs dfs ls / 实际上就是访问fsimage(固化的内容,镜像,定时生成) 和 edits(当前正在上传的文件信息,实时动态更新) 这两个文件

edits中的内容隔段时间会(由secondaryNamenode【主要负责】执行此操作,在hadoop2.0以后的HA架构,
没有secondarynamenode进程,存在多个namenode,会由standby namenode负责实现合并操作(称为checkpoint)
相当于一个主namenode,其他是备份namenode,此操作将由备份namenode来完成)转换一下,然后生成新的内容保存在fsimage文件
seed_txid 存放的是edits中最后的文件的序号 当文件系统重新格式化的时候会读取seed_txid中的序号,并逐个执行edits从开始到这个序号的所有文件
version 集群的版本信息文章来源地址https://www.toymoban.com/news/detail-501529.html

到了这里,关于hdfs-namenode的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HDFS中的NAMENODE元数据管理(超详细)

    在HDFS中,元数据主要值得是文件相关的元数据,有namenode管理维护。从广义的角度来说,因为namenode还需要管理众多的DataNode结点,因此DataNode的位置和健康状态信息也属于元数据 在hdfs中,文件相关的元数据具有两种类型: 文件自身属性信息 文件名称、权限、修改时间,文件

    2024年02月13日
    浏览(60)
  • Hive无法建表 遭遇 hdfs namenode state : standby 问题

    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error     at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)   

    2023年04月09日
    浏览(30)
  • Hadoop理论及实践-HDFS的Namenode及Datanode(参考Hadoop官网)

            Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。有一下几个特点:         HDFS是一个高度容错性的系统,具有高容错、高可靠性、高扩展性的特点,适合部署在廉价的机器上。          HDFS能提供对应用程序数据

    2024年02月14日
    浏览(49)
  • 大数据:HDFS存储原理,fsck命令查看文件副本状态,namenode元数据,edits流水账,fsimage合并,hdfs读取数据

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月05日
    浏览(73)
  • HDFS磁盘清理维护

    1、执行sudo -u hdfs hadoop fs -du -h / 查询hdfs中各目录的占用的空间,进入占用最多的目录中(/tmp目录等) 2、找到目录/tmp/repay_prpjpolicypayment占用了大量空间 3、执行hdfs dfs -rm -r /tmp/repay_prpjpolicypayment删除此目录下的文件夹 4、删除的文件会被保存到/user/hdfs/.Trash,清空回收站即可

    2024年02月13日
    浏览(41)
  • HDFS元数据管理/磁盘清理维护

    HDFS分类-类型分包括以下几部分 文件、目录自身的属性信息,例如文件名,目录名,修改信息等 文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等 记录 HDFS 的 Datanode 的信息,用于 DataNode 的管理。 按形式分 内存元数据   内存 元数据文件两种  磁

    2024年02月19日
    浏览(39)
  • Couldn‘t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro

    问题1:Couldn’t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro hadoop处于ha高可用模式了 需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下,特别是其中的 问题2:Class org.apache.hadoop.hdfs.DistributedFileSystem not found idea中需要加入hadoop-client的依赖,尤

    2024年02月16日
    浏览(39)
  • 【Hadoop】关于Hadoop集群HDFS启动问题:DataNode启动报错ERROR: Cannot set priority of namenode process

    出了问题第一步一定要先看日志!看日志!看日志! DataNode日志文件在Hadoop目录下的logs文件夹 以下列举两种问题的解决方法: 1.最常见的就是对NameNode进行了多次格式化操作,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果

    2024年02月06日
    浏览(51)
  • HDFS源码解析

    Hadoop分布式文件系统(HDFS)是Hadoop生态系统的核心组件之一,它是一个可扩展的分布式文件系统,用于存储大量数据。本文将对HDFS的源代码进行解析,以便更好地理解其工作原理。 HDFS的核心组件 HDFS由三个核心组件组成:NameNode,DataNode和客户端。NameNode是HDFS的主节点,负责

    2024年02月06日
    浏览(28)
  • P2P网络应用层多播树的建立及维护的解析

    一、什么是对等网络 P2P P2P一般指对等网络 对等计算(Peer to Peer,简称p2p)可以简单的定义成通过直接交换来共享计算机资源和服务,而对等计算模型应用层形成的网络通常称为对等网络。在P2P网络环境中,成千上万台彼此连接的计算机都处于对等的地位,整个网络一般来说

    2024年02月07日
    浏览(82)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包