hdfs-datanode

10月前作者：February13 分类：Toy博客阅读(16) 违法举报

这篇具有很好参考价值的文章主要介绍了hdfs-datanode。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一个文件若小于128mb，并不会占用128mb
在从节点的 /data/hadoop_repo/dfs/data/current/BP-300951849-192.168.70.128-1637467565154/current/finalized/subdir0/subdir0:
$hadoop.tmp.dir$
blk_... 的文件就是一个个block文件 _后面的数字就是block id
关于副本：有多少个从节点，就可以有多少个副本，一般默认3个在availability中可以体现

节点上存储的文件信息（block块存放在哪个节点）只有datanode自己知道，
故每次启动的时候，datanode都有扫描一遍节点，将存储的文件信息（当前节点上所有block块信息）传送给namenode（这个关系每次重启都会动态加载）
fsimage 中保存了文件和block块之间的映射信息
namenode节点中维护着两类信息：
1 block 与文件的信息（fsimage，edits）namenode启动时会将元数据信息（每个文件占用150字节）加载到内存
2 block块与 datanode对应的关系 datanode启动时会上报当前节点与block之间映射关系给namenode文章来源地址https://www.toymoban.com/news/detail-420816.html

到了这里，关于hdfs-datanode的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。有一下几个特点： HDFS是一个高度容错性的系统，具有高容错、高可靠性、高扩展性的特点，适合部署在廉价的机器上。 HDFS能提供对应用程序数据

2024年02月14日
浏览(49)
从零开始的Hadoop学习（六）| HDFS读写流程、NN和2NN工作机制、DataNode工作机制

1.1 HDFS写数据流程 1.1.1 剖析文件写入（1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode 返回是否可以上传。（3）客户端请求第一个 Block 上传到哪几个 DataNode 服务上。（4）NameNode 返回 3个 DataN

2024年02月10日
浏览(51)
【Hadoop】关于Hadoop集群HDFS启动问题：DataNode启动报错ERROR: Cannot set priority of namenode process

出了问题第一步一定要先看日志！看日志！看日志！ DataNode日志文件在Hadoop目录下的logs文件夹以下列举两种问题的解决方法： 1.最常见的就是对NameNode进行了多次格式化操作，格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果

2024年02月06日
浏览(51)
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）

主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

2024年02月08日
浏览(48)
hadoop102: mv: 无法获取“/opt/module/hadoop-3.1.3/logs/hadoop-root-datanode-hadoop102.out.3“ 的文件状态(stat):

删掉haoop安装目录下/opt/module/hadoop-3.1.3/etc/hadoopworkers文件里面的localhost 然后保存文件即可

2024年02月12日
浏览(35)
【HDFS】每天一个RPC系列----complete（二）：客户端侧

上图给出了最终会调用到complete RPC的客户端侧方法链路（除去Router那条线了）。 org.apache.hadoop.hdfs.DFSOutputStream#completeFile(org.apache.hadoop.hdfs.protocol.ExtendedBlock)：下面这个方法在complete rpc返回true之前，会进行重试，直到超过最大重试次数抛异常。另外需要注意的是，这个方法在

2024年02月13日
浏览(47)
大数据技术基础实验四：HDFS实验——读写HDFS文件

在前面的实验中我们进行了HDFS的部署，并设置了一键启动HDFS操作，本期实验我们将使用HDFS开发环境进行HDFS写、读的编写，以及程序的运行，了解HDFS读写文件的调用流程，理解HDFS读写文件的原理。好啦废话不多说，我们开始今天的实验操作。会在Linux环境下编写读写HDFS文

2023年04月16日
浏览(43)
HDFS的文件写入和文件读取流程

Pipeline管道： Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——

2024年02月06日
浏览(40)
hdfs中的租约机制及Flink写hdfs文件未关闭

一文读懂Hive底层数据存储格式（好文收藏）-腾讯云开发者社区-腾讯云在HDFS中，租约机制是用来管理文件的写入和编辑操作的一种机制。租约机制包括主租约和副租约两种类型。主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。创建者在写入或编辑文件时

2024年02月16日
浏览(43)
HDFS文件创建与写入

实验环境 Linux Ubuntu 16.04 前提条件： 1）Java 运行环境部署完成 2）Hadoop 的单点部署完成实验内容在上述前提条件下，学习HDFS文件创建、写入、追加与合并等操作实验步骤启动HDFS，在命令行窗口输入下面的命令：运行后显示如下，根据日志显示，分别启动了NameNode、Dat

2024年02月02日
浏览(43)