【HDFS】NN处理全量块汇报时reportDiff的一些细节

9月前作者：叹了口丶气分类：Toy博客阅读(25) 违法举报

这篇具有很好参考价值的文章主要介绍了【HDFS】NN处理全量块汇报时reportDiff的一些细节。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

NN处理全量块汇报（FBR）时的一些细节
怎么生成的toRemove
怎么check 汇报上来的块是不是corrupt的？
reportDiff方法里巧妙地引入delimiterBlock这个block的作用

前置知识：【HDFS】Block、BlockInfo、BlockInfoContiguous、BlockInfoStriped的分析记录

上面的文章中介绍了关于BlockInfo类里move当前块到storage存储列表的头的方法。在本文要描述的reportDiff方法里会用到。

首先声明reportDiff方法的调用上下文：

datanode侧进行全量块汇报 -> NameNodeRpcServer#blockReport方法 -> BlockManager#processReport方法及重载 -> reportDiff方法 -> processReportedBlock方法

reportDiff详细分析：文章来源地址https://www.toymoban.com/news/detail-623194.html

  private void reportDiff(DatanodeStorageInfo storageInfo,
      BlockListAsLongs

到了这里，关于【HDFS】NN处理全量块汇报时reportDiff的一些细节的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【经验】STM32的一些细节

这两天碰到的奇葩问题是 STM32定时器同步的问题。我的设计本意是：使用定时器T3以100us的周期来定时发送命令给 FPGA。由于编码器出结果的最长时间为51us。因此，希望PWM中断要滞后于T3 约60us 。调试过程：分别在T3和PWM中断中置IO1， IO2. 观察波形,发现IO1和IO2的周期都对，但

2024年02月20日
浏览(37)
[react] useState的一些小细节

因为setState修改是异步的,加上会触发函数重新渲染, 如果代码长这样一秒再修改,然后重新触发setTImeout, 然后再触发,重复触发循环如果这样呢还是会,因为你执行又会重新渲染为什么修改多次还是跟不上呢? 因为是异步修改 ,所以会出现问题,怎么办?用传函数的形式解决 C

2024年04月13日
浏览(37)
利用Echarts画3D线框图一些细节

1.使用的类型 3D折线图，可以去官网上下载示例改一下就行 2..数据构成数据实际上是三维点的集合，所以我的点是从后台接口传过来的，而且我的z和xy没有函数关系，所以不能像示例那样写function，但是看示例的代码，其实就是一堆点的列表 3.连线方式按照点的顺序进行连线

2024年02月12日
浏览(34)
VisualSVN Server 使用过程中一些细节

VisualSVN Server 是一款免费的版本管理工具，具有简便易用的特点。本文就使用VisualSVN Server 中的一些常见的细节问题略作称述。本文使用的相关安装环境如下所示： VisualSVN Server 5.1.3 windows 2012server 这里使用的VisualSVN下载路径：https://www.visualsvn.com/server/download/ ，选择对应的64位

2024年02月06日
浏览(53)
.net 实现的 Webscoket 对象的一些细节和疑问

这两天服务器和客户端进行了webscoket的联调，在和C#的webscoket实现联调的过程中，发现一些有趣的事情。在我自己C++的实现中，webscoket对上层应用而言是完全透明的，webscoket 只是一个传输协议，用户对此不需要有任何关注，一切都自动进行，包括连接，握手升级，帧切割，帧

2024年04月13日
浏览(39)
react中使用路由起手式,一些思路和细节。

我们选择使用react-router实现路由效果下载后需要对Route进行引入，是个内置的组件。该组件是有两个属性一个是path，一个是component，path是组件对应的路由，component是对应的组件 App 的最外侧包裹了一个 BrowserRouter 或 HashRouter 2. 导航的a标签改为Link标签 Link to=\\\"/xxx\\\"Demo.Link 3. 导航

2024年02月13日
浏览(32)
【手撕Spring源码】一些值得注意的Spring底层细节

FactoryBean是一个Factory对象,用于生成其他bean示例。当一个bean实现FactoryBean接口后,Spring容器调用其getObject方法返回该工厂所生成的bean,而不是该FactoryBean本身。但是工厂生成的产品对象只能说是一部分受到Spring容器的管理，我们来看看下面的例子：我们把一个Bean1通过工厂Bean的

2024年02月09日
浏览(46)
abpvnext后台工作者使用quartz扩展的一些思路和使用细节记录--（未完待续）

需求背景描述：我有一个温湿度数据采集的物联网系统，每个租户都需要定时执行若干种任务，不同的租户，他定时执行的间隔不一样，比如 A租户，数据保存间隔60秒，数据是否超限的轮询间隔是是600秒， B租户，数据保存间隔是300秒，数据是否超限的轮询间隔是18

2024年02月04日
浏览(47)
【QT】Qt Charts的实际使用中的一些小细节完善如：resetZoom、fitInView

在Qt中，使用 Qt Charts来创建和操作图表，重置图表缩放状态的功能可以通过调整图表视图的缩放比例来实现。Qt Charts中的 QChartView 提供了相关的方法来控制图表的缩放和平移。示例代码，以及如何对此功能进行扩展： chartView-resetTransform(); 是重置图表视图的缩放到默认状态。

2024年04月17日
浏览(38)
【HDFS】与单测编写相关的一些工具类及方法（大纲篇）持续更新

MiniDFSCluster 可以用这个类创建一个单进程的DFS集群用来进行单元测试。一般是采用MiniDFSCluster$Builder去建造出一个MiniDFSCluster对象。builder可以指定很多参数获取cluster里的某个DataNode对象【HDFS】单测中MiniDFSCluster获取某个DataNode对象 MiniRouterDFSCluster 用来模拟一个有多台Router的

2024年02月15日
浏览(34)