hadoop之hdfs生产数据块损坏修复方法

10月前作者：你好，我叫罗鹏程分类：Toy博客阅读(62) 违法举报

这篇具有很好参考价值的文章主要介绍了hadoop之hdfs生产数据块损坏修复方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、手动修复

检查数据块丢失情况

hdfs fsck /

修复指定路径的hdfs文件，尝试多次

hdfs debug recoverLease -path 文件位置 -retries 重复次数

删除所有损坏的块的数据文件

hdfs fsck / -delete

2、自动修复

hdfs会自动修复损坏的数据块，当数据块损坏后，

DN节点执行directoryscan(datanode进行内村和磁盘数据集块校验)操作之前，都不会发现损坏

directoryscan操作校验是间隔6h

dfs.datanode.directoryscan.interval:21600

在DN向NN进⾏blockreport前，都不会恢复数据块;也就是blockreport操作是间隔6h

dfs.blockreport.intervalMsec : 21600

最终当NN收到blockreport才会进⾏恢复操作

生产中倾向于使用手动修复的方法去修复损坏的数据块。文章来源地址https://www.toymoban.com/news/detail-409959.html

到了这里，关于hadoop之hdfs生产数据块损坏修复方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【HDFS】Hadoop-RPC：客户端侧通过Client.Connection#sendRpcRequest方法发送RPC序列化数据

org.apache.hadoop.ipc.Client.Connection#sendRpcRequest ：这个方法是客户端侧向服务端发送RPC请求的地方。调用点是Client#call方法过来的。此方法代码注释里描述了一个细节：这个向服务端发送RPC请求数据的过程并不是由Connection线程发送的，而是其他的线程（sendParamsExecutor这个线程池）

2024年02月09日
浏览(55)
大数据开发之Hadoop（HDFS）

1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、HDFS定义 H

2024年01月20日
浏览(57)
大数据技术之Hadoop（HDFS）

1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义

2024年02月04日
浏览(52)
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。 NameNode（主节点）：NameNode是Hadoop集群中的一个核心组件，它负责管理文件系统的命名空间和元数据。它记录了文件的目录结构、文件的块分配信息以及每个文件块所在的DataNode等关键信息。NameNo

2024年02月14日
浏览(53)
【opencv】示例-inpaint.cpp 图像修复是通过填充损坏图像部分从而修复这些损坏的过程...

原始图像这段代码展示了一个使用OpenCV库进行图像修复的例子。它首先包含了处理图像编码、解码、显示、处理和照片处理所必要的OpenCV模块的头文件。然后利用cv和std命名空间下的类和方法。通过定义一个鼠标回调函数onMouse来处理图像上的绘图操作，并通过主函数main处理

2024年04月25日
浏览(44)
HDFS 跨集群数据同步（hive,hadoop）

两个不同的HDFS 集群数据迁移( A集群的数据 - B 集群) 采用的是 SHELL 脚本按表进行; 日期分区进行; #!/bin/bash ##################### #创建人:DZH #创建日期: 2020-04 #内容：数据迁移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 获取执

2024年04月27日
浏览(58)
大数据技术之Hadoop（HDFS）——超详细

1.1 HDFS产出背景及定义 1）HDFS产生背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这

2024年02月03日
浏览(55)
0201hdfs集群部署-hadoop-大数据学习

下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟机的配置，在下面链接2有，或者自行查阅文档。hadoop安装包可到官网下载，当前相关软件环境如下：软件版本说明 hadoop 3.3.4 jar包 vmware 15.5 虚拟机 centos 7.6 服务器操作系统 xshell 6 远程连接 jdk 1.8

2024年02月11日
浏览(46)
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

视频地址：尚硅谷大数据Hadoop教程（Hadoop 3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】尚硅谷

2023年04月08日
浏览(97)
Hadoop HDFS：海量数据的存储解决方案

在大数据时代，数据的存储与处理成为了业界面临的一大挑战。Hadoop的分布式文件系统（Hadoop Distributed File System，简称HDFS）作为一个高可靠性、高扩展性的文件系统，提供了处理海量数据的有效解决方案。本文将深入探讨HDFS的设计原理、架构组成、核心功能以及实际应用场

2024年04月23日
浏览(42)