Hadoop集群安全模式&磁盘修复

这篇具有很好参考价值的文章主要介绍了Hadoop集群安全模式&磁盘修复。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1)安全模式

2)进入安全模式场景

3)退出安全模式条件

4)基本语法

5)案例1:启动集群进入安全模式

6)案例2:磁盘修复

7)案例3:模拟等待安全模式


1)安全模式

文件系统只接受读数据请求,而不接受删除、修改等变更请求

2)进入安全模式场景

  • NameNode在加载镜像文件和编辑日志期间处于安全模式;
  • NameNode再接收DataNode注册时,处于安全模式

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

3)退出安全模式条件

dfs.namenode.safemode.min.datanodes:最小可用datanode数量,默认0

dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比,默认0.999f。(只允许丢一个块)

dfs.namenode.safemode.extension:稳定时间,默认值30000毫秒,即30秒

4)基本语法

集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。

hdfs dfsadmin -safemode get  (功能描述:查看安全模式状态)

hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)

hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)

hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)

5)案例1:启动集群进入安全模式

      (1)重新启动集群

myhadoop.sh stop

myhadoop.sh start

      (2)集群启动后,立即来到集群上删除数据,提示集群处于安全模式

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

6)案例2:磁盘修复

      需求:数据块损坏,进入安全模式,如何处理

      (1)分别进入hadoop102/103/104以下目录,统一删除某4个块信息

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1176991228-192.168.13.102-1677655156869/current/finalized/subdir0/subdir0
rm -rf blk_1073741834_1010.meta

rm -rf blk_1073741835_1011.meta

rm -rf blk_1073741984_1162.meta

rm -rf blk_1073741985_1163.meta

说明:hadoop103/hadoop104重复执行以上命令

      (2)重新启动集群

myhadoop.sh stop

myhadoop.sh start

      (3)观察http://hadoop102:9870/dfshealth.html#tab-overview

      说明:安全模式已经打开,块的数量没有达到要求。

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

      (4)离开安全模式

hdfs dfsadmin -safemode get


hdfs dfsadmin -safemode leave

      (5)观察http://hadoop102:9870/dfshealth.html#tab-overview

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

如果是磁盘损坏造成的影响,且数据比较重要,此时应将磁盘断电,进行维修

如果数据不重要,直接将上述受影响的文件删除即可

数据删除一项后,错误少了一项

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

 将相关文件全部删除后,系统恢复正常

7)案例3:模拟等待安全模式

需求:模拟等待安全模式

这个功能主要用于离开安全模式后自动做的一些操作

(1)查看当前模式

hdfs dfsadmin -safemode get

Safe mode is OFF

(2)先进入安全模式

hdfs dfsadmin -safemode enter

(3)创建并执行下面的脚本

在/opt/module/hadoop-3.1.3路径上,编辑一个脚本safemode.sh

#!/bin/bash

hdfs dfsadmin -safemode wait

hdfs dfs -put /opt/module/hadoop-3.1.3/README.txt /
​​​​​​​ chmod 777 safemode.sh
./safemode.sh

(4)再打开一个窗口,执行

hdfs dfsadmin -safemode leave

(5)再观察上一个窗口

Safe mode is OFF

(6)HDFS集群上已经有上传的数据了

hadoop集群数据盘坏处理步骤,大数据,hadoop,大数据,hdfs

 文章来源地址https://www.toymoban.com/news/detail-813962.html

到了这里,关于Hadoop集群安全模式&磁盘修复的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 2-1.Hadoop大数据集群搭建之---本地模式

    Hadoop运行模式主要包括三种:本地模式、伪分布式模式以及完全分布式模式。 1. 本地模式(Local/Standalone Mode) :在这种模式下,Hadoop作为一个独立的系统运行,不依赖于外部资源或网络连接。它可以在单个服务器上运行,数据通常存储在本地的HDFS(Hadoop Distributed FileSystem)

    2024年02月19日
    浏览(32)
  • Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)

    相关软件下载准备:(推荐) 虚拟机运行环境:VMware 16.1.1 映像文件:CentOS-7-x86_64-DVD-1810.iso 远程登录工具:Xshell-7.0.0090.exe Xftp传输工具:Xftp-7.0.0111p.exe 首先掌握VMware的下载与安装,有linux学习基础的同学可以略看。 参考链接:https://mp.weixin.qq.com/s/CUiauodcjCFPIXEFEx8fOw 【软件名

    2024年02月09日
    浏览(40)
  • 部署HDFS集群(完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包)

    目录 前置 一、上传解压 (一 )上传 (二)解压 二、修改配置文件 (一)配置workers文件 (二)配置hadoop-env.sh文件 (三)配置core-site.xml文件 (四)配置hdfs-site.xml文件 三、分发到hp2、hp3, 并设置环境变量 (一)准备数据目录    (二)配置环境变量 四、创建数据目录,并

    2024年04月14日
    浏览(47)
  • Hadoop集群部署(完全分布式模式、hadoop2.7.3+安装包)

    目录 一、上传、解压配置 (一)上传 (二)解压 (三)配置hadoop系统环境变量 1.配置hadoop环境变量 2.让环境变量生效 3.验证hadoop系统环境变量 二、修改配置文件  (一)前置介绍 (二)更改配置文件 1.配置Hadoop集群主机点 2.修改core-site.xml文件 3.修改hdfs-site.xml文件 4.修改

    2024年04月25日
    浏览(46)
  • HadoopHA模式(由于Hadoop的HA模式是在Hadoop完全分布式基础上,利用zookeeper等协调工具配置的高可用的Hadoop集群模式)

    目录 1.前期准备 1.1.hadoop-3.1.3.tar.gz,jdk-8u212-linux-x64.tar.gz,apache-zookeeper-3.5.7-bin.tar.gz三个包提取码:k5y6 2.解压安装包,配置环境变量 3. 将三个节点分别命名为master、slave1、slave2并做免密登录 免密在前面Hadoop完全分布式搭建说过,这里不再赘述 4.搭建zookeeper集群  根据配置的

    2024年02月04日
    浏览(32)
  • 虚拟机安装hadoop,hbase(单机伪集群模式)

    工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心,所以有些特定的业务需要引进能够处理大数据量的数据库,hadoop提

    2024年02月04日
    浏览(30)
  • Hadoop 集群小文件归档 HAR、小文件优化 Uber 模式

    小文件归档 HAR 小文件归档是指将大量小文件合并成较大的文件,从而减少存储开销、元数据管理的开销以及处理时的任务调度开销。 这里我们通过 Hadoop Archive (HAR) 来进行实现,它是一种归档格式,可以将多个小文件和目录归档成单个 HAR 文件。 在进行下面的操作前,请先启

    2024年02月10日
    浏览(26)
  • hadoop无法退出安全模式

    集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。 基本语法: (1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态) (2)bin/hdfs dfsadmin -safemode enter   (功能描述:进入安全模式状态) (3)bin/hdfs dfsadmin -safemode leave (功能

    2024年02月05日
    浏览(31)
  • hadoop&Hive安全模式

    Hive介绍 Hive是基于 Hadoop 的一个 数据仓库 工具,用于做OLAP 分析数据。Hive的数据存储在hadoop的hdfs中。 hive 提供了内置的derby存储元数据,不需要单独配置metastore 也不需要单独启动metastore服务,但一般适合单机。但是开发中一般使用远程模式,将元数据存储在外置的RDBMS中。这

    2024年02月05日
    浏览(33)
  • hadoop之hdfs生产数据块损坏修复方法

    1、手动修复 检查数据块丢失情况 hdfs fsck / 修复指定路径的hdfs文件,尝试多次 hdfs debug recoverLease -path 文件位置 -retries 重复次数 删除所有损坏的块的数据文件 hdfs fsck / -delete 2、自动修复 hdfs会自动修复损坏的数据块,当数据块损坏后, DN节点执行directoryscan(datanode进行内村和

    2023年04月11日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包