hadoop无法退出安全模式

这篇具有很好参考价值的文章主要介绍了hadoop无法退出安全模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hadoop无法退出安全模式,报"name node is in safe mode"错误提示。

集群安全模式

hadoop无法退出安全模式

集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。

基本语法:

(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)

(2)bin/hdfs dfsadmin -safemode enter   (功能描述:进入安全模式状态)

(3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)

(4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)

原因分析

一、查看是否是数据损坏导致的

非正常关闭hadoop集群,如直接关闭虚拟机,导致hdfs中有些块丢失了或者损坏。这时hadoop就会进入安全模式。

发生这种情况:要先手动退出安全模式,再处理坏的数据块。

1、退出安全模式:

第一种:正常退出安全模式

hdfs dfsadmin -safemode leave

如提示Safe mode is OFF,那就说明退出成功,但有时候这个命令也没办法退出安全模式,就需要使用强制退出。

第二种:强制退出安全模式

hdfs dfsadmin -safemode forceExit

2、处理坏的数据块:

方法一、直接删除坏的数据块

方法二、修复坏的数据块

① 检测路径下是否有坏块:

bin/hdfs fsck /

② 删除路径下的坏块:

bin/hdfs fsck / -delete

③ 修复坏块:

hdfs debug recoverLease -path / -retries 5

###retries 为重试次数

########Corrupt blocks表示坏掉的块

④ 坏的数据块:

/vul/file/old/9/file: MISSING 1 blocks of total size 10315 B.Status: CORRUPT

Total size: 596245766 B

Total dirs: 570

Total files: 758

Total symlinks: 0

Total blocks (validated): 660 (avg. block size 903402 B)

UNDER MIN REPL’D BLOCKS: 660 (100.0 %)

dfs.namenode.replication.min: 1

CORRUPT FILES: 660

MISSING BLOCKS: 660

MISSING SIZE: 596245766 B

CORRUPT BLOCKS: 660

Minimally replicated blocks: 0 (0.0 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 2

Average block replication: 0.0

Corrupt blocks: 660

Missing replicas: 0

Number of data-nodes: 1

Number of racks: 1

FSCK ended at Tue Dec 31 10:02:48 CST 2019 in 2844 milliseconds

The filesystem under path ‘/’ is CORRUPT

———————————————————

二、查看集群空间的使用情况

用 df -h命令查看集群空间的使用情况
df -h

hadoop无法退出安全模式

发现:磁盘被占用100%,空间被占用。

当硬盘使用超过90%时,namenode就会进入安全模式,强制退出也不行。
发生这种情况

1、检查并杀死无用进程释放资源

① 在 /opt 目录下执行 lsof |grep delete 查看对应的进程号,使用 kill -9 进程号,杀掉对应进程即可;

② ps -a (或使用top命令)查看所有进程,使用 kill -9 进程号,杀掉无用进程。

2、删除硬盘中的某些文件,释放空间

3、对硬盘进行扩容文章来源地址https://www.toymoban.com/news/detail-450664.html

到了这里,关于hadoop无法退出安全模式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializi】HBase单机模式意外退出导致后续创建崩溃的解决方法

    ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 错误原因:按照林子雨的大数据教程搭建好Hbase环境后,我使用创建表和添加一些属性的命令,一开始非常正常,但是当我输入一个中文的时候,通过get命令显示的时候出现的十六进制编码,本质上是对的,但是我更加

    2024年02月08日
    浏览(44)
  • hadoop&Hive安全模式

    Hive介绍 Hive是基于 Hadoop 的一个 数据仓库 工具,用于做OLAP 分析数据。Hive的数据存储在hadoop的hdfs中。 hive 提供了内置的derby存储元数据,不需要单独配置metastore 也不需要单独启动metastore服务,但一般适合单机。但是开发中一般使用远程模式,将元数据存储在外置的RDBMS中。这

    2024年02月05日
    浏览(39)
  • Hadoop集群安全模式&磁盘修复

    目录 1)安全模式 2)进入安全模式场景 3)退出安全模式条件 4)基本语法 5)案例1:启动集群进入安全模式 6)案例2:磁盘修复 7)案例3:模拟等待安全模式 1 )安全模式 文件系统只接受读数据请求,而不接受删除、修改等变更请求 2 )进入安全模式场景 NameNode在加载镜像

    2024年01月22日
    浏览(43)
  • 10 Hadoop的安全模式及权限介绍

    1、HDFS工作流程 启动NameNode,NameNode加载fsimage到内存,对内存数据执行edits log日志中的事务操作。 文件系统元数据内存镜像加载完毕,进行fsimage和edits log日志的合并,并创建新的fsimage文件和一个空的edits log日志文件。 NameNode等待DataNode上传block列表信息,直到副本数满足最小

    2024年01月22日
    浏览(30)
  • win11无法进入安全模式的3种修复方法

    win11安全模式是什么?有什么作用?它是win11系统中的一个工具,可以帮助你识别计算机问题。它允许用户以一种简化的方式启动他们的PC来启动你的计算机,禁用一些程序和驱动程序,并且本质上为那些希望找出他们的计算机出了什么问题的人提供了更好的体验。 如何修复

    2024年02月05日
    浏览(64)
  • Keil5进入仿真后卡死无法退出

    1、进行硬件仿真时存在一个问题: 退出调试模式时,有可能会卡死! 此时需要在任务管理器中结束掉进程才能强制关闭keil工程。 根据在网上和各位大佬的学习: 发现了卡死的条件:在中文路径下,退出调试时,只要工程有断点,必定卡死,如果退出调试时清除所有断点,即

    2024年02月12日
    浏览(38)
  • mac 移动硬盘未正常退出,再次链接无法读取(显示)

    (1)首先插入自己的硬盘,然后找到mac的磁盘工具 (2)打开磁盘工具,发现自己的磁盘分区在卸载状态;点击无法成功装载。 (3)打开终端,输入 查看自己宗卷名字 假如这一步不起作用,就是确认一下磁盘是不是能被识别到。 (4)删除以前的挂载线程 输入: 回车 输入

    2024年02月15日
    浏览(77)
  • IDEA使用Terminal时,Esc无法退出insert mode

    工作中,使用 git 命令操作时,个人习惯使用 Terminal 控制台。由于前段时间使用的 2020 版本的 idea 突然不能使用了。便下载使用了 2021.2 版本。今天使用 git commit --amend 命令时,在 insert mode 修改完信息之后,Esc 按钮不能退出 insert mode 了。按 Esc 按钮,整个 Terminal 控制台直接隐

    2024年02月11日
    浏览(66)
  • 全局钩子的安全退出

    最近在写一个鼠标检测工具,需要记录鼠标的按键、滚轮和回报率等信息。 使用鼠标全局钩子,捕获鼠标的信息。 1、创建线程; 2、在线程中,注册全局鼠标钩子; 3、鼠标消息捕获; 4、注销全局钩子; 5、退出线程。 1、获取线程id m_threadID = GetCurrentThreadId(); 2、注册钩子

    2024年02月05日
    浏览(36)
  • 【解决】Linux 桌面 无法打开终端 一打就关 闪退 总是退出终端 自定义命令

    原本只是想要每次打开终端,默认是 zsh ,方便使用 oh-my-zsh。但谁能料到这个配置有个史前大坑! 顶部菜单栏的 终端 首选项配置: 未命名 命令 运行自定义命令 命令退出时:退出终端。 只要这条命令出错,或者执行完毕,就会结束退出了 (太痛了!) 然后网上搜半天, 系统

    2024年02月09日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包