Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法

这篇具有很好参考价值的文章主要介绍了Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

安全模式相关命令

# 查看安全模式状态
hdfs dfsadmin -safemode get

# 进入安全模式
hdfs dfsadmin -safemode enter

# 离开安全模式
hdfs dfsadmin -safemode leave

# 强制退出安全模式
hdfs dfsadmin -safemode forceExit

# 等待安全模式
hdfs dfsadmin -safemode wait

等待安全模式,通常情况下在脚本中使用,当集群退出安全模式后,立马执行相关操作。

分析集群为什么一直处于安全模式

集群启动后,发现一直处于安全模式中,进入 WEB 界面查看,还有一大段提示,如下:

Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法,hadoop,安全,大数据,分布式

系统报告称,共有 6288 个数据块,还需要额外的 16 个数据块才能达到总共 6311 个数据块的阈值 0.999

通俗来说就是,当前系统中元数据与记录数据块前后不一致,而 Hadoop 默认要求最大的误差阀值为 0.001,如果超过这个值,就会导致 Hadoop 一直处于安全模式。

Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法,hadoop,安全,大数据,分布式

也就是说,我们其实已经实际删除了某些数据块,但是记录的元数据因为一些故障导致没有进行同步,就会出现这种情况。

解决方法

首先强制退出安全模式:

hdfs dfsadmin -safemode forceExit

接着,我们进入 WEB 管理界面,刷新一下。

Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法,hadoop,安全,大数据,分布式

此时,我们就会发现那些数据块丢失的文件,将这些文件按照路径在 HDFS 中全部删除即可。

如果你想要对文件进行恢复,那么则需要请教相关专业人士,使用磁盘修复工具进行处理。

删除完成后,我们重启集群,进入 WEB 界面查看是否正常:

Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法,hadoop,安全,大数据,分布式


如果删除过程中遇到报错,如下所示:

Permission denied: user=master, access=WRITE, inode=“/benchmarks/TestDFSIO”:root:supergroup:drwxr-xr-x

权限不足,无法进行写操作。

我们需要先使用 root 账号对操作目录授权,或者直接关闭 HDFS 权限验证。

方法一

# 使用 `root` 账号对操作目录授权
hdfs dfs -chmod -R 777 /benchmarks/TestDFSIO

方法二

不建议,会影响集群安全。

# 直接关闭 HDFS 权限验证,在 hdfs-site.xml 文件中添加如下配置:
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

添加完成后,分发同步该文件,重启集群后生效。文章来源地址https://www.toymoban.com/news/detail-680910.html

到了这里,关于Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Hadoop集群安全模式&磁盘修复

    Hadoop集群安全模式&磁盘修复

    目录 1)安全模式 2)进入安全模式场景 3)退出安全模式条件 4)基本语法 5)案例1:启动集群进入安全模式 6)案例2:磁盘修复 7)案例3:模拟等待安全模式 1 )安全模式 文件系统只接受读数据请求,而不接受删除、修改等变更请求 2 )进入安全模式场景 NameNode在加载镜像

    2024年01月22日
    浏览(6)
  • 打开Postman一直处于加载中

    打开Postman一直处于加载中

    电脑突然关机,或者没有保存就关闭Postman的情况下,在下次打开Postman的时候,会一直处于加载中界面。 通过  Ctrl+Shift+ESC  键进入任务管理器,关掉Postman的进程,然后重新打开即可。(自己遇到两次这种情况,都是这种方式解决的)

    2024年03月14日
    浏览(9)
  • k8s强制删除处于Terminating状态的namespace

    k8s强制删除处于Terminating状态的namespace

    一、问题背景         按照kubord官方文档安装删除Kuboard之后,再重新执行kubectl apply时,出现Error from server (Forbidden): error when creating \\\"https://addons.kuboard.cn/kuboard/kuboard-v3-swr.yaml\\\": configmaps \\\"kuboard-v3-config\\\" is forbidden: unable to create new content in namespace kuboard because it is being terminated报错

    2024年02月05日
    浏览(14)
  • Pod一直处于CrashLoopBackOff状态的排查思路

    Pod一直处于CrashLoopBackOff状态的排查思路

    一台宿主机上启动的Pod一直重启,describe报错信息如下 Pod sandbox changed, it will be killed and re-created. Pod处于CrashLoopBackOff状态,第一想到的是Liveness probe failed或者OOM-kill; 测试Pod没有配置存活探测,查看对应机器也没有OOM-kill相关内核日志; 怀疑是否dockerd进程资源比较紧张,比如

    2024年02月12日
    浏览(11)
  • docker 启动MySQL一直处于restarting状态

    docker 启动MySQL失败,我通过 docker logs -f mysql 命令查看 日志发现以下错误 该日志大概意思就是说没找到 /etc/mysql/conf.d 这个文件夹。原因其实是官方的配置文件已经不放在/etc/mysql底下了,这底下就两个空文件夹。 1.先创建一个简单的mysql容器实例 2.复制里面的/etc/mysql文件夹

    2024年02月10日
    浏览(10)
  • 如何解决Pod一直处于Pending状态的问题

    如何解决Pod一直处于Pending状态的问题

    在Kubernetes集群中,当我们创建一个新的Pod或更新一个Pod时,可能会遇到Pod一直处于Pending状态的问题。本文将介绍解决这个问题的几种方法。 检查Node节点的状态 Pod在Kubernetes中必须运行在Node节点上。因此,如果没有可用的Node节点或者Node节点不可用,Pod就会被挂起。可以使用

    2024年02月06日
    浏览(11)
  • Junit4 一直处于运行中的排查过程

    新买了一个Macbook Pro . 之前的工程搬家过来, 这天要跑个单元测试。 发现Junit4 一直处于运行中。没有错误信息,没有用例执行结果。遂开始排查原因。 这里插一句,苹果芯片的Mbp还是很好用的,除了性能够用之外,最主要是安静+不热。 这对比我之前的i7版本的真是太明显了

    2024年02月11日
    浏览(12)
  • uniapp 之 小程序线上版本一直处于加载状态

    uniapp 之 小程序线上版本一直处于加载状态

    最开始小程序都是体验版的,后来应老大需求,把体验版提交审核为正式版本(线上版本), 原本以为版本审核得花费几天时间,没想到它这审核速度挺快的,不到3小时就审核通过了,审核通过后还要点击 提交发布  才能转为线上版本。 转为线上版本后就可以直接在搜索小

    2024年02月09日
    浏览(7)
  • k8s的namespace一直处于terminating的解法

    先试了强制替换,无法替换掉,强制删除,也删除不掉namespace 这段代码的含义是在 Kubernetes 环境中删除一个命名空间(Namespace)及其关联的资源,包括在命名空间中运行的所有容器、服务、持久卷等。让我们逐行解释代码的作用: NAMESPACE=demo 这一行指定了要删除的命名空间

    2024年02月15日
    浏览(7)
  • 文件一直处于修改状态 git checkout 无法还原的问题解决方法

    文件一直处于修改状态 git checkout 无法还原的问题解决方法

    最近在 RT-Thread 时,使用 Git 回退版本验证问题,后来 git pull 拉取最新代码后,发现里面有几个文件,一直为【修改】状态,并且无法还原, git checkout xxx git reset --hard 都用了,依旧无法还原文件,也就是几个文件一直处于【修改】状态 通过 file xxx 查看,这些文件是以回车换

    2024年02月16日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包