HDFS中namenode安全模式

9月前作者：fiveym 分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了HDFS中namenode安全模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

安全模式的现象探究

step1

HDFS集群在停机状态下，使用hdfs -daemon命令逐个进程启动集群，观察现象
首先启动namenode

hdfs -daemon start namenode

只启动namenode发现集群可以查看目录结构但是无法新增目录

step2

打开HDFS集群web月面可以发现如下提示
提示说：已经汇报的数据块的比例没有达到阈值。阈值为总数量块的0.999

step3

启动第一天机器上的DataNode进程：hdfs -daemon start datanode，继续查看页面提示信息
HDFS中namenode安全模式,# hdfs,hdfs,安全,hadoop

step4

此时执行创建文件夹操作，发现可以创建成功了
可以发现在安全模式下，可以浏览文件系统目录层次结构，但是却无法创建文件夹，安全模式下的文件系统似乎处于一种刻度不可写的特殊状态

HDFS中namenode安全模式,# hdfs,hdfs,安全,hadoop

安全模式的概述

hadoop中的安全模式safe mode是namenode的维护状态，在此状态下namenode不允许对文件系统进行任何更改，可以接受读数据请求
在namenode启动过程中，首先会从fsimage和edits日志文件加载文件系统状态。然后，等待datanodes汇报可用的block信息。在此期间，namenode保持在安全模式。随着DataNode的block汇报持续进行，当整个系统达到安全标准时候，HDFS自动离开安全模式。在namenode web主页上会显示安全模式是打开还是关闭
如果hdfs处于安全模式下，不允许hdfs客户端进行任何修改文件的操作，包括上传文件，删除文件，重命名，创建文件夹，修改副本数等操作

控制进入时间和离开条件

安全模式自动进入离开

自动进入时间
- HDFS集群启动时，当namenode启动成功之后，此时集群就会自动进入安全模式
自动离开条件(hdfs-site.xml,hdfs-defaults.xml)

安全模式手动进入离开

手动获取安全模式状态信息

hdfs dfsadmin -safamode get

HDFS中namenode安全模式,# hdfs,hdfs,安全,hadoop

手动进入命令

hdfs dfsadmin -safamode enter

手动进入安全模式对于集群维护或者升级的时候非常有用，因为这个时候HDFS生的数据是只读的
HDFS中namenode安全模式,# hdfs,hdfs,安全,hadoop

手动离开命令

hdfs dfsadmin -safemode leave

HDFS中namenode安全模式,# hdfs,hdfs,安全,hadoop 文章来源地址https://www.toymoban.com/news/detail-617281.html

到了这里，关于HDFS中namenode安全模式的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

启动hdfs报错：Attempting to operate on hdfs namenode as root but there is no HDFS NAMENODE USER defined.

配置好了hadoop的文件一启动就发现报错这个问题呢，其实还是你的配置文件配错了，有两个配置文件的问题： core-site.xml文件 hadoop-env.sh 文件这两个文件都是在hadoop软件下的etc/下的配置文件其次可能还有就是你之前就配置过hadoop，并且还修改过环境变量的文件比如说/etc/p

2023年04月19日
浏览(62)
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库这oracle比sql安全，强大多了，所以你需要学

2024年02月17日
浏览(59)
启动HDFS时jps查看不到namenode

使用命令 start-dfs.sh启动集群，然后使用jps查看进程时发现没有namenode，SecondaryNameNode、和DataNode正常启动，其他集群的DataNode也是正常启动。然后去/export/server/hadoop-3.3.4/logs查找日志文件，发现日志中的错误信息为： : Failed to load FSImage file ,表示FSImage文件存在异常。关闭

2024年02月08日
浏览(49)
（十一）大数据实战——hadoop高可用之HDFS手动模式高可用

本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的切换到另外一台机器，

2024年02月14日
浏览(39)
HDFS写流程源码分析（二）-NameNode服务端

环境为hadoop 3.1.3 HDFS写流程源码分析（一）-客户端该方法用于创建一个文件。首先找到NameNode的rpc服务端，进入 NameNodeRpcServer.create() 。该方法创建了文件，并返回了 fileId 以及权限等文件相关信息使客户端创建输出流。这里我们着重看 FSNamesystem.startFile() 。不需要关注ecPo

2024年02月11日
浏览(39)
HDFS中的NAMENODE元数据管理（超详细）

在HDFS中，元数据主要值得是文件相关的元数据，有namenode管理维护。从广义的角度来说，因为namenode还需要管理众多的DataNode结点，因此DataNode的位置和健康状态信息也属于元数据在hdfs中，文件相关的元数据具有两种类型：文件自身属性信息文件名称、权限、修改时间，文件

2024年02月13日
浏览(58)
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）

目录前置一、上传解压（一）上传（二）解压二、修改配置文件（一）配置workers文件（二）配置hadoop-env.sh文件（三）配置core-site.xml文件（四）配置hdfs-site.xml文件三、分发到hp2、hp3, 并设置环境变量（一）准备数据目录（二）配置环境变量四、创建数据目录，并

2024年04月14日
浏览(56)
强制退出hdfs安全模式

情况: Hbase启动失败友人说是进入了安全模式,执行 hdfs dfsadmin -safemode leave命令,正常退出失败 == Safe mode ON 启动强制退出: hdfs dfsadmin -safemode forceExit == Safe mode OFF 扩展: safemode 后面可以接 enter 进入安全模式 get 获取安全模式的状态 leave 退出安全模式 forceExit 强制退出安全模式 w

2024年02月03日
浏览(42)
一百六十九、Hadoop——Hadoop退出NameNode安全模式与查看磁盘空间详情（踩坑，附截图）

在海豚跑定时跑kettle的从Kafka到HDFS的任务时，由于Linux服务器的某个文件磁盘空间满了，导致Hadoop的NodeName进入安全模式，此时光执行 hdfs dfsadmin -safemode leave命令语句没有效果（虽然显示Safe mode is OFF，但没效果，一旦执行还是报错） Caused by: org.apache.hadoop.ipc.RemoteException(org

2024年02月10日
浏览(42)
Hive无法建表遭遇 hdfs namenode state : standby 问题

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)

2023年04月09日
浏览(28)