Hadoop学习-6-HDFS权限管理

这篇具有很好参考价值的文章主要介绍了Hadoop学习-6-HDFS权限管理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HDFS权限管理

  • 认证、授权、审计(/var/log/secure)
HDFS权限管理
  • 身份认证,数据访问权限认证

  • UGO模型:每个文件和目录都与一个owner、group关联

    • user:文件所有者
    • group:组内其他成员
    • other:其他用户组,最低权限
  • 读、写、执行权限

    • -/d(文件类型)rwx(owner权限)rwx(group权限)rwx(other权限)
    • hdfs中没有可执行文件的概念,对于目录有x权限,才能读取目录的子级
  • 权限掩码

    • fs.permissions.umask-mode
    • 新建文件及目录的默认权限,默认022
  • 修改权限

    # 权限变更
    hadoop fs -chmod [-R递归] 777 file_path 
    # ugoa, a指所有用户
    hadoop fs -chomd [-R] o+x,g-x file_path
    
    # 修改owner
    hadoop fs -chown [-R] user1 file_path
    hadoop fs -chown [-R] user1:group1 file_path
    
    # 修改用户组
    hadoop fs -chgrp [-R] group1 file_path
    
  • web页面修改权限

    • Sticky key粘滞位,只有文件所有者和root才能做删除或移动
  • hdfs用户身份认证

    • hdfs本身不存在身份认证功能
    • hadoop.secyrity.authentication
    • 简单认证
      • 依赖linux自身的用户认证系统
      • 在多用户、多租户的情况下,会导致认证权限混淆
    • kerberos认证
      • 通过秘钥加密技术为客户端应用程序提供强身份验证
      • 角色
        • client
        • server
        • kdc - 秘钥分发中心
          • kerberos凭证
          • as验证client身份
          • tgs获取权限
  • hdfs组映射

    • namenode需要通过用户组映射服务获取该用户所对应的用户组列表,用于用户组权限校验
    • 用户组服务
      • namenode自带,基于linux系统的用户和用户组,/etc/passwd /etc/group,两个文件关联组成用户组和用户的映射
      • 插件
HDFS ACL权限管理
  • 访问控制列表文章来源地址https://www.toymoban.com/news/detail-598345.html

    • 为特定的用户或组设置不同的权限,而不仅仅是文件的所有者和文件的组
    # 查看该文件的acl权限
    hadoop fs -getfacl [-R] path
    # 增加权限
    hadoop fs -setfacl [-R] -m user:username:rwx path
    # 删除权限
    hadoop fs -setfacl -x user:username path
    # 删除所有的acl条目
    hadoop fs -setfacl -b path
    # 设置默认acl权限
    hadoop fs -setfacl -m default:user:username:rwx 
    
    • dfs.namenode.acls.enabled=true(hdfs-site.xml)
HDFS Proxy user代理用户
  • 一个用户代表另一个用户提交作业或访问HDFS
    • 代码中创建
    • hdfs中配置
      • Hadoop.proxyuser.super(代理用户).hosts
      • hadoop.proxyuser.super(代理用户).groups

到了这里,关于Hadoop学习-6-HDFS权限管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 0201hdfs集群部署-hadoop-大数据学习

    下面我们配置下单namenode节点hadoop集群,使用vmware虚拟机环境搭建。vmware虚拟机的配置,在下面链接2有,或者自行查阅文档。hadoop安装包可到官网下载,当前相关软件环境如下: 软件 版本 说明 hadoop 3.3.4 jar包 vmware 15.5 虚拟机 centos 7.6 服务器操作系统 xshell 6 远程连接 jdk 1.8

    2024年02月11日
    浏览(34)
  • hadoop生态圈-- 个人笔记学习05 HDFS优化

    DFSClient和DN在一个节点 —— local reads,远程阅读 Remote reads。 处理方式是一样的 DN读数据 通过RPC(TCP协议)把数据给DFSClient。DN在中间会做中转,处理简单但是性能收影响 (Local read的情况下,会希望绕过DN直接读取Data,这就是 短路 DFSClient自行打开文件读取数据,需要配置白名

    2024年02月13日
    浏览(64)
  • Hadoop入门学习笔记——三、使用HDFS文件系统

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 3.1.1. HDFS文件系统基本信息 HDFS和Linux系统一样,均是以 / 作为根目录的组织形式; 如何区分HDFS和Linux文件系统: Linux文件系统以 file:// 作为

    2024年01月16日
    浏览(31)
  • 0202hdfs的shell操作-hadoop-大数据学习

    以下命令执行默认配置了hadoop的环境变量,且使用新命令。 一键启停脚本 独立进程启停 2.1 HDFS文件系统基本信息 HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。 HDFS同Linux系统一样,均是以/作为根目录的组织形式 如何区分

    2024年02月10日
    浏览(39)
  • hadoop(学习笔记) 4----怎么把文件放到hdfs上?

    怎么把文件放到hdfs上? 首先就是需要将hdfs相关程序启动起来----namenode和datanode namendoe-相当于目录,不进行文件信息的存储 datanode-真正数据存放的位置 但namenode的默认存放位置在tmp文件下,tmp又是临时文件,随时可能被系统清除,我们存放在hdfs上的数据并不安全,所以我们需要修改

    2024年02月04日
    浏览(29)
  • Hadoop3.0大数据处理学习2(HDFS)

    HDFS:Hadoop Distributed File System。Hadoop分布式存储系统 一种允许文件通过网络在多台主机上分享的文件系统,可以让多机器上的用户分享文件和存储空间。 两大特性:通透性、容错性 分布式文件管理系统的实现很多,HDFS只是其中一种,HDSF不适合存储小文件。GFS、TFS。 使用格式

    2024年02月08日
    浏览(40)
  • 【运维】hadoop 集群安装(三)hdfs、yarn集群配置、nodemanager健康管理讲解

    上篇简单说明了多节点的hadoop节点怎么安装,但是没有细致的分析hadoop相关配置,具体怎么根据环境进行配置,接下来我们对这些配置进行讲解 Daemon Environment Variable NameNode HDFS_NAMENODE_OPTS DataNode HDFS_DATANODE_OPTS Secondary NameNode HDFS_SECONDARYNAMENODE_OPTS ResourceManager YARN_RESOURCEMANAGER_OP

    2024年02月10日
    浏览(34)
  • Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 下载Hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署结构如下图所示: 本次部署服务清单如下表所示

    2024年02月01日
    浏览(32)
  • 从零开始的Hadoop学习(五)| HDFS概述、shell操作、API操作

    1.1 HDFS 产出背景及定义 1) HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切 需要一种系统来管理多台机器上的文件 ,这就是分布式文件管理系统。 HDFS只是分布式文件管理系统

    2024年02月10日
    浏览(31)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包