HDFS权限管理
- 认证、授权、审计(/var/log/secure)
HDFS权限管理
-
身份认证,数据访问权限认证
-
UGO模型:每个文件和目录都与一个owner、group关联
- user:文件所有者
- group:组内其他成员
- other:其他用户组,最低权限
-
读、写、执行权限
- -/d(文件类型)rwx(owner权限)rwx(group权限)rwx(other权限)
- hdfs中没有可执行文件的概念,对于目录有x权限,才能读取目录的子级
-
权限掩码
- fs.permissions.umask-mode
- 新建文件及目录的默认权限,默认022
-
修改权限
# 权限变更 hadoop fs -chmod [-R递归] 777 file_path # ugoa, a指所有用户 hadoop fs -chomd [-R] o+x,g-x file_path # 修改owner hadoop fs -chown [-R] user1 file_path hadoop fs -chown [-R] user1:group1 file_path # 修改用户组 hadoop fs -chgrp [-R] group1 file_path
-
web页面修改权限
- Sticky key粘滞位,只有文件所有者和root才能做删除或移动
-
hdfs用户身份认证
- hdfs本身不存在身份认证功能
- hadoop.secyrity.authentication
- 简单认证
- 依赖linux自身的用户认证系统
- 在多用户、多租户的情况下,会导致认证权限混淆
- kerberos认证
- 通过秘钥加密技术为客户端应用程序提供强身份验证
- 角色
- client
- server
- kdc - 秘钥分发中心
- kerberos凭证
- as验证client身份
- tgs获取权限
-
hdfs组映射文章来源:https://www.toymoban.com/news/detail-598345.html
- namenode需要通过用户组映射服务获取该用户所对应的用户组列表,用于用户组权限校验
- 用户组服务
- namenode自带,基于linux系统的用户和用户组,/etc/passwd /etc/group,两个文件关联组成用户组和用户的映射
- 插件
HDFS ACL权限管理
-
访问控制列表文章来源地址https://www.toymoban.com/news/detail-598345.html
- 为特定的用户或组设置不同的权限,而不仅仅是文件的所有者和文件的组
# 查看该文件的acl权限 hadoop fs -getfacl [-R] path # 增加权限 hadoop fs -setfacl [-R] -m user:username:rwx path # 删除权限 hadoop fs -setfacl -x user:username path # 删除所有的acl条目 hadoop fs -setfacl -b path # 设置默认acl权限 hadoop fs -setfacl -m default:user:username:rwx
- dfs.namenode.acls.enabled=true(hdfs-site.xml)
HDFS Proxy user代理用户
- 一个用户代表另一个用户提交作业或访问HDFS
- 代码中创建
- hdfs中配置
- Hadoop.proxyuser.super(代理用户).hosts
- hadoop.proxyuser.super(代理用户).groups
到了这里,关于Hadoop学习-6-HDFS权限管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!