数据治理(十五):Ranger管理Hive安全

这篇具有很好参考价值的文章主要介绍了数据治理(十五):Ranger管理Hive安全。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

数据治理(十五):Ranger管理Hive安全

文章目录 

Ranger管理Hive安全

一、配置HiveServer2

1)在Hive服务端配置hive-site.xml

2)在每台Hadoop 节点配置core-site.xml,记得发送到所有节点

3)重启HDFS ,Hive ,在Hive服务端启动Metastore 和 HiveServer2服务

4)在客户端通过beeline连接Hive

二、安装Ranger-hive-plugin

1)远程发送编译好的“hive-plugin”到node1节点“/software”目录下,并解压

2)配置“install.properties”文件

3)执行“enable-hive-plugin.sh”脚本启动hive插件

三、配置Ranger连接Hive服务

1)启动HDFS,启动Hive、Hive MeateStore、Hive Server2

2)在Ranger页面中配置Hive

3)连接测试是否可以jdbc方式连接上Hive

四、Ranger对Hive用户进行权限管理


Ranger管理Hive安全

一、配置HiveServer2

访问Hive有两种方式:HiveServer2和Hive Client,Hive Client需要Hive和Hadoop的jar包,配置环境。HiveServer2使得连接Hive的Client从Yarn和HDFS集群中独立出来,不需要每个节点都配置Hive和Hadoop的jar包和一系列环境。

Ranger管理Hive权限只能针对HiveServer2 jdbc方式连接,所以这里需要配置HiveServer2。

配置HiveServer2步骤如下:

1)在Hive服务端配置hive-site.xml

#在Hive 服务端 $HIVE_HOME/conf/hive-site.xml中配置:
<!-- 配置hiveserver2 -->
<property>
	 <name>hive.server2.thrift.port</name>
	 <value>10000</value>
</property>
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>192.168.179.4</value>
</property>
<!-- 配置hiveserver2使用的zookeeper -->
<property>
	<name>hive.zookeeper.quorum</name>
	<value> node3:2181,node4:2181,node5:2181</value>
</property> 

注意:“hive.zookeeper.quorum”搭建hiveserver2HA使用配置项,可以不配置,如果不配置启动hiveServer2时一直连接本地zookeeper,导致大量错误日志(/tmp/root/hive.log),从而导致通过beeline连接当前node1节点的hiveserver2时不稳定,会有连接不上错误信息。

2)在每台Hadoop 节点配置core-site.xml,记得发送到所有节点

<!-- 配置代理访问用户,如果不配置下列信息 hive的jdbc连接会报错 -->
<property>     
	<name>hadoop.proxyuser.root.hosts</name>     
	<value>*</value>
 </property> 
<property>     
	<name>hadoop.proxyuser.root.groups</name>    
    <value>*</value> 
</property>

3)重启HDFS ,Hive ,在Hive服务端启动Metastore 和 HiveServer2服务

[root@node1 conf]# hive --service metastore &
[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &

4)在客户端通过beeline连接Hive

[root@node3 test]# beeline
beeline> !connect jdbc:hive2://node1:10000 root
Enter password for jdbc:hive2://node1:10000: **** #可以输入任意密码,没有验证
0: jdbc:hive2://node1:10000> show tables;

数据治理(十五):Ranger管理Hive安全

二、安装Ranger-hive-plugin

我们可以使用Ranger对Hive数据安全进行管理,这里需要安装Hive插件“ranger-2.1.0-hive-plugin”,此插件只能对jdbc方式连接Hive的请求进行权限管理,不能对hive-cli客户端方式进行权限管理(一般安装Hive的节点才能使用Hive客户端访问)。步骤如下:

1)远程发送编译好的“hive-plugin”到node1节点“/software”目录下,并解压

远程发送“/software/apache-ranger-2.1.0/target/”下的“ranger-2.1.0-hive-plugin.tar.gz”到node1节点“/software”下:

[root@node3 /]# scp /software/apache-ranger-2.1.0/target/ranger-2.1.0-hive-plugin.tar.gz node1:/software/
#在node1节点操作
[root@node1 ~]# cd /software/
[root@node1 software]# tar -zxvf ./ranger-2.1.0-hive-plugin.tar.gz

2)配置“install.properties”文件

进入到“/software/ranger-2.1.0-hive-plugin”目录中,修改“install.properties”文件:

[root@node1 ranger-2.1.0-hive-plugin]# vim install.properties
#配置Ranger-Admin访问地址
POLICY_MGR_URL=http://node1:6080
#配置Hive 仓库名称,可以自定义,需要后期在Ranger中使用
REPOSITORY_NAME=hive_repo
#配置Hive的安装目录
COMPONENT_INSTALL_DIR_NAME=/software/hive-3.1.2/
#配置使用插件的用户和用户组
CUSTOM_USER=root
CUSTOM_GROUP=root

3)执行“enable-hive-plugin.sh”脚本启动hive插件

进入到“/software/ranger-2.1.0-hive-plugin”目录下,执行如下命令,启用插件:

[root@node1 ~]# cd /software/ranger-2.1.0-hive-plugin
[root@node1 ranger-2.1.0-hive-plugin]# enable-hive-plugin.sh

三、配置Ranger连接Hive服务

安装好以上Hive-Plugin之后,重新启动HDFS,启动Hive,HiveMetastore、HiveServer2等。如果想要对连接Hive的用户进行表、列权限管理,需要在Ranger中添加对应的Hive服务,才可以使用Ranger通过这个服务配置每个用户对Hive库、表、列权限管理。配置如下:

1)启动HDFS,启动Hive、Hive MeateStore、Hive Server2

#启动HDFS,在node1节点上启动Hive metastore
[root@node1 conf]# start-all.sh
[root@node1 conf]# hive --service metastore &
[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &

2)在Ranger页面中配置Hive

数据治理(十五):Ranger管理Hive安全

数据治理(十五):Ranger管理Hive安全

注意,以上参数解释如下: 

  • “Service Name”填写当前Hive 服务名称,与Hive插件中"install.properties"文件配置参数"REPOSITORY_NAME"保持一致。
  • 配置的“user”和“password”也是与"install.properties"文件中配置的“CUSTOM_USER=root”、“CUSTOM_GROUP=root”保持一致。
  • “jdbc.url”填写“jdbc:hive2://node1:10000”即可,这里连接node1。

添加完成之后:

数据治理(十五):Ranger管理Hive安全

3)连接测试是否可以jdbc方式连接上Hive

数据治理(十五):Ranger管理Hive安全

注意:这里连接时,单机测试连接时需要等待一段时间,才能正常连接。

四、​​​​​​​Ranger对Hive用户进行权限管理

查看Ranger中配置好的Hive权限管理服务:

数据治理(十五):Ranger管理Hive安全

修改上图中只有root用户对所以库、表、列具有操作权限,修改后如下: 

数据治理(十五):Ranger管理Hive安全

在node3中登录beeline连接node1 hive:

#node3 通过beeline连接Hive
[root@node3 ~]# beeline
#连接HiveServer2 jdbc连接
beeline> !connect jdbc:hive2://node1:10000
#这里用户名目前可以随意输入,在Hive中没有校验,这里可以通过Hive配置有哪些用
#户可以连接Hive,然后通过Ranger再管理这些用户的细粒度访问权限。从上图中可以
#看到目前只有root用户可以访问表数据,可以使用非root用户测试,这里使用
#“diaochan”用户:
Enter username for jdbc:hive2://node1:10000: diaochan
#由于Hive中没有检验密码,所以这里可以随意输入任意密码
Enter password for jdbc:hive2://node1:10000: ****
#查询库下的表,没有权限。
0: jdbc:hive2://node1:10000> show tables
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [daochan] does not have [USE] privilege on [de
fault] (state=42000,code=40000)

#重新使用root用户登录beeline,查询对应的表,有权限
[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: *** #密码随意
0: jdbc:hive2://node1:10000> show tables;

数据治理(十五):Ranger管理Hive安全

下面在Hive中创建两张表进行权限管理:

#在Hive中创建两张表
create table student (id int,name string,age int) row format delimited fields terminated by '\t';
create table score (id int,name string,score int) row format delimited fields terminated by '\t';

上传数据附件,将以上文件上传到node3“/software/test”下

数据治理(十五):Ranger管理Hive安全

1	zhangsan	18
2	lisi	19
3	wangwu	20
4	maliu	21
5	tianqi	22
6	zhaoba	23

数据治理(十五):Ranger管理Hive安全

1	zhangsan	100
2	lisi	200
3	wangwu	300
4	maliu	400
5	tianqi	500
6	zhaoba	600
#加载数据:
hive> load data local inpath '/root/test/students.txt' into table student;
hive> load data local inpath '/root/test/scores.txt' into table score;

 权限需求:对用户“user1”配置以上两张表的访问和修改权限,对用户“user2”配置对两张表只有访问权限。

配置步骤如下:

1)在node1节点创建两个用户,密码为对应用户名称

#创建两个用户user1,和user2
[root@node1 ~]# useradd user1
[root@node1 ~]# passwd user1

[root@node1 ~]# useradd user2
[root@node1 ~]# passwd user2

2)在Ranger页面,打开“hive_repo”服务,配置如下:

配置“Student”表权限:

数据治理(十五):Ranger管理Hive安全

 数据治理(十五):Ranger管理Hive安全

 数据治理(十五):Ranger管理Hive安全

数据治理(十五):Ranger管理Hive安全

最终配置好如下:

数据治理(十五):Ranger管理Hive安全

3)登录Hive Beeline测试:

向HDFS中插入数据时,user1,user2用户需要操作HDFS和Yarn,所以这里将HDFS中Hive对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”,将Yarn使用目录“tmp”路径权限改成“777”

[root@node5 bin]# hdfs dfs -chmod -R 777 /user
[root@node5 bin]# hdfs dfs -chmod -R 777 /tmp

 测试登录user1,对“student”、“score”表有操作和修改权限,如下:

[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
0: jdbc:hive2://node1:10000> select * from student;

数据治理(十五):Ranger管理Hive安全

0: jdbc:hive2://node1:10000> select * from score;

数据治理(十五):Ranger管理Hive安全

#向表student、score中插入数据,也能通过。
0: jdbc:hive2://node1:10000> insert into student values (7,"aa",24);
0: jdbc:hive2://node1:10000> insert into score values (7,"bb",700);

测试登录user2,对“student”、“score”表有操作和修改权限,如下:

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user2
Enter password for jdbc:hive2://node1:10000: *** #密码随便输入
0: jdbc:hive2://node1:10000> select * from student;

数据治理(十五):Ranger管理Hive安全

0: jdbc:hive2://node1:10000> select * from score;

数据治理(十五):Ranger管理Hive安全

#测试向“student”和“score”中插入数据,没有对应权限:
0: jdbc:hive2://node1:10000> insert into table student values (8,"cc",25);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/student] (state=42000,code=40000)

0: jdbc:hive2://node1:10000> insert into table score values (8,"dd",800);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/score] (state=42000,code=40000)

 权限需求:对用户“user3”配置对“student”表中“id、name”两列有查询权限,其他列没有查询权限。

配置步骤如下:

1)在node1节点中添加用户“user3”

#创建两个用户user3
[root@node1 ~]# useradd user3
[root@node1 ~]# passwd user3

2)给用户“user3”配置表“student”的访问权限

数据治理(十五):Ranger管理Hive安全

3)测试

#user3登录beeline
[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user3
#访问表“student”数据,“age”列无法查询,select * 查询不允许
0: jdbc:hive2://node1:10000> select id ,name from student;

数据治理(十五):Ranger管理Hive安全

权限需求:对用户“user1”访问表“student”时,“age”列进行空值输出,进行脱敏。

配置步骤如下:

1)给用户“user1”配置表“student”的“Masking”访问权限

数据治理(十五):Ranger管理Hive安全

 数据治理(十五):Ranger管理Hive安全

数据治理(十五):Ranger管理Hive安全

2)登录Hive Beeline测试

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user1
0: jdbc:hive2://node1:10000> select * from student;

 数据治理(十五):Ranger管理Hive安全

权限需求:对用户“user2”访问表“student”时,“age”列只能插叙小于等于20的行数据。

配置步骤如下:

1)给用户“user1”配置表“student”的“Masking”访问权限

 数据治理(十五):Ranger管理Hive安全

数据治理(十五):Ranger管理Hive安全

数据治理(十五):Ranger管理Hive安全

2)登录Hive Beeline测试

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user2
#查询只有3行满足条件的数据
0: jdbc:hive2://node1:10000> select * from student;

数据治理(十五):Ranger管理Hive安全文章来源地址https://www.toymoban.com/news/detail-477583.html


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨ 

到了这里,关于数据治理(十五):Ranger管理Hive安全的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【sentry 到 ranger 系列】一、Sentry 的 Hive 鉴权插件

      在本系列的第一篇文章里【sentry 到 ranger 系列】sentry 的开篇 ,已经对 Sentry 所处的一个整体的位置有了了解,如下图所示   接下来,从 Hive 的鉴权开始看一下 Sentry 究竟怎么实现的权限管理和提供的鉴权能力。   在了解权限的接管细节前,可以先了解下 Hive 的权限

    2024年01月16日
    浏览(34)
  • Flink Direct Reader访问Hive ACID表被ranger授权限制

    如果你正在使用 Flink 的 Direct Reader 来访问 Hive ACID 表,并且受到 Ranger 授权限制,无法读取表的数据,可能是因为 Direct Reader 不经过 Hive 的 Thrift 接口,而是直接读取 Hive 表的数据文件,绕过了 Ranger 的授权验证。 在启用 Ranger 鉴权的情况下,Ranger 通常会拦截对 Hive 表的访问请

    2024年02月17日
    浏览(41)
  • 提高数据的安全性和可控性,数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路

    在企业级应用中,数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一,必须确保数据只能被授权的人员访问,避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性,数栈基于 Apache Ranger 实现了 Spark SQL 对数

    2024年02月05日
    浏览(59)
  • 数据治理管理平台——数据资产管理

    数据治理 中的资产管理是一切治理活动的起点,在数据治理活动中,占据首要地位,只有将数据真正地资产化,才能有序进行后续的深入挖掘与研究。 数据资产管理作为数据治理的重要组成部分,有效地将数据规范管理和数据处理进行能力整合,实现对具体数据的元数据描

    2024年02月15日
    浏览(44)
  • 【大数据之Hive】二十五、HQL语法优化之小文件合并

      小文件优化可以从两个方面解决,在Map端输入的小文件合并,在Reduce端输出的小文件合并。   合并Map端输入的小文件是指将多个小文件分到同一个切片中,由一个Map Task处理,防止单个小文件启动一个Map Task,造成资源浪费。 相关参数:   合并Reduce端输出的小文件是

    2024年02月13日
    浏览(37)
  • 【CKA考试笔记】十五、安全管理:验证与授权

    完成初始化集群的环境: (vms21)192.168.26.21——master1 (vms22)192.168.26.22——worker1 (vms23)192.168.26.23——worker2 安装了k8s客户端工具的主机: (vms41)192.168.26.41——client 当我们登录master上时,似乎不需要任何验证就可以进行管理操作,这是因为我们使用root用户登录master上并

    2024年02月16日
    浏览(40)
  • 信息安全-数据安全-字节大数据平台安全与权限治理实践

    导读: 本次分享题目为字节跳动大数据平台安全与权限治理实践,文章会围绕下面四点展开: 字节大数据安全体系现状和难点 细粒度权限管控和治理 资产保护能力 数据删除能力 分享嘉宾|许从余 火山引擎 数据平台产品经理 编辑整理|杨佳慧 出品社区|DataFun 第一部分首

    2024年02月09日
    浏览(44)
  • 网络安全合规-数据安全治理体系建设

    一、数据安全治理体系建设思路: 一级文档。由决策层认可、面向组织的数据安全方针,通常应包括组织数据安全工作的总体目标、基本原则、数据安全决策机构设置与职责划分等。 二级文档。根据数据安全方针的要求,对组织数据安全工作各关键领域的管理要求做出具体

    2024年02月01日
    浏览(50)
  • 工业数据安全治理探索

    本文提出一套集管理、技术、运营为一体的工业数据安全治理参考框架,治理框架如图1所示。在法律法规、国家标准、行业标准的框架下,融合DSMM成熟度模型理论,围绕数据采集、传输、存储、处理、交换以及销毁等各个阶段的全生命周期,分别从数据安全管理能力、技术

    2024年02月04日
    浏览(70)
  • 银行数据治理:数据质量管理实践

    现代商业银行日常经营活动中积累了大量数据,这些数据除了支持银行前台业务流程运转之外,越来越多地被用于决策支持领域,风险控制、产品定价、绩效考核等管理决策过程也都需要大量高质量数据支持。银行日常经营决策过程的背后,实质是数据的生产、传递和利用过

    2024年02月09日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包