Flink Direct Reader访问Hive ACID表被ranger授权限制

9月前作者：贾斯汀玛尔斯分类：Toy博客阅读(41) 违法举报

这篇具有很好参考价值的文章主要介绍了Flink Direct Reader访问Hive ACID表被ranger授权限制。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

如果你正在使用 Flink 的 Direct Reader 来访问 Hive ACID 表，并且受到 Ranger 授权限制，无法读取表的数据，可能是因为 Direct Reader 不经过 Hive 的 Thrift 接口，而是直接读取 Hive 表的数据文件，绕过了 Ranger 的授权验证。

在启用 Ranger 鉴权的情况下，Ranger 通常会拦截对 Hive 表的访问请求，根据预定义的策略进行权限验证。然而，Flink Direct Reader 绕过了 Hive Thrift 接口，直接读取数据文件，因此无法受到 Ranger 的授权限制。

能力	JDBC方式	Spark Direct Reader模式
Ranger 与细粒度访问控制的集成	✓	不适用
Hive ACID 读取	✓	✓
处理的工作负载	非生产的工作负载、小数据集	生产工作负载，没有细粒度访问控制的 ETL

如果你希望在受到 Ranger 鉴权的环境中使用 Flink 访问 Hive ACID 表，可以尝试以下方法：

使用 Hive Thrift 接口：不要使用 Flink 的 Direct Reader，而是通过 Hive JDBC 接口或 Hive Streaming API 连接到 Hive，这样数据访问将经过 Hive 的 Thrift 接口，受到 Ranger 的授权限制。
配置 Ranger 授权策略：在 Ranger 中配置适当的授权策略，允许 Flink 文章来源地址https://www.toymoban.com/news/detail-582541.html

到了这里，关于Flink Direct Reader访问Hive ACID表被ranger授权限制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

ranger，hive，hdfs的三者的权限管理

用户在hdfs上的权限可以看出只给了用户write权限，尝试登录xwq用户，在datagrip上登录成功经过实验验证：要想使用datagrip或者hive-cli登录hive，需要保证hdfs的权限在/目录至少要有write权限 write权限可以创建文件夹 execute是执行的命令，在只有write权限时是无法执行成功所以可以

2024年02月11日
浏览(38)
【sentry 到 ranger 系列】一、Sentry 的 Hive 鉴权插件

在本系列的第一篇文章里【sentry 到 ranger 系列】sentry 的开篇，已经对 Sentry 所处的一个整体的位置有了了解，如下图所示接下来，从 Hive 的鉴权开始看一下 Sentry 究竟怎么实现的权限管理和提供的鉴权能力。在了解权限的接管细节前，可以先了解下 Hive 的权限

2024年01月16日
浏览(34)
java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter解决

环境：Flink 1.15.0，cdc2.3.0 目的：为了测试cdc2.3支持从\\\"specific-offset\\\"启动程序。代码如下：报错如下：引入下面依赖，解决报错：

2024年02月07日
浏览(49)
Flink 运行错误 java.lang.OutOfMemoryError: Direct buffer memory

如遇到如下错误，表示需要调大配置项 taskmanager.memory.framework.off-heap.size 的值，taskmanager.memory.framework.off-heap.size 的默认值为 128MB，错误显示不够用需要调大。 2022-12-16 09:09:21,633 INFO [464321] [org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:366)] - Hadoop UGI auth

2024年02月03日
浏览(53)
hive常用的授权命令

创建角色 create role role_name; 例子：create role abc_read_role; 删除角色 drop role role_name; 例子：drop role abc_read_role; 显示所有角色 show roles; 把整个库授权给某一个角色查询权限(给所有权限，把select 替换成all) grant select on database dbname_db to role_name; 例子：grant select on database abc_db to abc_r

2024年02月05日
浏览(39)
Hive 表权限授权

近期，总给其他部门的人开数据表权限，如果单独给每一个用户开权限，有点杂乱也不太好管理，所以抽空理了一下hive数据表权限相关的知识点。目录目录参数配置角色创建删除授权及回收角色权限 1.授予某个库(表)的某个权限给某个用户 2.回收某个用户的某个库(表

2024年02月21日
浏览(38)
【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

需求描述： 1、数据从 Kafka 写入 Hive。 2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。 3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。 4、Flink 集成 Kafka 写入 Hive 需要进行 checkpoint 才能落盘至 HDFS。 5、先在 Hive 中创建表然后动态获取 Hive 的表

2024年02月03日
浏览(57)
Flink集成Hive之Hive Catalog

流程流程: Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text \\\'20240111\\\' could not be parsed 写入到hive分区表 streamEnv需要开启checkpoint，保证flink写入

2024年01月16日
浏览(30)
springboot未授权漏洞(漏洞复现Springboot未授权访问及修复)

Actuator 的核心是端点 Endpoint，它用来监视应用程序及交互，spring-boot-actuator 中已经内置了非常多的Endpoint（health、info、beans、metrics、httptrace、shutdown等等），同时也允许我们自己扩展自己的Endpoints。每个 Endpoint 都可以启用和禁用。要远程访问 Endpoint，还必须通过 JMX 或 HTTP 进

2024年02月05日
浏览(52)
Zookeeper未授权访问漏洞

Zookeeper支持某些特定的四字查询命令，可以未授权访问，从而泄露zookeeper服务的相关信息，这些信息可能作为进一步入侵其他系统和服务的跳板，利用这些信息实现权限提升并逐渐扩大攻击范围。常见的四字命令有 envi、conf、cons、crst、dump、ruok、stat、srvr、mntr 1.禁止2181端口

2024年02月20日
浏览(41)