1. Toy模板网首页
  2. > Toy博客

hive 入门 配置hiveserver2 (三)

7月前 作者：Long long ago. 分类：Toy博客 阅读(25) 违法举报

这篇具有很好参考价值的文章主要介绍了hive 入门 配置hiveserver2 (三)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、简介

Hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。hive 入门 配置hiveserver2 (三)

2、用户模拟功能

在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？

答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。
hive 入门 配置hiveserver2 (三)
开启用户模拟功能：
hive 入门 配置hiveserver2 (三)

生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。

3、配置hiveserver2

3.1修改hadoop配置hive-site.xml

vim $HADOOP_HOME/etc/hadoop/core-site.xml 

 <!--配置所有节点的root用户都可作为代理用户-->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>

  <!--配置root用户能够代理的用户组为任意组-->
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>

  <!--配置root用户能够代理的用户为任意用户-->
  <property>
    <name>hadoop.proxyuser.root.users</name>
    <value>*</value>
  </property>

记得分发给其他hadoop节点

3.2 修改hive配置hive-site.xml

vim $HIVE_HOME/conf/hive-site.xml 

  <!-- 指定hiveserver2连接的host -->
  <property>
	<name>hive.server2.thrift.bind.host</name>
	<value>hadoop100</value>
  </property>
 
  <!-- 指定hiveserver2连接的端口号 -->
  <property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
  </property>

3.3重启hadoop

$HADOOP_HOME/sbin/stop-all.sh 

$HADOOP_HOME/sbin/start-all.sh

3.4启动hiveserver2

$HIVE_HOME/bin/hive --service hiveserver2

后台挂起启动

nohup $HIVE_HOME/bin/hive --service hiveserver2 &

hive 入门 配置hiveserver2 (三)

3.5连接

$HIVE_HOME/bin/beeline -u jdbc:hive2://hadoop100:10000 -n root

hive 入门 配置hiveserver2 (三)
hive 入门 配置hiveserver2 (三)

4、使用idea连接工具

hive 入门 配置hiveserver2 (三)
hive 入门 配置hiveserver2 (三)

也可以使用dbeaver作为客户端工具文章来源地址https://www.toymoban.com/news/detail-501096.html

到了这里，关于hive 入门 配置hiveserver2 (三)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 常见的bug---3、没有启动metaStore和Hiveserver2服务导致在本机上的IDEA无法连接上虚拟机上的HIve

    在IEDA连接虚拟机上的Hive报的 Exception in thread “main” org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:11

    2024年02月15日
    浏览(36)
  • HiveServer2 Service Crashes(hiveServer2 服务崩溃)

    HiveServer2 Service Crashes(hiveServer2 服务崩溃)

    Troubleshooting Hive | 5.9.x | Cloudera Documentation 1.hive分区表太多(这里没有说具体数量。) 2.并发连接太多，我记的以前默认是200个连接  3.复杂的hive查询访问表的的分区 4.hs2实例数太少 如果存在这些情况中的任何一种，Hive可能运行缓慢，或者可能崩溃，因为整个HS2堆内存已满。 S

    2024年02月07日
    浏览(30)
  • Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG！

    Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG！

    前言 使用的集群环境为： hive 3.1.2 spark 3.0.2 dayofweek 函数官方说明 dayofweek(date) - Returns the day of the week for date/timestamp (1 = Sunday, 2 = Monday, …, 7 = Saturday). 根据所给日期，返回该日期对应的周几数字，如： 周日 —— 1 周一 —— 2 周二 —— 3 … 周六 —— 7 BUG 重现 当前我有一张订

    2024年02月11日
    浏览(19)
  • 【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]

    【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]

    在启动Hive的时候，除了必备的Metastore服务外，我们前面提过有2种方式使用Hive： 方式1： bin/hive 即Hive的Shell客户端，可以直接写SQL 方式2： bin/hive --service hiveserver2 后台执行脚本： nohup bin/hive --service hiveserver2 logs/hiveserver2.log 21 bin/hive --service metastore ，启动的是元数据管理服务

    2024年04月28日
    浏览(28)
  • Error: Could not open client transport with JDBC Uri: jdbc:hive2://解决连接beenline连接HiveServer2报错

    Error: Could not open client transport with JDBC Uri: jdbc:hive2://解决连接beenline连接HiveServer2报错

    目录 一、错误现象 二、 解决方案 三、其他解决方式 背景：ranger 整合cdh后登陆HiveServer2测试 后台日志 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop105:10000: Failed to open new session: java.lang.IllegalArgumentException: Cannot modify hive.query.redaction.rules at runtime. It  is not in list of

    2024年02月12日
    浏览(34)
  • HiveServer2负载均衡

    HiveServer2负载均衡

    有多个HiveServer2服务时，可以借助Zookeeper服务实现访问HiveServer2的负载均衡，将HiveServer2的压力分担到多个节点上去。本文详细介绍HiveServer2负载均衡的配置及使用方法，请根据EMR集群（普通集群和Kerberos集群）的实际情况进行选择。 hive.server2.support.dynamic.service.discovery 设置为

    2024年02月06日
    浏览(24)

  • hiveserver2经常挂断的原因

    HiveServer2 经常挂断可能有多种原因，以下是一些可能导致挂断的常见原因： 资源不足：HiveServer2 需要足够的内存和 CPU 资源来处理查询请求。如果资源不足，可能会导致 HiveServer2 挂断。请确保在配置 HiveServer2 实例时分配了足够的资源。 配置问题：不正确的配置可能导致 Hi

    2024年02月06日
    浏览(27)

  • HiveServer2 常见异常和处理方法

    可能原因： HiveServer 连接数达到上限。因为每个 jdbc，HiveServer 需要一个线程。 HiveServer OOM 不能及时处理客户请求 Hive Metastore 没有响应或者后台数据库卡住。 HiveServer2 Server socket 的 backlog 默认是 0，在centos 系统中查看 HiveServer2 的 backlog 是50。当Socket accept 的速度变慢，操作系

    2024年02月03日
    浏览(33)
  • 合并文件解决HiveServer2内存溢出方案

    合并文件解决HiveServer2内存溢出方案

    • 表文件数量为6522102 • 分区为string 类型的time字段，分了2001个区。 •可以看到Jvm内存使用明显增大，Hiveserver2内存溢出，进程挂掉了；查看HiveServer2状态标红。 •详细日志如下 • 将每个分区里的若干个小文件合并成一个文件，最终文件个数为分区数。合并流程如下: 2.1.

    2024年02月11日
    浏览(28)
  • hue实现对hiveserver2 的负载均衡

    hue实现对hiveserver2 的负载均衡

    如果你使用的是CDH集群那就很是方便的 在Cloudera Manager中，进入HDFS Service 进入Instances标签页面，点击Add Role Instances按钮，如下图所示 点击Continue按钮，如下图所示 返回Instances页面，选择HttpFS角色，并点击Start启动服务，如下图所示 HttpFS服务启动后，点击进入Hue Service Configur

    2024年02月08日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包