Linux配置hive(远程模式)

这篇具有很好参考价值的文章主要介绍了Linux配置hive(远程模式)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先:

配置好三台虚拟机、免密、hadoop

我这边用node、node1、node2

远程模式:

将hive中的相关进程比如hiveserver2或者metastore这样的进程单独开启,使用客户端工具或者命令行进行远程连接这样的服务,即远程模式。客户端可以在任何机器上,只要连接到这个server,就可以进行操作。客户端可以不需要密码。

我把node1作为服务端,node作为客户端

先在node1里下载安装hive

解压、改名、授权

1. hive/conf/里面新建  hive-site.xml

<!--hive仓库在hdfs的位置-->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>

<!-- 该参数主要指定Hive的临时文件存储目录  -->
<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
</property>

<!--连接mysql的url地址-->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1</value>
</property>
<!--mysql的驱动类-->
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<!--mysql的用户名-->
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<!--mysql的密码-->
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>


<!--hive工作的本地临时存储空间-->
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/usr/local/src/hive/iotmp/root</value>
</property>
<!--如果启用了日志功能,则存储操作日志的顶级目录-->
<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/usr/local/src/hive/iotmp/root/operation_logs</value>
</property>
<!--Hive运行时结构化日志文件的位置-->
<property>
    <name>hive.querylog.location</name>
    <value>/usr/local/src/hive/iotmp/root</value>
</property>
<!--用于在远程文件系统中添加资源的临时本地目录-->
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/src/hive/iotmp/${hive.session.id}_resources</value>
</property>

2.使用远程模式,需要在hadoop的core-site.xml文件中添加以下属性        三台机器全部要改

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

可以在一台机器上改完然后传过去

# scp core-site.xml node1:/usr/local/src/hadoop/etc/hadoop/
# scp core-site.xml node2:/usr/local/src/hadoop/etc/hadoop/

然后删除hadoop的 logtmp        也是三台

再刷新 hadoop namenode-format

再道node上安装hive

解压改名授权环境变量,其他不管

上面完成之后就可以启用远程模式了

hive的两种服务说明

第一种服务:hiveserver2

启动                在服务端 node1

hive --service hiveserver2 &
​
然后jps会有一个RunJar的进程就是启动成功了

Linux配置hive(远程模式)

 

连接  在用户端node

hiveserver2得用beeline来连接

在node里
# beeline       进入beeline界面
# !connect jdbc:hive2://node1:10000
​
然后输入账号、密码
就可以连接成功了

Linux配置hive(远程模式)

 

第二种服务:metastore

准备:

这个服务需要修改node的hive-site.xml配置

vim hive-site.xml (其他的都不要,只需要下面一小段)

<configuration>
    <property>
        <name>hive.metastore.uris</name> 
        <value>thrift://ndoe1:9083</value>
    </property>
</configuration>

如果刚刚使用了hiveserver2服务就先kill掉之前的进程

# kill -9 8000

Linux配置hive(远程模式)

 

现在就可以启动 metastore 服务了

启动

hive --service metastore &
​
然后jps会有一个RunJar的进程就是启动成功了
(node1)

连接 node里文章来源地址https://www.toymoban.com/news/detail-455102.html

hive                直接敲hive就行

到了这里,关于Linux配置hive(远程模式)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hive的安装与使用(内嵌模式derby+将Hive的元数据配置到MySQL)配置hive的远程访问,实现多客户端访问安全机制

    前期准备:因为hive是构建在hadoop集群之上的,所以要先进行hadoop集群的搭建 一、内嵌模式:使用hive内置的关系型数据库(derby)来存储元数据 1.下载并上传到虚拟机上,我是在/opt目录下 2.解压并且重命名 3.配置hive环境,个人习惯把配置文件放在my_enc.sh中 4. 初始化元数据库

    2024年02月06日
    浏览(34)
  • Linux虚拟机配置ssh远程连接详细步骤(保姆级教程)

            1、VMware Workstation Pro         2、ubuntu-18.04.1-desktop-amd64         3、Xshell7 或者SecureCRT8.3          用到得工具可到官网下载。这里就跳过环境安装过程。         1、开启虚拟机         2、虚拟机设置为NAT模式:         点击虚拟机-配置-网络适配器。

    2024年02月17日
    浏览(31)
  • 【Linux前篇 】VMWare虚拟机安装与环境配置及远程连接 —— windows版

    目录 一、操作系统 1.1 什么是操作系统 1.2 常见操作系统 1.3 个人版本和服务器版本的区别 1.4 Linux的各个版本  二、VMWare 虚拟机安装配置流程 2.1 安装 2.2 配置虚拟网络编辑器 三、安装配置 Windows Server 2012 R2 3.1 创建虚拟机  3.2 安装 Windows Server 2012的镜像  四、 虚拟机的环境

    2024年02月08日
    浏览(32)
  • VM中linux虚拟机配置桥接模式(虚拟机与宿主机网络互通)

    VM虚拟机配置桥接模式,可以让虚拟机和物理主机一样存在于局域网中,可以和主机相通,和互联网相通,和局域网中其它主机相通。 vmware为我们提供了三种网络工作模式,它们分别是:Bridged(桥接模式)、NAT(网络地址转换模式)、Host-Only(仅主机模式)。 什么是桥接模

    2024年02月12日
    浏览(32)
  • Vscode远程免密连接Linux虚拟机,并配置C/C++运行环境

    目前想要深入学习在Linux,也为了方便编写C/C++程序。Linux的环境里一般自带有c++的编译环境,如果没有安装gcc和g++等编译器也比较便利。但是在虚拟机里用vim编写C++程序又不得劲,因此打算使用vscode远程连接Linux虚拟机进行学习。 为了防止自己以后还要再配置,重复踩坑,因

    2024年02月11日
    浏览(30)
  • vmware虚拟机网络“桥接模式”与“NAT模式”的联网原理及linux环境下IP配置指引

    选中虚拟机》设置》网络适配器,打开虚拟机设置面板 我们看到网络连接处有多个选项,今天 良哥 通过试验告诉你“桥接模式”和“NAT模式”的联网原理、区别及两种模式下IP地址配置的详细方法。 桥接模式 ①虚拟机操作系统直接连接物理网卡,通过物理网卡与外部网络建

    2024年02月08日
    浏览(43)
  • Hadoop分布式集群搭建(三台虚拟机)

    搭建好VMware Workstation Pro(我这里装的版本是16) 搭建hadoop集群需要三台虚拟机 1.新建虚拟机——自定义(高级)  2.不用改动,点击下一步  3.映像文件稍后再加入  4.选择Linux——CentOS 7 64位  5.可以在存放虚拟机的文件内新建一个文件夹,专门放hadoop集群需要的虚拟机(有三

    2024年02月08日
    浏览(36)
  • 三台虚拟机搭建Hadoop集群(云计算实验新)

    本文将介绍利用三台虚拟机实现互相免密访问并搭建Hadoop集群。 1. 下载操作系统镜像源 本文利用Centos7.9版本,下载地址,需要其他版本可在阿里镜像源下载。 2. 下载虚拟机软件VMware VMware官网链接,VMware下载指南 3. 配置三台Centos虚拟机 VMware中创建虚拟机教程,创建完成一个

    2024年02月10日
    浏览(40)
  • 三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)

    最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭。但我最终确实成功了,留了一点点小问题在里面。(当Hadoop集群start-all之后resourcemanager无论我怎么按照网上的方法调试都不出现) 现在就来回顾一下我的第

    2023年04月09日
    浏览(29)
  • 加密项目是否采用DAO模式 首先考量这8个因素

    随着越来越多公司寻求管理和组织战略创新,我们看到市场对 DAO  的兴趣日益增长,同时也对人们的数字生活产生了巨大影响。不过, 并不是每个项目都适合采用 DAO 模式,在做出正确选择之前,你需要考虑以下 8 个要点: 1、集中服务和大规模项目不建议用 DAO 对于 Web3

    2024年01月22日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包