linux下hive远程数据库模式安装

这篇具有很好参考价值的文章主要介绍了linux下hive远程数据库模式安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

Apache Hive是一个分布式、容错的数据仓库系统,能够支持大规模的分析。Hive元数据仓库(HMS)提供了一个中央的元数据存储库,可轻松分析数据以做出明智的数据驱动决策,因此它是许多数据湖架构的关键组件。Hive建立在Apache Hadoop之上,支持在S3、adls、gs等存储上通过HDFS访问。Hive允许用户使用SQL读取、写入和管理PB级别的数据。

1.安装mysql

1)使用yum安装

yum install mysql-server -y

2) 安装好启动服务

service mysqld start

3) 开启开机自动启动

chkconfig mysqld on

4) 修改权限

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option

4) 登录

mysql -uroot -p 

2.Hive安装 Local/Embedded Metastore Database (Derby)

Installing Hive from a Stable Release 可以参考官网文档详细的安装步骤

1) 下载稳定版本解压即可

此处安装的是hive-2.3.9

# 解压
tar -xf apache-hive-2.3.9-bin.tar.gz
# 修改名字
mv apache-hive-2.3.9-bin hive-2.3.9

2)配置环境变量

Set the environment variable HIVE_HOME to point to the installation directory:

vi /etc/profile
#添加
export HIVE_HOME=/opt/bigdata/hive-2.3.9
export PATH=$HIVE_HOME/bin:$PATH

3) 配置远程连接mysql数据库

需要在hive安装路径下conf

cd /opt/bigdata/hive-2.3.9/conf
mv hive-default.xml.template hive-site.xml
vi hive-site.xml
# 需要配置configuration标签之外的配置
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
</property>

4)需要将mysql驱动添加到lib下

mysql-connector-java-5.1.32-bin.jar

/opt/bigdata/hive-2.3.9/lib

5) 初始化元数据

# `schematool -dbType mysql -initSchema`
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/bigdata/hive-2.3.9/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

6)登录mysql进行查看

linux下hive远程数据库模式安装

3.远程服务安装 Remote Metastore Database

选择一个两个节点,一个hive作为客户端[【node01】,一个hive作为服务端【node02】连接mysql ,
环境变量HIVE_HOME配置不在赘述。

1 )服务端的hive-site.xml配置

<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_remote/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://node01:3306/hive_remote?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123</value>
	</property>

2) 客户端需要配置连接服务端

Metastore server and client communicate using Thrift Protocol
客户端配置

hive.metastore.local = false Metastore is remote.  Note: This is no longer needed as of Hive 0.10.  
hive.metastore.uris = thrift://<host_name>:<port>host and port for the Thrift metastore server.
hive.metastore.warehouse.dir=<base hdfs path>

客户端hive-site.xml的配置

<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_remote/warehouse</value>
	</property>
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://node02:9083</value>
	</property>

3)在服务端初始化元数据

schematool -dbType mysql -initSchema

4) 服务端启动服务

hive --service metastore

5)客户端连接

hive

linux下hive远程数据库模式安装
下篇继续讲解hive中一些常规的操作。文章来源地址https://www.toymoban.com/news/detail-412617.html

到了这里,关于linux下hive远程数据库模式安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Linux】Centos安装Redis数据库并内网穿透远程连接

    Redis作为一款高速缓存的key value键值对的数据库,在许许多多的场景中广泛使用,由于是把数据存储在内存中,所以读写效率极高。 下面介绍如何在内网虚拟机的linux中搭建redis并通过cpolar内网穿透实现公网访问 进入user下面的local目录,通常外部软件安装在此目录 下载redis 下载好后

    2024年02月05日
    浏览(51)
  • Hive数据库:嵌入、本地、远程全攻略(上)

    建立在关系模型之上的数据库称为关系型数据库(关系模型是由埃德加·科德于1970年提出的),关系型数据库借助集合代数等数学概念处理数据库中的数据。数据查询语言SOL是基于关系型数据库的语言,能够对关系型数据库中的数据进行检索和操作。关系模型由关系数据结构、关

    2024年02月02日
    浏览(41)
  • Hive数据库:嵌入、本地、远程全攻略(下)

    先介绍一下本地模式和远程模式: 当使用本地模式时,Hive将其元数据存储在本地数据库(例如MySQL)中,使其成为一个独立的数据处理系统。在本地模式中,Hive的配置文件(hive-site.xml)中的连接URL指向本地数据库,而不是嵌入式模式中使用的Derby数据库。此模式适用于小规

    2024年01月20日
    浏览(41)
  • Linux服务器安装部署MongoDB数据库 - 无公网IP远程连接

    目录 前言 1. 配置Mongodb源 2. 安装MongoDB 3. 局域网连接测试 4. 安装cpolar内网穿透 5. 配置公网访问地址 6. 公网远程连接 7. 固定连接公网地址 8. 使用固定地址连接 转载自Cpolar Lisa文章:Linux服务器安装部署MongoDB数据库 - 无公网IP远程连接「内网穿透」 MongoDB是一个介于关系数据库

    2024年02月02日
    浏览(47)
  • 分布式数据库·Hive和MySQL的安装与配置

    一、版本要求:Hadoop:hadoop-2.10.1、MySQL:mysql-8.0.35、 HIVE :apache-hive-3.1.2、MySQL驱动:mysql-connector-java-5.1.49 安装包网盘链接:阿里云盘分享 安装位置  Hive:master、MySQL:slave1 二、卸载已安装的MySQL(如果不符合需求) 1.关闭MySQL服务 2.Yum检查 3.安装则直接删除 4.rpm检查 5.如果存在则删

    2024年02月03日
    浏览(58)
  • 如何在Linux用Docker部署MySQL数据库并远程访问本地数据库

    本文主要介绍如何使用Docker部署MySQL,并结合cpolar内网穿透工具实现远程访问本地数据库。 Docker提供了一个轻量级的容器化解决方案,可以更好的简化数据库的部署过程。让创建和管理MySQL数据库变得更简单快捷。下面就来分享一下具体的部署过程,并提出一些需要注意的事

    2024年03月10日
    浏览(41)
  • Windows远程连接linux中mysql数据库

     我没有mysql并且没有把mysql配置到环境变量中,所以现在我要下载mysql Mysql官网下载地址:https://downloads.mysql.com/archives/installer 1. 选择设置类型 双击运行mysql-installer-community-8.0.26.msi,这里选择是开发者默认模式,所以直接选择“Developer Default”,点击“Next”      默认3306的端

    2024年02月12日
    浏览(46)
  • 使用Linux远程连接OpenGauss数据库的步骤和方法

    openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核深度融合华为在数据库领域多年的经验,结合企业级场景需求,持续构建竞争力特性. 结合cpolar 内网穿透工具,即可实现远程访问本地openGauss,实现远程访问,下面介绍从Linux安装到远程访问的方式

    2024年02月07日
    浏览(42)
  • docker安装达梦8,并且远程连接数据库

    官方技术文档地址:https://eco.dameng.com/document/dm/zh-cn/start/index.html 不能直接拉取达梦数据库的镜像,需要去官方提供的下载地址下载镜像,上传到服务器 下载地址:https://eco.dameng.com/download/ 下载完成之后确认下载文件大小无误,我下载的是dm8_20220822_rev166351_x86_rh6_64_ctm.tar 大小

    2024年02月17日
    浏览(54)
  • Linux系统中如何开启和配置OpenGauss数据库的远程连接

    openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核深度融合华为在数据库领域多年的经验,结合企业级场景需求,持续构建竞争力特性. 结合cpolar 内网穿透工具,即可实现远程访问本地openGauss,实现远程访问,下面介绍从Linux安装到远程访问的方式

    2024年02月07日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包