Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)

这篇具有很好参考价值的文章主要介绍了Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

Hive 的安装需要建立在 Hadoop 的之上(类似于Hbase),关于 Hadoop 的单机安装以及伪分布式安装可以参考作者的另两篇博客:

  • Ubuntu下单机安装Hadoop详细教程(附所需安装包下载)
  • Ubuntu下伪分布式安装Hadoop详细教程

本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用(第3版)》中所要求,其中 Java 版本为1.8.0_301Hadoop 版本为3.2.2,这里我的操作系统环境是 Ubuntu 20.04,此安装方法同样适用于低版本。


一、安装Hive

1. 下载压缩包并解压

官网下载目录如下:https://dlcdn.apache.org/hive/

建议清华镜像网站下载:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

下载文件如下:apache-hive-3.1.2-bin.tar.gz,进入下载目录,解压压缩包:

cd ~/Downloads
sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local 

2. 安装Hive

进入到 /usr/local 目录下,更改文件夹名,赋予用户权限:

cd /usr/local
sudo mv apache-hive-3.1.2-bin hive     
sudo chown -R hadoop ./hive

3. 配置环境变量

修改 ~/.bashrc 文件:

vim ~/.bashrc

增添下面几行:

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop

运行如下命令使配置立即生效:

source ~/.bashrc

4. 修改配置文件

修改配置 hive-default.xml 文件:

cd /usr/local/hive/conf
sudo mv hive-default.xml.template hive-default.xml

新建 hive-site.xml 文件:

sudo vim hive-site.xml

将以下内容写入文件:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>datanucleus.autoCreateTables</name>
    <value>True</value>
  </property>
</configuration>

按下 ESC 键,:wq,保存并退出。


二、MySQL安装与配置

1. 安装MySQL

参考我的这篇博客安装最新版本的 MySQL:Ubuntu20.04安装MySQL及配置MySQL workbench

2. 安装MySQL jdbc包

上述博客安装的 MySQL 版本为 8.0.27,所以我们需要下载对应版本的 MySQL jdbc 包,下载链接如下:mysql-connector-java-8.0.27.tar.xz

下载好后,提取 mysql-connector-java-8.0.27.jar 包到指定路径:

cd ~/Downloads
tar -xf mysql-connector-java-8.0.27.tar.xz   #解压
cp mysql-connector-java-8.0.27/mysql-connector-java-8.0.27.jar  /usr/local/hive/lib

3. 为Hive创建MySQL账号

启动 MySQL 服务,登录 shell:

service mysql start #启动mysql服务
sudo mysql -u root -p  #登陆shell界面

新建 hive 数据库:

CREATE DATABASE hive;

创建用户 hive,设置密码(这里根据配置文件设置为 hive),使其能连接上 hive 数据库:

create user 'hive'@'%' identified by  'hive';
grant all privileges on hive.* to 'hive'@'%' with grant option;
flush privileges;

这里若提示密码不符合,则先执行以下命令,再执行上述命令:

set global validate_password.policy=LOW;
set global validate_password.length=4;

退出 MySQL:

quit;

三、验证Hive安装及错误处理

1. 启动Hadoop

cd /usr/local/hadoop
sbin/start-dfs.sh

2. 启动hive

cd /usr/local/hive
./bin/schematool -dbType mysql -initSchema
bin/hive

正常启动会出现一个交互界面如下:

hive>

启动若出现如下报错(Ctrl+C可强制退出):

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

查看此篇博客:Hive启动报错:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

继续运行此步:

./bin/schematool -dbType mysql -initSchema

3. 运行Hive实例

在 hive 交互界面下,运行以下命令:

create database if not exists hive; #创建数据库
show databases; #查看Hive中包含数据库
show databases like 'h.*'; #查看Hive中以h开头数据库

输出如下,运行成功!

hive> create database if not exists hive; #创建数据库
OK
Time taken: 0.59 seconds

hive> show databases; #查看Hive中包含数据库
OK
datazq
default
hive
Time taken: 0.148 seconds, Fetched: 3 row(s)

hive> show databases like 'h.*'; #查看Hive中以h开头数据库
OK
hive
Time taken: 0.04 seconds, Fetched: 1 row(s)

hive>

总结

采用Hive实现最大的优势是,对于非程序员,不用学习编写Java MapReduce代码了,只需要用户学习使用HiveQL就可以了,而这对于有SQL基础的用户而言是非常容易的。文章来源地址https://www.toymoban.com/news/detail-441272.html

到了这里,关于Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑,亲测有效)

    这是目前遇到的最简单但最头疼的安装,因为是在公司之前用过的服务器上进行安装测试,加上又使用比较新的版本,结果踩了不少坑。Kettle连接Hive这个坑,从2023年4月11日下午开始,一致到2023年4月12日中午才弄好,不得不写篇博客记录一下这段难忘的经历。 真是郁闷了半天

    2024年02月07日
    浏览(47)
  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑,亲测有效)

    由于先前使用的kettle8.2版本在Linux上安装后,创建共享资源库点击connect时页面为空,后来采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月13日
    浏览(45)
  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑,亲测有效,附截图)

    由于先前使用的kettle8.2版本在Linux上安装后,创建共享资源库点击connect时页面为空,后来采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月12日
    浏览(38)
  • Hive3.1.3安装及部署

    目录 1 下载地址 2 安装部署 2.1 安装Hive 2.2 启动并使用Hive 2.3 MySQL安装 2.3.1 安装MySQL 2.3.2 配置MySQL 2.3.3 卸载MySQL说明 2.4 配置Hive元数据存储到MySQL 2.4.1 配置元数据到MySQL 2.4.2 验证元数据是否配置成功 2.4.3 查看MySQL中的元数据 2.5 Hive服务部署 2.5.1 hiveserver2服务  2.5.2 metastore服务

    2024年02月09日
    浏览(39)
  • centos7上hive3.1.3安装及配置

    hive是基于hadoop的数据仓库软件,部署运行在linux系统之上,安装之前必须保证hadoop环境运行正常,hive本身不是分布式软件,它的分布式主要是借助hadoop实现,存储是hdfs,计算是mapreduce。 需要同时安装apache-hive-3.1.3-bin.tar.gz和mysql-5.7.42-1.el7.x86_64.rpm-bundle.tar两个软件,因为hive的

    2024年02月09日
    浏览(42)
  • Ubuntu20.04安装MySQL5.7-实测3种方法(保姆级教程)

    最近生产系统系统需要使用MySQL5.7版本的数据库,而Ubuntu20.04默认是8.0的版本,折腾了一段时间后,测试了3中方法,在实际应用环境中测试成功,因此发布出来给大家参考。 建议使用方案三方式部署,乐意折腾的可以试试方案二和方案一! 采用更换镜像源的方式进行安装部署

    2023年04月22日
    浏览(41)
  • ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作

    这篇文章主要讲述的是ubuntu22.04上数据仓库Hive的安装和使用 建议按照文章实践前稍微通读下全文 相关命令: sudo apt-get install mysql-server sudo apt-get install mysql-client 在终端中输入 sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf 修改mysql的配置文件 [mysqld]之后,任意新建一行,添加文本 skip-gr

    2024年02月11日
    浏览(43)
  • MySQL 教程 1.2

    MySQL 重置密码 如果你忘记 MySQL 密码,可以通过修改 my.cnf 文件添加 skip-grant-tables 来重置密码,步骤如下: 1、打开  my.cnf  配置文件,找到 [mysqld] ,然后在该行下面添加以下参数: 重启 MySQL 服务: 登录 MySQL,此时不需要密码,直接回车: 更改  root  密码 为  123456 : 注意

    2024年02月05日
    浏览(24)
  • hive3升级

    1.备份hive2元数据库 2.导入到hive3对应的hive元数据表 3.更新hive_metastore数据表信息 3.1需要新增的表 序号 hive3 1 I_SCHEMA 2 MATERIALIZATION_REBUILD_LOCKS 3 METASTORE_DB_PROPERTIES 4 MIN_HISTORY_LEVEL 5 NEXT_WRITE_ID 6 REPL_TXN_MAP 7 RUNTIME_STATS 8 SCHEMA_VERSION 9 TXN_TO_WRITE_ID 10 WM_MAPPING 11 WM_POOL 12 WM_POOL_TO_TRIGGER 1

    2024年02月08日
    浏览(44)
  • Hive3第六章:更换引擎

    Hive3第一章:环境安装 Hive3第二章:简单交互 Hive3第三章:DML数据操作 Hive3第三章:DML数据操作(二) Hive3第四章:分区表和分桶表 Hive3第五章:函数 Hive3第六章:更换引擎 这个博客主要是作为数仓项目的一次补充,主要是更换hive引擎,传统的MR引擎在hive2之后就不推荐了,我们

    2024年02月11日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包