Hive的安装与配置——第1关:Hive的安装与配置

这篇具有很好参考价值的文章主要介绍了Hive的安装与配置——第1关:Hive的安装与配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

第1关:Hive的安装与配置


任务描述

本关任务:在已安装Hadoop的基础上安装配置好Hive并运行。

相关知识

为了完成本关任务,你需要掌握:

1.Hive的基本安装;

2.Mysql的安装与设置;

3.Hive 的配置。

**注意:**本关实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。

Hive 的基本安装

从 官网 下载Hive二进制包,不过这里你无须再从网上下载,我已经帮你下载好了放在/opt目录下。

  • 进入/opt目录,解压apache-hive-3.1.0-bin.tar.gz到该目录下,并将解压的文件重命名为hive

    cd /opt
    tar -zxvf apache-hive-3.1.0-bin.tar.gz
    mv apache-hive-3.1.0-bin hive
    
  • 设置环境变量,编辑vi /etc/profile,在末尾添加以下两行代码;

    export HIVE_HOME=/opt/hive
    export PATH=$HIVE_HOME/bin:$PATH
    
  • source /etc/profile使环境生效;

  • 查看hive是否安装成功:hive --version

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2okHqS9D-1666195111049)(https://data.educoder.net/api/attachments/277235)]

    出现hive版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。我们只需删除掉引起冲突的包即可:rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-20yZOKUx-1666195111051)(https://data.educoder.net/api/attachments/277700)]

Mysql 的安装与设置

平台已安装MySQL数据库,同学们在本地没有安装可以采用以下命令进行安装:

sudo apt-get install mysql-server   #安装mysql服务apt-get install mysql-client        #安装mysql客户端sudo apt-get install libmysqlclient-dev  #安装相关依赖环境

注意:安装过程中会提示设置密码什么的,不要忘了设置。

安装完成之后可以使用如下命令来检查是否安装成功。

sudo netstat -tap | grep mysql

通过上述命令检查之后,如果看到有MySQLsocket处于listen 状态则表示安装成功。

Hive需要数据库来存储metastore的内容,因此我们需要配置一下MySQL数据库。

  • 下载mysql驱动;

    我已经帮你下载好放在/opt目录下,进入该目录并进行以下操作:

    tar -zxvf mysql-connector-java-5.1.45.tar.gzcd mysql-connector-java-5.1.45cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
    

接下来介绍MySQLHive做的设置。

  • 使用root用户登录MySQL数据库;

    mysql -uroot -p123123 -h127.0.0.1
    
  • 创建数据库实例hiveDB

    create database hiveDB;
    
  • 创建用户bee,密码为123123

    create user 'bee'@'%' identified by '123123';
    
  • 授权用户bee拥有数据库实例hiveDB的所有权限;

    grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
    
  • 刷新系统权限表。

    flush privileges;
    
Hive 的配置

/opt/hive/conf目录下,修改hive-site.xmlhive-env.sh两个文件。

hive-site.xml

hive-site.xml保存Hive运行时所需要的相关配置信息。

  • 如果目录下没有该文件,我们直接创建一个:vi hive-site.xml,将以下内容复制到其中(按i进入编辑模式后再进行粘贴)。
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/opt/hive/warehouse</value>
 </property>
 <property>
 <name>hive.exec.scratchdir</name>
 <value>/opt/hive/tmp</value>
 </property>
 <property>
 <name>hive.querylog.location</name>
 <value>/opt/hive/logs</value>
 </property>
 <property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
 </property>
 <property>
 <name>hive.server2.thrift.bind.host</name>
 <value>localhost</value>
 </property>
 <property>
 <name>hive.server2.enable.doAs</name>
 <value>true</value>
 </property>
 <property>
 <name>hive.session.id</name>
 <value>false</value>
 </property>
 <property>
 <name>hive.session.silent</name>
 <value>false</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>bee</value>
 <!-- 这里是之前设置的数据库 -->
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <!-- 这里是数据库密码 -->
 <value>123123</value>
 </property>
</configuration>

完成后,在命令行模式(按 Esc),输入:wq保存退出。

hive-env.sh

由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构,主要运行在 Hadoop分布式环境下,因此,需要在文件hive-env.sh中指定Hadoop相关配置文件的路径,用于Hive访问HDFS(读取fs.defaultFS属性值)和 MapReduce(读取mapreduce.jobhistory.address属性值)等Hadoop 相关组件。

  • 如果目录下没有该文件,我们就以模板复制一个

    cp hive-env.sh.template hive-env.sh
    

    vi hive-env.sh
    

    打开文件,在文件末尾添加变量指向 Hadoop 的安装路径:

    HADOOP_HOME=/usr/local/hadoop  #在本地环境安装,要根据自己hadoop的路径来确定
    

    至此

    Hive
    

    配置完成。 第一次启动

    Hive
    

    前还需要执行初始化命令:

    schematool -dbType mysql -initSchema
    

编程要求

请仔细阅读左侧文档知识点,根据提示,在右侧命令行区域进行 Hive 环境搭建,具体任务如下:

  • 根据上述步骤完成Hive的安装与配置
  • 然后在命令行start-dfs.sh启动 Hadoop
  • 点击测评,验证hive是否成功安装配置。
测试说明

补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。

通关标准:通过Hive可否查询到数据库来判断它是否安装配置成功。

**注意:**通过本关后,请继续完成第二关,第二关是在Hive配置成功的基础上进行的。若中间命令行连接中断,还需重新配置本关环境才能继续第二关。


开始你的任务吧,祝你成功!


root@evassh-13490582:~# tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/
root@evassh-13490582:~# mv /opt/apache-hive-3.1.0-bin /opt/hive
root@evassh-13490582:~# vim /root/.bashrc

i
export HIVE_HOME=/opt/hive
export path=$HIVE_HOME:$PATH

esc
:x

root@evassh-13490582:~# bash
root@evassh-13490582:~# tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/
root@evassh-13490582:~# cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
root@evassh-13490582:~# mysql -uroot -p123123 -h127.0.0.1

mysql> create database hiveDB;
mysql> create user 'bee'@'%' identified by '123123';
mysql> grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
mysql> flush privileges;
mysql> quit;

root@evassh-13490582:~# vim /opt/hive/conf/hive-site.xml

i

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/opt/hive/warehouse</value>
 </property>
 <property>
 <name>hive.exec.scratchdir</name>
 <value>/opt/hive/tmp</value>
 </property>
 <property>
 <name>hive.querylog.location</name>
 <value>/opt/hive/logs</value>
 </property>
 <property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
 </property>
 <property>
 <name>hive.server2.thrift.bind.host</name>
 <value>localhost</value>
 </property>
 <property>
 <name>hive.server2.enable.doAs</name>
 <value>true</value>
 </property>
 <property>
 <name>hive.session.id</name>
 <value>false</value>
 </property>
 <property>
 <name>hive.session.silent</name>
 <value>false</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>bee</value>
 <!-- 这里是之前设置的数据库 -->
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <!-- 这里是数据库密码 -->
 <value>123123</value>
 </property>
</configuration>

esc
:x

root@evassh-13490582:~# cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh
root@evassh-13490582:~# vim /opt/hive/conf/hive-env.sh

i
HADOOP_HOME=/usr/local/hadoop  #在本地环境安装,要根据自己hadoop的路径来确定

esc
:x

root@evassh-13490582:~# start-all.sh 
root@evassh-13490582:~# /opt/hive/bin/schematool -dbType mysql -initSchema

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]
第1关:hive的安装与配置,hadoop,hive,hadoop,大数据


下面是敲过的命令文章来源地址https://www.toymoban.com/news/detail-798356.html

    1  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz
    2  ls
    3  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz ./
    4  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz .
    5  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C ./
    6  ll /opt/
    7  la /opt/
    8  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/
    9  la /opt/
   10  mv /opt/apache-hive-3.1.0-bin /opt/hive
   11  la /opt/
   12  vim /root/.bashrc
   
   	1  echo $HIVE_HOME/
    2  tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/
    3  la /opt/
    4  cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
    5  mysql -uroot -p123123 -h127.0.0.1
    6  vim /opt/hive/conf/hive-site.xml
    7  cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh
    8  vim /opt/hive/conf/hive-env.sh
    9  start-all.sh

到了这里,关于Hive的安装与配置——第1关:Hive的安装与配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据平台安装实验: ZooKeeper、Kafka、Hadoop、Hbase、Hive、Scala、Spark、Storm

    ​ 在大数据时代,存在很多开源的分布式数据采集、计算、存储技术,本实验将在熟练掌握几种常见Linux命令的基础上搭建几种常用的大数据采集、处理分析技术环境。 相关安装包下载: 链接:https://pan.baidu.com/s/1Wa2U3qstc54IAUCypcApSQ 提取码:lcd8 Hadoop大数据平台所需工具、软件

    2023年04月09日
    浏览(90)
  • 大数据Hive--安装和配置

    有需要Hive-3.1.3.安装包和 MySQL安装包以及MySQL驱动jar包的,请浏览文章末尾 Hive官网地址 http://hive.apache.org/ 下载地址 http://archive.apache.org/dist/hive/ 1)把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下 2)解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面 [yudan@hadoop102 software]$ ta

    2024年02月03日
    浏览(47)
  • (最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

    网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。 由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。 机器信息 Hostname k8s-master k8s-node1 k8

    2024年02月06日
    浏览(51)
  • Hadoop、Hive安装

    Linux系统:Centos,版本7.0及以上 JDK:jdk1.8 Hadoop:3.1.3 Hive:3.1.2 虚拟机:VMware mysql:5.7.11 工具下载地址: https://pan.baidu.com/s/10J_1w1DW9GQC7NOYw5fwvg?pwd=0kdr 提取码: 0kdr 提示:以下是本篇文章正文内容,下面案例可供参考 下载jdk-8u181-linux-x64.tar.gz包,将此包上传至/opt 目录下。 使用

    2024年02月08日
    浏览(33)
  • 【Hive】安装配置及导入Hdfs数据

    大家好!我是初心,很高兴再次和大家见面。 今天跟大家分享的文章是 Hive的安装以及导入Hdfs的数据到Hive中 ,希望能帮助到大家!本篇文章收录于 初心 的 大数据 专栏。 🏠 个人主页:初心%个人主页 🧑 个人简介:大家好,我是初心,和大家共同努力 💕 欢迎大家:这里

    2024年02月09日
    浏览(98)
  • hadoop集群搭建+hive安装

    VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysql:mysql-connector-java-8.0.19 jdk:jdk-8u91-linux-x64.tar(注意要是linux版本的,因为是在linux系统中创建虚拟机) hive:hive1.2.1 小技巧: 右键单击可以paste 1.选择典型即可 2.将ubuntu镜像文件导入: 3.用户名要记住

    2024年02月05日
    浏览(103)
  • Hive的安装与使用(内嵌模式derby+将Hive的元数据配置到MySQL)配置hive的远程访问,实现多客户端访问安全机制

    前期准备:因为hive是构建在hadoop集群之上的,所以要先进行hadoop集群的搭建 一、内嵌模式:使用hive内置的关系型数据库(derby)来存储元数据 1.下载并上传到虚拟机上,我是在/opt目录下 2.解压并且重命名 3.配置hive环境,个人习惯把配置文件放在my_enc.sh中 4. 初始化元数据库

    2024年02月06日
    浏览(48)
  • 大数据之Hadoop数据仓库Hive

    Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL 查询功能,用于查询的 SQL 语句会被转化为 MapReduce 作业,然后提交到 Hadoop 上运行。 特点: 简单、容易上手 (提供了类似 sql 的查询语言 hql),使得精通 sql 但是不了解 Java 编程的人也

    2024年02月01日
    浏览(54)
  • 自动化脚本一键安装 jdk,hadoop,hive

    网盘资源如下 链接: https://pan.baidu.com/s/1wKHRjcqJHRTcvmHOxsn0Bw?pwd=qh8h 提取码: qh8h 使用该脚本有几个地方需要修改成自己设备相应属性,还有一些注意事项 (1)脚本开头 分别对应 jdk、hadoop、hive 安装 false 是不安装 true 是安装 (2)安装 hive 这条语句里的 ip 换成你自己的 这条语句

    2024年02月09日
    浏览(49)
  • 分布式数据库·Hive和MySQL的安装与配置

    一、版本要求:Hadoop:hadoop-2.10.1、MySQL:mysql-8.0.35、 HIVE :apache-hive-3.1.2、MySQL驱动:mysql-connector-java-5.1.49 安装包网盘链接:阿里云盘分享 安装位置  Hive:master、MySQL:slave1 二、卸载已安装的MySQL(如果不符合需求) 1.关闭MySQL服务 2.Yum检查 3.安装则直接删除 4.rpm检查 5.如果存在则删

    2024年02月03日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包