Hive安装配置详解(提供实验平台)

这篇具有很好参考价值的文章主要介绍了Hive安装配置详解(提供实验平台)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一). Hive的安装与配置

1. 前置说明

实验平台直达链接

任务描述

在已安装Hadoop的基础上安装配置好Hive并运行。

相关知识

完成本次任务,需要掌握:

1.Hive的基本安装;

2.Mysql的安装与设置;

3.Hive的配置。

注意:本次实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。

2. 基本配置

2.1 解压缩
cd /opt

tar -zxf apache-hive-3.1.0-bin.tar.gz

mv apache-hive-3.1.0-bin hive

Hive安装配置详解(提供实验平台)

2.2 配环变
vim /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

Hive安装配置详解(提供实验平台)

解决包的冲突问题

rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar
2.3 Mysql配置
sudo apt-get install mysql-server   #安装mysql服务

apt-get install mysql-client        #安装mysql客户端

sudo apt-get install libmysqlclient-dev  #安装相关依赖环境

Hive安装配置详解(提供实验平台)
Hive安装配置详解(提供实验平台)

2.3.1 Mysql驱动
tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd mysql-connector-java-5.1.45

cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/

Hive安装配置详解(提供实验平台)

2.3.2 设置Mysql

Hive安装配置详解(提供实验平台)

3. Hive 配置

3.1 文件配置
  • hive-site.xml

hive-site.xml保存Hive运行时所需要的相关配置信息。

<configuration>
        <property>
         <name>hive.metastore.warehouse.dir</name>
         <value>/opt/hive/warehouse</value>
         </property>
         <property>
         <name>hive.exec.scratchdir</name>
         <value>/opt/hive/tmp</value>
         </property>
         <property>
         <name>hive.querylog.location</name>
         <value>/opt/hive/logs</value>
         </property>
         <property>
         <name>hive.server2.thrift.port</name>
         <value>10000</value>
         </property>
         <property>
         <name>hive.server2.thrift.bind.host</name>
         <value>localhost</value>
         </property>
         <property>
         <name>hive.server2.enable.doAs</name>
         <value>true</value>
         </property>
         <property>
         <name>hive.session.id</name>
         <value>false</value>
         </property>
         <property>
         <name>hive.session.silent</name>
         <value>false</value>
         </property>
         <property>
         <name>javax.jdo.option.ConnectionURL</name>
         <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
         </property>
         <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>com.mysql.jdbc.Driver</value>
         </property>
         <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>bee</value>
         <!-- 这里是之前设置的数据库 -->
         </property>
         <property>
         <name>javax.jdo.option.ConnectionPassword</name>
         <!-- 这里是数据库密码 -->
         <value>123123</value>
         </property>
</configuration>
  • hive-env.sh

由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构,主要运行在 Hadoop分布式环境下,因此,需要在文件hive-env.sh中指定Hadoop相关配置文件的路径,用于Hive访问HDFS(读取fs.defaultFS属性值)和 MapReduce(读取mapreduce.jobhistory.address属性值)等Hadoop相关组件。

如果目录下没有该文件,我们就以hive-env.sh.template为模板复制一个cp hive-env.sh.template hive-env.shvim hive-env.sh打开文件,在文件末尾添加变量指向 Hadoop 的安装路径

HADOOP_HOME=/usr/local/hadoop  #在本地环境安装,要根据自己hadoop的路径来确定

Hive安装配置详解(提供实验平台)

4. Hive 启动

4.1 启动hadoop

Hive安装配置详解(提供实验平台)

4.2 元数据写入

第一次启动Hive前还需要执行初始化命令

schematool -dbType mysql -initSchema

二). Hive Shell基础命令

1. 前置说明

实验平台直达链接

任务描述

本关任务:按照编程要求,在Hive下创建表。

相关知识

Hive Shell运行在Hadoop集群环境上,是Hive提供的命令行接口(CLI),在Hive提示符输入HiveQL命令,Hive ShellHQL查询转换为一系列MapReduce作业对任务进行并行处理,然后返回处理结果。

为了完成本实验的任务,需要掌握:Hive Shell常用命令 。

Hive Shell 常用命令

注意:Hive命令必须以分号;结束。

2. 具体操作

2.1 交互式运行

Hive的安装与配置基础上

  • 启动 Hive Shell:hive
  • 查询数据库:show databases;
  • 查询表:show tables;

Hive安装配置详解(提供实验平台)

因为该数据库下没有创建表,所以输出结果为0行。

  • 创建数据库mydbcreate database mydb;

  • 删除数据库mydbdrop database mydb;

  • 创建表mytable,有id字段,数据类型为intcreate table mytable(id int);

  • 删除表mytabledrop table mytable;

  • 退出 Hive Shell:exit;

Hive安装配置详解(提供实验平台)

2.2 非交互式运行

可以在不启动Hive Shell,直接在Linux的命令行操作Hive

  • hive -e 'show databases;'
  • hive -S -e 'show databases;'

Hive安装配置详解(提供实验平台)

Hive的交互式模式和非交互式模式下,执行HiveQL操作都会输出执行过程信息,如执行查询操作所用时间,通过指定-S选项可以禁止输出此类信息。

3. 测试任务

请根据左侧知识点的描述,在右侧命令行中使用 Hive 进行创表 ,具体任务如下:

Hive Shell下创建一个表student,表结构如下:

col_name data_type
id int
name string
age int
hive> create table student(id int,name string,age int);

Hive Shell下创建一个表student,表结构如下:

col_name data_type
id int
name string
age int
hive> create table student(id int,name string,age int);

Hive安装配置详解(提供实验平台)

申明:以上所有流程基于头歌实验平台提供的环境,如需实操点击直达链接跳转即可开启实验,文章仅作记录文章来源地址https://www.toymoban.com/news/detail-452046.html

到了这里,关于Hive安装配置详解(提供实验平台)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据平台搭建之hive本地模式安装

            Hive 是一个开源的数据仓库基础设施,用于查询和分析大规模数据集。它建立在 Hadoop 上,并提供了类似于传统数据库的查询和分析功能。         Hive 使用 HiveQL(类似于 SQL)作为查询语言,允许用户通过类 SQL 的语法编写查询语句,这些查询语句会被转换为

    2024年02月07日
    浏览(40)
  • 大数据平台环境搭建---- Hive&MySql数据库组件配置

    前置环境 Hadoop集群必须部署完成,如果还没有搭建请先前往Hadoop全分布搭建笔记 程序版本 hive 1.1.0 mysql 5.7.25 mysql-connector-java-5.1.39-bin.jar 资源下载 官网下载: mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar :https://downloads.mysql.com/archives/community/  链接:https://pan.xunlei.com/s/VNoQg4wdxda5by6L8Lvug9e

    2024年01月25日
    浏览(62)
  • DVWA平台搭建+SQL注入实验详解

    实现1: 实现DVWA平台的搭建,为后续的SQL注入提供练习环境; 实现2: 进行SQL注入的练习,目的是了解因web应用程序对用户输入数据的合法性没有判断或过滤不严,而造成的危害,以便后续更好地掌握对其的防御手段,提高网络安全意识; 1、下载phpstudy安装包 (注意:如果

    2024年02月05日
    浏览(52)
  • 平台使用篇 | RflySim飞控底层实验平台配置介绍

    本课程提供的实验平台总体可以分成两个部分:硬件平台和软件平台。本讲简要介绍各个部分的基本组成及实验开发流程。 平台使用篇-RflySim飞控底层实验平台配置介绍 0 1  电脑配置 1.1推荐配置 •系统:Windows 10 x64系统(版本大于等于1809) •CPU:Intel i7 八代处理器及以上,

    2024年02月12日
    浏览(31)
  • Hive的安装与配置——第1关:Hive的安装与配置

    第1关:Hive的安装与配置 任务描述 本关任务:在已安装 Hadoop 的基础上安装配置好 Hive 并运行。 相关知识 为了完成本关任务,你需要掌握: 1. Hive 的基本安装; 2. Mysql 的安装与设置; 3. Hive 的配置。 **注意:**本关实训 Hive 的安装与配置建立在 Hadoop 已安装配置好的情况下。

    2024年01月17日
    浏览(54)
  • HNU-数据挖掘-实验1-实验平台及环境安装

    计科210X 甘晴void 202108010XXX Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python 是 FLOSS(自由/开放源码软件)之一。Python 的设计具有很强的可读性,相比其他语言经常使用英文,其他语言的一些标点符号,它具有比其他语言更有特色语法

    2024年01月22日
    浏览(56)
  • CDH大数据平台 24Cloudera Manager Console之hbase、hive整合配置(markdown新版)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月01日
    浏览(44)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(40)
  • hive(一)hive的安装与基本配置

    目录 一、前提: 二、安装步骤: 1、上传jar包至/usr/local/soft 2、解压并重命名 3、配置环境变量  三、配置HIVE文件 1、配置hive-env.sh 2、配置hive-site.xml  3、配置日志 4、修改默认配置文件  5、上传MySQL连接jar包 四、修改MySQL编码 1、 编辑配置文件 2、加入以下内容: 3、 重启

    2023年04月09日
    浏览(26)
  • hive的安装配置笔记

    1.上传hive安装包 2.解压 3.配置Hive(在一台机器上即可) 4.运行hive     发现内置默认的metastore存在问题(1.换执行路径后,原来的表不存在了。2.只能有一个用户访问同一个表)      5.配置mysql的metastore         查询以前安装的mysql相关包         暴力删除这个包         上

    2024年02月06日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包