Hive-安装与配置(1)

这篇具有很好参考价值的文章主要介绍了Hive-安装与配置(1)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@
本文章收录于专栏(点击传送):【大数据学习】

💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

1.Hive环境介绍

Hive在Hadoop生态系统中运行,依赖Hadoop分布式文件系统(HDFS)和YARN资源管理器。它由以下几个主要组件组成:

  • 元数据存储:Hive使用关系型数据库(如MySQL、Derby等)来存储元数据,包括表的结构、分区信息、数据位置等。
  • Hive服务:Hive提供Hive CLI(命令行界面)和HiveServer2两种服务方式。Hive
  • CLI用于交互式查询和脚本执行,而HiveServer2允许通过JDBC或ODBC连接进行远程查询。
  • 查询执行引擎:Hive将HiveQL查询语句转换为MapReduce作业或Tez任务,并通过Hadoop集群执行这些作业。此外,Hive还支持LLAP(低延迟分析查询协议)引擎,用于加速查询执行。
  • 数据格式:Hive支持多种数据格式,包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。
    Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

2.搭建环境准备

本次用到的环境有:
1)Oracle Linux 7.4
2)Hadoop2.7.4
3)Hive2.1.1
4)Mysql5.5.57
5)Java1.8.0_144

3.建立Hive元数据库

1.进入MySQL命令窗口

mysql

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

2.建立Hive元数据需要的MySQL下的数据库“hive”,并赋予相应权限

create database hive;
grant all privileges on *.* to 'root'@'master' identified by 'root';
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

3.查看数据库“hive”的权限

SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

4.退出MySQL命令窗口

quit;

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

4.安装配置Hive

1.解压Hive压缩包至/opt目录下。

tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/
ll /opt/

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。

mv /opt/apache-hive-2.1.1-bin /opt/hive
ll /opt/

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。

cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/
ll /opt/hive/lib/mysql-*

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

4.打开配置Hive环境变量的文件profile。

vim /etc/profile

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

5.敲键盘“i”键,使profile处于可插入状态,配置Hive环境变量参数。

export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH=$HIVE_HOME/bin:$PATH

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

6.按“ESC”键,敲“:wq!”命令,按回车保存并退出profile文件。

:wq!

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

7.使profile文件配置生效。

source /etc/profile

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

8.查看hive的环境变量是否生效。

echo $PATH

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

9.进入Hive配置文件的目录。

cd /opt/hive/conf/
ll

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

10.生成hive-site.xml文件。

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml
ll

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

11.打开配置hive-site.xml文件。

vim /opt/hive/conf/hive-site.xml

12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删

22gg
5327dd

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

13.删除hive-site.xml文件指定内容后的文件全部内容如下。
Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

14.通过键盘敲入”i”,使更改后的hive-site.xml文件处于可编辑状态,即可在文件下方看到“INSERT”或“插入”的字样。
Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容(即Code001的所有内容)全部复制到hive-site.xml文件中与标签之间,粘贴的所有内容如下:

<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/data/hive/warehouse</value>
</property>
<property>
	<name>hive.metastore.local</name>
	<value>true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://master/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
</property>
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

16.注意粘贴(点击文档的空白处,点击鼠标右键,即可看到“粘贴”或“Paste”选项,选中它完成粘贴)的位置位于标签与之间。
Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

17.粘贴后的hive-site.xml文件如下所示,按ESC键,录入“:wq!”退出并保存文件。

:wq!

Hive-安装与配置(1),大数据技术学习,运维,hadoop,分布式,大数据,hive

至此Hive的安装与配置就结束了,如果本篇文章对你有帮助记得点赞收藏+关注~文章来源地址https://www.toymoban.com/news/detail-685428.html

到了这里,关于Hive-安装与配置(1)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

    **相关资源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,请点击链接获取文件 1.检查是否安装ssh (CentOS 7 即使是最小化安装也已附带openssh 可跳过本步骤) 若已安装进行下一步骤 若未安装 请自行百度 本教程不做过多讲解 2.配置ss

    2023年04月08日
    浏览(43)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(53)
  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署

    目录 环境条件: 1、安装虚拟机(已安装好虚拟机的可跳转至  二、安装JDK与Hadoop) (1)直接新建一台虚拟机 (2)首次启用虚拟机,进行安装 一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录) 1、查看一下本机与虚拟机的网卡和ip信息 (1)

    2024年02月06日
    浏览(49)
  • 大数据存储技术(1)—— Hadoop简介及安装配置

    目录 一、Hadoop简介 (一)概念 (二)Hadoop发展历史 (三)Hadoop三大发行版本 (四)Hadoop的优势  二、Hadoop的组成  (一)Hadoop1.x和Hadoop2.x的区别​编辑 (二)Hadoop的三种运行模式 (三)HDFS架构概述 (四)YARN架构概述 (五)MapReduce架构概述 (六)大数据技术生态体系 

    2024年02月04日
    浏览(41)
  • (最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

    网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。 由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。 机器信息 Hostname k8s-master k8s-node1 k8

    2024年02月06日
    浏览(51)
  • Hadoop伪分布式安装配置

    1、添加用户组 [root@hadoop00 ~]# groupadd hadoop 2、添加用户并分配用户组 [root@hadoop00 ~]# useradd -g hadoop hadoop 3、修改hadoop用户密码 [root@hadoop00 ~]# passwd hadoop 1、上传系统安装镜像到虚拟机服务器的/root目录 2、新建挂载点目录 [root@hadoop00 ~]# mkdir /mnt/centos 3、挂载镜像        [root@h

    2024年01月24日
    浏览(49)
  • Hadoop(01) Hadoop3.3.6安装教程,单机/伪分布式配置

    在安装 Hadoop 3.3.6 前,需要满足以下前置条件: Java Development Kit (JDK):Hadoop 是用 Java 编写的,因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK,并设置 JAVA_HOME 环境变量。 SSH:Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在

    2024年02月06日
    浏览(49)
  • Hadoop之Hive的安装配置(详细步骤)

    配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压安装包 输入解压命令: 配置  1、配置环境变量 在文件末尾增加如下内容: 使环境变量生效 进入 cd /home/ZQ/apache-hive-2.1.1-bin/conf/ 2、配置hive-env.sh  如果有hive-env.sh.template文件则输入下面的命令将 hive-

    2024年02月04日
    浏览(40)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(46)
  • 【hadoop——Hive的安装和配置】保姆式教学

      目录 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: 3.然后切换至目录 /usr/local,将文

    2023年04月22日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包