大数据Hive(介绍+安装+使用)

这篇具有很好参考价值的文章主要介绍了大数据Hive(介绍+安装+使用)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive概述

        对数据进行统计分析,SOL是目前最为方便的编程工具,但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。

        Hive是一款分布式SQL计算的工具,其主要功能是将SQL语句翻译成MapReduce程序运行。

为什么使用Hive

        使用HadoopMapReduce直接处理数据所面临的问题。

        人员学习成本太高需要掌握java、Python等编程语言,MapReduce实现复杂查询逻辑开发难度太大。

使用Hive处理数据的好处

        操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)

        底层执行MapReduce,可以完成分布式海量数据的SQL处理 。

Hive的组件

        架构图如下

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

  • 元数据存储

        通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。- Hive提供了Metastore 服务进程提供元数据管理功能 

  • Driver驱动程序

        包括语法解析器、计划编译器、优化器、执行器,负责完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有执行引擎调用执行。

  •  用户接口

        包括CLI、JDBC/0DBC、WebGUl其中,CL(command line interface)为shell命令行; Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于IDBC或ODBC协议。WebGUI是通过浏览器访问Hive。

MySQL安装

        因为hive的运行需要有一个数据库进行元数据存储,所以需要先安装数据库。 

       下载地址,下载.tar的,解压就可以用了。

   大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

mysql安装 

a、上传mysql安装包
b、解压mysql安装包
[root@hadoop1 ~]# tar -zxvf /soft/mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
[root@hadoop1 ~]# cd /usr/local
# 重命名为mysql
[root@hadoop1 local]# mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql
c、配置mysql的环境变量
[root@hadoop1 ~]# vi /etc/profile
# mysql的环境变量
export MYSQL_HOME=/usr/local/mysql
export PATH=$MYSQL_HOME/bin:$PATH
d、生效mysql的环境变量
[root@hadoop1 ~]# source /etc/profile
e、测试(报错将在下一个环节处理)
[root@hadoop1 ~]# mysql
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

创建 mysql 属组、用户、安装目录 

# 创建新数组 mysql
[root@hadoop1 ~]# groupadd mysql
# 创建用户 mysql ,指定属组为 mysql,禁止其登录
[root@hadoop1 ~]# useradd -r -g mysql mysql -s /sbin/nologin

 配置mysql

# 创建数据存储目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/data/
# 创建数据日志目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/log/
# 创建临时文件目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/tmp/
# 创建运行文件目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/run/
# 创建启动错误日志
[root@hadoop1 ~]# touch /usr/local/mysql/log/mysqld_safe_error.log
# 创建默认的错误日志目的地
[root@hadoop1 ~]# touch /usr/local/mysql/log/alert.log
# 创建慢查询日志文件
[root@hadoop1 ~]# touch /usr/local/mysql/log/slow.log
# 创建通用查询日志文件的
[root@hadoop1 ~]# touch /usr/local/mysql/log/general.log

 编辑my.cnf配置文件,将以下内容写入配置文件 /etc/my.cnf

# mysqld_safe脚本启动时读取的配置
[mysqld_safe]
# 存放 MySQL 后台程序 pid 的文件位置
pid-file=/usr/local/mysql/run/mysqld.pid
# 启动错误日志
log-error=/usr/local/mysql/log/mysqld_safe_error.log

# 本地 mysql 客户端程序的配置块
[mysql]
# 本地 mysql 客户端连接的端口
port=3306
# 本地 mysql 客户端命令行提示信息
prompt=\\u@\\d \\r:\\m:\\s>
# 本地 mysql 客户端字符集
default-character-set=utf8mb4
# 开启命令补全
no-auto-rehash

# 所有mysql客户端程序读取的配置块
[client]
# 连接端口
port=3306
# mysql的主机和客户机在同一host上的时候,使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock

# mysql服务端程序mysqld、mysqld_safe和mysqld_multi的配置文件
[mysqld]
# 进程崩溃时生成core file dump文件,便于程序调试和问题排查
core-file
# 该参数指定了安装 MySQL 的安装路径(mysql安装目录),填写全路径可以解决相对路径所造成的问题。
basedir=/usr/local/mysql
# 该参数指定MySQL的数据文件的存放目录,数据库文件即我们常说的 MySQL data 文件。
datadir=/usr/local/mysql/data
# 临时目录
tmpdir=/usr/local/mysql/tmp
# 用于错误消息的区域设置。默认值是en_US。服务器将参数转换为语言名,并将其与lc_messages_dir的值结合,以生成错误消息文件的位置。
lc_messages=zh_CN
# 错误消息所在的目录。服务器使用该值和lc_messages的值来生成错误消息文件的位置。
lc_messages_dir=/usr/local/mysql/share
# 默认的错误日志目的地。如果目标是控制台,则值为stderr。否则,目标是一个文件,log_error值是文件名。
log-error=/usr/local/mysql/log/alert.log
# 慢查询日志文件名。默认值是host_name-slow.log,但可以通过slow_query_log_file选项更改初始值。
slow_query_log_file=/usr/local/mysql/log/slow.log
# 通用查询日志文件的名称。默认值是host_name.log,但初始值可以通过general_log_file选项更改。
general_log_file=/usr/local/mysql/log/general.log
# mysql的主机和客户机在同一host上的时候,使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock
# 服务端字符集
character-set-server=utf8mb4
# 此变量控制写入错误日志的消息中的时间戳的时区,以及写入文件的一般查询日志和慢查询日志消息中的时间戳的时区。
log_timestamps=SYSTEM
# 操作系统中可用于mysqld的文件描述符的数量。
open_files_limit=61535
# 同时允许的最大客户端连接数。
max_connections=1000
# mysql_stmt_send_long_data() C API函数发送的一个包或任何生成/中间字符串的最大大小,或任何参数的最大大小。默认是64MB。
max_allowed_packet=1G
# 如果设置为0,表名将按指定的方式存储,并且比较区分大小写。如果设置为1,表名将以小写形式存储在磁盘上,比较不区分大小写。如果设置为2,则表名按给定值存储,但以小写进行比较。此选项也适用于数据库名称和表别名。
lower_case_table_names=1
# 慢查询日志是否开启。取值为0(或OFF)表示关闭日志,取值为1(或ON)表示打开日志。默认值取决于是否给出——slow_query_log选项。日志输出的目标由log_output系统变量控制;如果该值为NONE,则即使启用了日志,也不会写入任何日志项。
slow_query_log=1
# validate_password插件的加载方法
plugin-load-add=validate_password.so
# validate-password在服务器启动时使用该选项来控制插件的激活
validate-password=FORCE_PLUS_PERMANENT

 初始化后需记住localhost@root: 后面的内容,就是本机root用户的初始密码,需要记录下来。

# 将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 ~]# chown -R mysql:mysql /usr/local/mysql
# 初始化数据库
[root@hadoop1 ~]# cd /usr/local/mysql
[root@hadoop1 mysql]# ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
# 再次将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 mysql]# chown -R mysql:mysql /usr/local/mysql
# 将安装目录的 rwx 授予其所属用户mysql
[root@hadoop1 mysql]# chmod u+wrx -R /usr/local/mysql

 如果忘记看了,则查看文件/usr/local/mysql/log/alert.log中

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

启动mysql服务

# 启动mysql服务
service mysqld start
# 停止mysql服务
service mysqld stop
# 重启mysql服务
service mysqld restart
# 查看mysql服务是否启动
service mysqld status

登录mysql

# 登录Mysql
# mysql -h[ip地址] -u[用户名] -p
mysql -uroot -p
# 密码是前面记录的初始密码

设置密码

-- 设置密码验证安全级别
set global validate_password_policy=LOW; 
-- 设置密码验证最小长度
set global validate_password_length=6;
-- 设置密码为123456(根据自己的想法设置)
alter user root@localhost identified by '123456';

Hive的部署

        因为hive本身是一个单机的工具,所以只要在一台机器上部署就行了。

        1.配置hadoop,让hive代理hadoop,打开hadoop/etc/hadoop/core-site.xml。配置完成后通过scp命令分发给另外两台机器。

#在<configuration></configuration>中加上以下代码

	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>*</value>
	</property>

         2.下载并解压Hive

        下载连接,apache-hive-3.1.3-bin.tar.gz

        下载完成后上传到Linux服务器中,并用tar -zxvf命令解压

 tar -zxvf apache-hive-3.1.3-bin.tar.gz


#改名为hive

mv apache-hive-3.1.3-bin hive

        3.下载mysql驱动包放入hive/lib目录下

        下载地址,下载完成后解压,只上传mysql-connector-j-8.3.0.jar即可。

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        4.在Hive的conf目录内,将hive-env.sh.template文件复制并重命名为hive-env.sh文件,填入以下环境变量内容

#复制
cp hive-env.sh.template hive-env.sh

#加入以下内容
export HADOOP_HOME=/data/root/env/environment/hadoop
export HIVE_CONF_DIR=/data/root/env/environment/hive/conf
export HIVE_AUX_JARS_PATH=/data/root/env/environment/hive/lib

        5.在Hive的conf目录内,将hive-default.xml.template文件复制并重命名为hive-site.xml文件,然后在<configuration></configuration>中增加连接数据库的配置

cp hive-default.xml.template hive-site.xml



<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
</property>


#javax.jdo.option.ConnectionURL:元数据连接的数据库地址
#javax.jdo.option.ConnectionDriverName:元数据所用数据库的驱动
#javax.jdo.option.ConnectionUserName:元数据登录用户
#javax.jdo.option.ConnectionPassword:元数据登录密码

        6.进入mysql,创建hive数据库 ,授予权限给用户root

CREATE DATABASE hive;

grant all on *.* to 'root'@'%';

        7.初始化Hive,在hive/bin目录下执行以下命令

./schematool -initSchema -dbType mysql

         报错大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

         解决办法:进入hive-site.xml文件中的第3215行,删除第97列的符号“&#8”

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        初始化完成可以到mysql中查看hive数据库,发现数据库已经有了74个表

        大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        进入/etc/profile文件,添加hive变量

        大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        添加完成后使用source /etc/profile生效环境变量

        

        8.启动hvie

        在hive目录下创建一个logs文件夹用来保持日志,创建temp文件夹

mkdir logs
mkdir temp

       替换/hive/conf/hive-site.xml文件夹中的${system:java.io.tmpdir},用temp的绝对路径替换。

两个都要改。

        大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        启动元数据管理服务(如果metastore启动报错JAVA拒绝连接是因为没有打开Mysql服务)

#二选一即可
#后台执行方法
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

#前台执行方法
hive --service metastore

        通过jps可以查看到Runjar就是metastore进程

         大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

         启动hive(启动之前确保hdfs和yarn已经开启,不然会报错

hive

         报错

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

         解决办法:退出安全模式

hdfs dfsadmin -safemode leave

         查询数据库,如果查询成功说明安装完成

        大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

Hive的操作

        1.简单的SQL语句,创建、插入、查询

#创建表
CREATE TABLE test(id INT,name STRING);

#插入数据
INSERT INTO test VALUES(1, 'SAM'),(2, 'DIVE'),(3, 'TOM');

#查询内容
SELECT * FROM test;

#带计算的查询
SELECT COUNT(*) FROM test;

       当我们在执行插入语句或者SQL语句中含有计算的时候,发现该语句执行了一分钟左右才完成,这是因为Hive其实执行的是MapReduce分布式计算。 

       大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

        当我们创建完表后,它会存入到我们hdfs文件系统中(默认放在/user/hive/warehouse中),可以用命令查看

hdfs dfs -ls /user/hive/warehouse

hdfs dfs -cat /user/hive/warehouse/test/*

        大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop

HiveServer2服务

       HiveServer2是Hive内置的一人ThriftServer服务,提供Thrift端口供其它客户端链接使用hive

#二选一即可
#后台执行方法
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

#前台执行方法
hive --service hiveserver2

        使用DataGrip连接hive,并查询数据库

大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop大数据Hive(介绍+安装+使用),大数据hadoop+hive,大数据,hive,hadoop文章来源地址https://www.toymoban.com/news/detail-849793.html

到了这里,关于大数据Hive(介绍+安装+使用)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

    网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。 由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。 机器信息 Hostname k8s-master k8s-node1 k8

    2024年02月06日
    浏览(51)
  • Hadoop、Hive安装

    Linux系统:Centos,版本7.0及以上 JDK:jdk1.8 Hadoop:3.1.3 Hive:3.1.2 虚拟机:VMware mysql:5.7.11 工具下载地址: https://pan.baidu.com/s/10J_1w1DW9GQC7NOYw5fwvg?pwd=0kdr 提取码: 0kdr 提示:以下是本篇文章正文内容,下面案例可供参考 下载jdk-8u181-linux-x64.tar.gz包,将此包上传至/opt 目录下。 使用

    2024年02月08日
    浏览(33)
  • hadoop集群搭建+hive安装

    VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysql:mysql-connector-java-8.0.19 jdk:jdk-8u91-linux-x64.tar(注意要是linux版本的,因为是在linux系统中创建虚拟机) hive:hive1.2.1 小技巧: 右键单击可以paste 1.选择典型即可 2.将ubuntu镜像文件导入: 3.用户名要记住

    2024年02月05日
    浏览(103)
  • Hadoop之Hive的安装配置(详细步骤)

    配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压安装包 输入解压命令: 配置  1、配置环境变量 在文件末尾增加如下内容: 使环境变量生效 进入 cd /home/ZQ/apache-hive-2.1.1-bin/conf/ 2、配置hive-env.sh  如果有hive-env.sh.template文件则输入下面的命令将 hive-

    2024年02月04日
    浏览(40)
  • 数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)

    概述 为了解决数据存储和计算引擎之间的适配的问题,Netflix开发了Iceberg,2018年11月16日进入Apache孵化器,2020 年5月19日从孵化器毕业,成为Apache的顶级项目。 Iceberg是一个面向海量数据分析场景的 开放表格式(Table Format) 。表格式(Table Format)可以理解为 元数据以及数据文

    2024年02月10日
    浏览(42)
  • 大数据之Hadoop数据仓库Hive

    Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL 查询功能,用于查询的 SQL 语句会被转化为 MapReduce 作业,然后提交到 Hadoop 上运行。 特点: 简单、容易上手 (提供了类似 sql 的查询语言 hql),使得精通 sql 但是不了解 Java 编程的人也

    2024年02月01日
    浏览(54)
  • 自动化脚本一键安装 jdk,hadoop,hive

    网盘资源如下 链接: https://pan.baidu.com/s/1wKHRjcqJHRTcvmHOxsn0Bw?pwd=qh8h 提取码: qh8h 使用该脚本有几个地方需要修改成自己设备相应属性,还有一些注意事项 (1)脚本开头 分别对应 jdk、hadoop、hive 安装 false 是不安装 true 是安装 (2)安装 hive 这条语句里的 ip 换成你自己的 这条语句

    2024年02月09日
    浏览(49)
  • 【hadoop——Hive的安装和配置】保姆式教学

      目录 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: 3.然后切换至目录 /usr/local,将文

    2023年04月22日
    浏览(43)
  • HDFS 跨集群数据同步(hive,hadoop)

    两个不同的HDFS 集群数据迁移( A集群的数据 - B 集群) 采用的是 SHELL 脚本  按表进行; 日期分区进行; #!/bin/bash ##################### #创建人:DZH #创建日期: 2020-04 #内容: 数据迁移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 获取执

    2024年04月27日
    浏览(58)
  • 大数据技术之Hadoop学习(七)——Hive数据仓库

    目录 素材 一、数据仓库简介 1、数据仓库的认识 (1)数据仓库是面向主题的。 (2)数据仓库是随时间变化的。 (3)数据仓库相对稳定 (4)OLTP和OLAP 2、数据仓库的结构 (1)数据源 (2)数据存储及管理 (3)OLAP 服务器 (4)前端工具 3、数据仓库的数据模型 (1)星状模

    2024年02月17日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包