Hadoop Hive入门

这篇具有很好参考价值的文章主要介绍了Hadoop Hive入门。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0目录

1.linux 安装hive

2.hive入门

3.hive高级语法1

1.linux 安装hive

先确保linux虚拟机中已经安装jdk;mysql和hadoop 并可以成功启动hadoop和mysql

下载hive对应版本到opt/install目录下并解压到opt/soft目录下

Hadoop Hive入门,hive,大数据

重命名 hive312

Hadoop Hive入门,hive,大数据

配置profile 文件,加入hive环境变量

vim /etc.profile

Hadoop Hive入门,hive,大数据

更新资源

source /etc/profile

拷贝mysql connector 到cd/opt/soft/hive312/lib目录下

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

进入 cd/opt/soft/hive312/conf目录

新建vim ./hive-site.xml

编辑

Hadoop Hive入门,hive,大数据

cd /opt/soft/hadoop313目录下查找juava*开头的文件

Hadoop Hive入门,hive,大数据

cd /opt/soft/hive312/lib目录下删除

Hadoop Hive入门,hive,大数据

拷贝juava* (确保版本相同)

cp /opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar ./

初始化hive

hive初始化

[root@kb129 hive312]# schematool -dbType mysql -initSchema

Hadoop Hive入门,hive,大数据

输入hive命令

Hadoop Hive入门,hive,大数据

show databases;

Hadoop Hive入门,hive,大数据

启动metastore和hiveserver2

Hadoop Hive入门,hive,大数据

与数据库建立连接

Hadoop Hive入门,hive,大数据

2.hive基本语法

查看数据库

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

选择数据库

Hadoop Hive入门,hive,大数据

创建表和添加数据

Hadoop Hive入门,hive,大数据

强制删除某个数据库

Hadoop Hive入门,hive,大数据

产看表信息

Hadoop Hive入门,hive,大数据

覆盖原有数据

Hadoop Hive入门,hive,大数据

重命名表名和添加和替换列名

Hadoop Hive入门,hive,大数据

创建内部表

Hadoop Hive入门,hive,大数据

指定上传路径(两种方式)location(hdfs路径) 和load data local inpath(虚拟机路径)

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

分区表(手动分区,根据一个字段名)

Hadoop Hive入门,hive,大数据

分区表(手动分区,根据多个字段名) ;添加和删除分区

Hadoop Hive入门,hive,大数据

动态分区 创建studenttp 导入数据

Hadoop Hive入门,hive,大数据

创建studenttp1 指定分区字段(age和gender)

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

插入数据完成

Hadoop Hive入门,hive,大数据

创建外外部表

Hadoop Hive入门,hive,大数据

路径为hdfs路径

Hadoop Hive入门,hive,大数据

内部表和外部表区别

删除内部表时,表结构和文件同时被删除,外部表只删除表结构

练习(内部表,路径是虚拟机系统路径)

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

外部表(路径是hdfs路径)

Hadoop Hive入门,hive,大数据

记得上传  cd/opt/kb23路径下

hdfs dfs -put ./employee.txt /user/hive/warehouse/kb23hivedb.db/stu/employeefile

Hadoop Hive入门,hive,大数据

union拼接查询结果

Hadoop Hive入门,hive,大数据

写法2

Hadoop Hive入门,hive,大数据

将r1的结果作为r2查询的表(类似sqi子查询)

Hadoop Hive入门,hive,大数据

子查询(先性别男然后名字will)

Hadoop Hive入门,hive,大数据

结果

Hadoop Hive入门,hive,大数据

3.hive高级查询1

Hadoop Hive入门,hive,大数据

删除、修改表

Hadoop Hive入门,hive,大数据

分桶表

Hadoop Hive入门,hive,大数据

创建分桶表

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hdfs查看

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

随机

Hadoop Hive入门,hive,大数据

创建视图

Hadoop Hive入门,hive,大数据

侧视图

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

CTE查询

Hadoop Hive入门,hive,大数据

关联查询

Hadoop Hive入门,hive,大数据

Union

Hadoop Hive入门,hive,大数据

hive四大排序

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

补充in和exists

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

exists的返回值是true和false

wordCount案例

新建表结构和加载数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Case when语句

Hadoop Hive入门,hive,大数据

列转行

Hadoop Hive入门,hive,大数据

练习

新建App表和userapp表

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据

Hadoop Hive入门,hive,大数据文章来源地址https://www.toymoban.com/news/detail-696557.html

到了这里,关于Hadoop Hive入门的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据技术之Hadoop学习(七)——Hive数据仓库

    目录 素材 一、数据仓库简介 1、数据仓库的认识 (1)数据仓库是面向主题的。 (2)数据仓库是随时间变化的。 (3)数据仓库相对稳定 (4)OLTP和OLAP 2、数据仓库的结构 (1)数据源 (2)数据存储及管理 (3)OLAP 服务器 (4)前端工具 3、数据仓库的数据模型 (1)星状模

    2024年02月17日
    浏览(45)
  • hive查看数据库出现org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

    在启动hive后,使用show databses查看数据库时发现,出现了这个错误 根据搜索查找以及分析得知:可能是hive的数据库MySQL在安装的时候没有初始化,初始化数据库即可 schematool -dbType mysql -initSchema  1.在MySQL中删除元数据 drop database metastore; 2.进入hive中的bin里面 ,输入格式化命令

    2024年02月07日
    浏览(56)
  • Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别

    Hive Hadoop Hive 和传统关系型数据库区别 Spark 概念 基于内存的分布式计算框架 只负责算 不负责存 spark 在离线计算 功能上 类似于mapreduce的作用 MapReduce的缺点 运行速度慢 (没有充分利用内存) 接口比较简单,仅支持Map Reduce 功能比较单一 只能做离线计算 Spark优势 运行速度快

    2024年02月13日
    浏览(46)
  • 大数据Hadoop之——部署hadoop+hive+Mysql环境(window11)

    目录 一、安装JDK8 1)JDK下载地址 2)设置环境变量 二、Hadoop安装(window10环境) 1)下载Hadoop3.1.3 2)Hadoop配置环境变量 3)在hadoop解压目录下创建相关目录 4)修改Hadoop配置文件 1、core-site.xml文件:添加以下配置 2、hdfs-site.xml文件:添加以下配置,路径改成自己的安装路径 3、

    2024年02月08日
    浏览(47)
  • 详解数据库、Hive以及Hadoop之间的关系

    数据库是一个用于存储和管理数据的系统。 数据库管理系统(DBMS)是用于管理数据库的软件。 数据库使用表和字段的结构来组织和存储数据。 关系型数据库是最常见的数据库类型,使用SQL(Structured Query Language)进行数据操作和查询。 数据库管理系统(DBMS):数据库管理系

    2024年03月15日
    浏览(58)
  • Hadoop内hive之间,hive与DB、ES等之间数据交互的问题与解决方案

    之前做大数据处理,经常遇到各种问题。很多时候是项目作业简单项配置问题,也可能是导入导出参数配置的问题,也可能是公司Hadoop平台的问题。那么如何排查问题,解决问题?这种事情,除了自己要积累一些大数据的知识和技能外,也需要一些获得一些排查问题的技巧、

    2024年02月01日
    浏览(48)
  • Hive初始化异常:org.apache.hadoop.hive.metastore.HiveMetaException: 加载驱动程序大数据失败

    近年来,随着大数据技术的快速发展,越来越多的企业开始关注和运用大数据处理和分析。然而,在使用Hive进行大数据处理时,有时会遇到一些问题,比如在初始化过程中出现了加载驱动程序大数据失败的异常。本文将介绍这个异常的原因和解决方法,并提供相应的源代码示

    2024年02月04日
    浏览(44)
  • 大数据环境搭建 Hadoop+Hive+Flume+Sqoop+Azkaban

    Hadoop:3.1.0 CentOS:7.6 JDK:1.8 这里网上教程很多,就不贴图了 【内存可以尽量大一些,不然Hive运行时内存不够】 创建tools目录,用于存放文件安装包 将Hadoop和JDK的安装包上传上去 创建server目录,存放解压后的文件 解压jdk 配置环境变量 配置免密登录 配置映射,配置ip地址和

    2024年02月09日
    浏览(43)
  • 大数据:Hadoop基础常识hive,hbase,MapReduce,Spark

    Hadoop是根据Google三大论文为基础研发的,Google 三大论文分别是: MapReduce、 GFS和BigTable。 Hadoop的核心是两个部分: 一、分布式存储(HDFS,Hadoop Distributed File System)。 二、分布式计算(MapReduce)。 MapReduce MapReduce是“ 任务的分解与结果的汇总”。 Map把数据切分——分布式存放

    2024年04月25日
    浏览(55)
  • Hadoop+hive+flask+echarts大数据可视化之系统数据收集

           谈到大数据的项目,一般以数据可视化为主体,收集大数据中的有用信息,存储到分布式存储系统hadoop中,由hive导入hadoop中存储的数据,使用HQL语句对数据进行分析,hive底层会将HQL语句转化成mapreduce程序,flask作为python语言的后台技术,可以连接hive将HQL语句的分析结

    2023年04月13日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包