实验五 熟悉 Hive 的基本操作

这篇具有很好参考价值的文章主要介绍了实验五 熟悉 Hive 的基本操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

实验环境:
1.操作系统:CentOS 7。
2.Hadoop 版本:3.3.0。
3.Hive 版本:3.1.2。
4.JDK 版本:1.8。
实验内容与完成情况:

(1)创建一个内部表 stocks,字段分隔符为英文逗号,表结构如表 A-6 所示。

create table if not exists stocks ( `exchange` string, `symbol` string, `ymd` string, `price_open` float, `price_high` float, `price_low` float, `price_close` float, `volume` int, `price_adj_close` float ) row format delimited fields terminated by ',';

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

打开数据库
实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(2)创建一个外部分区表 dividends(分区字段为 exchange 和 symbol),字段分隔符为英 文逗号,表结构如表 A-7 所示。

create external table if not exists dividends ( `ymd` string, `dividend` float ) partitioned by(`exchange` string ,`symbol` string) row format delimited fields terminated by ',';

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库
实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(3)从 stocks.csv 文件向 stocks 表中导入数据。

load data local inpath '/test/data/stocks/stocks.csv' overwrite into  table stocks;

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(4) 创建一个未分区的外部表 dividends_unpartitioned,并从 dividends.csv 向其中导入数 据,表结构如表 A-8 所示。

create external table if not exists dividends_unpartitioned ( `exchange` string , `symbol` string, `ymd` string, `dividend` float ) row format delimited fields terminated by ','; load data local inpath '/test/data/dividends/dividends.csv' overwrite into table dividends_unpartitioned;

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(5)通过对 dividends_unpartitioned 的查询语句,利用 Hive 自动分区特性向分区表 dividends 各个分区中插入对应数据。

select t2.`year`,symbol,t2.avg_price from ( select *,row_number() over(partition by t1.`year` order by t1.avg_price desc) as `rank`

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(6)查询 IBM 公司(symbol=IBM)从 2000 年起所有支付股息的交易日(dividends 表中有对应 记录)的收盘价(price_close)。

select s.ymd,s.symbol,s.price_close from stocks s LEFT SEMI JOIN dividends d ON s.ymd=d.ymd and s.symbol=d.symbol where s.symbol='IBM' and year(ymd)>=2000

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(7)查询苹果公司(symbol=AAPL)2008 年 10 月每个交易日的涨跌情况,涨显示 rise,跌显 示 fall,不变显示 unchange。

select ymd, case when price_close-price_open>0 then 'rise' when price_close-price_open

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(8)查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

select `exchange`,symbol,ymd,price_close-price_open as `diff` from ( select * from stocks order by price_close-price_open desc limit 1 )t;

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(9)从 stocks 表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(price_adj_close) 大 于 50 美元的年份及年平均调整后收盘价。

select year(ymd) as `year`, avg(price_adj_close) as avg_price from stocks where `exchange`='NASDAQ' and symbol='AAPL' group by year(ymd) having avg_price > 50

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库

(10)查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整 后收盘价。

select t2.`year`,symbol,t2.avg_price from ( select *,row_number() over(partition by t1.`year` order by t1.avg_price desc) as `rank` from ( select year(ymd) as `year`, symbol, avg(price_adj_close) as avg_price from stocks group by year(ymd),symbol )t1 )t2 where t2.`rank`<=3;

实验五 熟悉 Hive 的基本操作,课程作业,软件质量保证+Java web技术课程实验,hive,hadoop,数据仓库文章来源地址https://www.toymoban.com/news/detail-753821.html

到了这里,关于实验五 熟悉 Hive 的基本操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 程序员都熟悉但不一定说得清的操作系统基本概念

    任何计算机系统都包含一个名为操作系统的基本程序集合。在这个集合里,最重要的程序称为内核(kernel)。当操作系统启动时,内核被装入到RAM中,内核中包含了系统运行所必不可少的很多核心过程(procedure)。其他程序是一些不太重要的使用程序,尽管这些程序为用户提

    2024年02月02日
    浏览(35)
  • 命令行hive的基本操作

    使用SQL语句在命令行创建Hive库: 其中, database_name 是要创建的数据库的名称。例如: 这将在Hive中创建一个名为\\\"mydatabase\\\"的数据库。 使用SQL语句在命令行创建Hive表: 其中, table_name 是要创建的表的名称, column1_name 和 column2_name 是表的列名, column1_type 和 column2_type 是对应列

    2024年03月11日
    浏览(28)
  • Hive概论、架构和基本操作

     Hive是一个构建在Hadoop上的数据仓库框架,最初,Hive是由Facebook开发,后台移交由Apache软件基金会开发,并做为一个Apache开源项目。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 Hive它能够存储很大的数据集,可以

    2023年04月14日
    浏览(33)
  • HIVE基本查询操作(二)——第1关:Hive排序

    第1关:Hive排序 任务描述 本关任务: 2013 年 7 月 22 日买入量最高的三种股票。 相关知识 为了完成本关任务,你需要掌握:1. Hive 的几种排序;2. limit 使用。 hive的排序 ① order by order by 后面可以有多列进行排序,默认按字典排序( desc :降序, asc (默认):升序); order by 为全局排

    2023年04月24日
    浏览(31)
  • 二叉树的基本操作-C语言实现-数据结构作业

    目录  (1)二叉树的创建; (2)二叉树的先序、中序和后序遍历输出; (3)输出二叉树的叶子节点和度为2的节点的数量; (4)输出二叉树的深度; (5)将二叉树所有节点的左右子树互换(左子树变右子树,右子树变左子树); (6)参考书上,二叉树按层次输出(一行输出一层); (7)删除二

    2024年02月04日
    浏览(34)
  • Hive的基本SQL操作(DDL篇)

    目录 ​编辑 一、数据库的基本操作 1.1 展示所有数据库 1.2 切换数据库 1.3 创建数据库 1.4 删除数据库 1.5 显示数据库信息 1.5.1 显示数据库信息 1.5.2 显示数据库详情 二、数据库表的基本操作 2.1 创建表的操作 2.1.1 创建普通hive表(不包含行定义格式) 2.1.2 创建自定义行

    2024年02月07日
    浏览(33)
  • 黑马大数据学习笔记4-Hive部署和基本操作

    p48、51、52 https://www.bilibili.com/video/BV1WY4y197g7/?p=48 Hive是分布式运行的框架还是单机运行的? Hive是单机工具,只需要部署在一台服务器即可。 Hive虽然是单机的,但是它可以提交分布式运行的MapReduce程序运行。 我们知道Hive是单机工具后,就需要准备一台服务器供Hive使用即可。

    2024年02月14日
    浏览(33)
  • Hive基本操作-增删改查和修改库表

    创建数据库 查看数据库 修改数据库属性 删除数据库 新增表 外部表和内部表最大的一个区别是,内部表在删除表的时候,数据会一起被删除,它存储在所属数据库子目录下; 外部表再删除表的时候数据不会被删除,所以外部表更加安全,在工作中也更加常用,存储在指定的

    2024年02月11日
    浏览(28)
  • 第5章:5.4.2 字符串数组的基本操作(MATLAB入门课程)

    ​讲解视频:可以在bilibili搜索《MATLAB教程新手入门篇——数学建模清风主讲》。​ MATLAB教程新手入门篇(数学建模清风主讲,适合零基础同学观看)_哔哩哔哩_bilibili 在文本数据预处理阶段,我们通常需要对字符串数组进行基本的操作。我们将从字符串数组的引用开始,逐

    2024年01月16日
    浏览(32)
  • 深度学习课件-实验1_PyTorch基本操作实验

    使用 𝐓𝐞𝐧𝐬𝐨𝐫 初始化一个 𝟏×𝟑 的矩阵 𝑴 和一个 𝟐×𝟏 的矩阵 𝑵,对两矩阵进行减法操作(要求实现三种不同的形式),给出结果并分析三种方式的不同(如果出现报错,分析报错的原因),同时需要指出在计算过程中发生了什么 利用 𝐓𝐞𝐧𝐬𝐨𝐫

    2024年02月16日
    浏览(24)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包