大数据应用——Hive操作示例

这篇具有很好参考价值的文章主要介绍了大数据应用——Hive操作示例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 启动Hive完成如下任务:

(1)新建member表
(2)将本地文件“/home/hadoop/member.txt”导入 member表中

  (3)查询member表中所有记录

(4)查询member表中男同学(性别值为1)数据

  (5)查询member表中22岁男同学数据
  (6)统计member表中男同学和女同学(性别值为0)的人数

  (7)删除 member表。

关键操作步骤:

所有操作在client上以root用户身份执行

打开hive前先打开hdfs和yarn,如下图所示:

① 在第一台hadoop101上先开启hdfs

大数据应用——Hive操作示例

② jps查看hdfs的进程

hadoop101(master)DataNode NameNode

大数据应用——Hive操作示例

hadoop102(slave):DataNode 

 大数据应用——Hive操作示例

hadoop103(slave):DataNode  SecondaryNameNode

 大数据应用——Hive操作示例

③ 在第二台hadoop102上开启yarn

大数据应用——Hive操作示例

 ④ jps查看yarn的进程

hadoop101(master):DataNode NameNode NodeManager

大数据应用——Hive操作示例

hadoop102(slave):DataNode  ResourceManager  NodeManager

大数据应用——Hive操作示例

hadoop103(slave):DataNode  SecondaryNameNode NodeManager 

 大数据应用——Hive操作示例

 在开启后以上进程然后进入hive下面操作即可。

大数据应用——Hive操作示例

(1)在本地文件系统建立文件“/home/hadoop/member.txt”,用","分隔开。

数据如下:

20200,sz,0,21

20201,hz,1,22

20202,zt,0,22

20203,xy,1,21

20204,zb,1,22

大数据应用——Hive操作示例

(2)启动Hive后显示所有Hive表

大数据应用——Hive操作示例

 (3)新建member表

大数据应用——Hive操作示例

 大数据应用——Hive操作示例

 (4)将本地文件'/home/hadoop/member.txt'中的数据导入member表

大数据应用——Hive操作示例

 (5)查询member表中所有记录大数据应用——Hive操作示例

 (6)查询member表中男同学数据

大数据应用——Hive操作示例

 (7)查询member表中22岁男同学数据

大数据应用——Hive操作示例

 (8)查询member表中男同学和女同学的人数

大数据应用——Hive操作示例

大数据应用——Hive操作示例 操作复杂语句之前记得先把防火墙关闭!!!大数据应用——Hive操作示例

  (9)删除member表

大数据应用——Hive操作示例

(10)退出Hive

大数据应用——Hive操作示例

 文章来源地址https://www.toymoban.com/news/detail-457870.html

到了这里,关于大数据应用——Hive操作示例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一、Hive数据仓库应用之Hive部署(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务运行。Hive具有稳定和简单易用的特性,成为了当前企业在构建企业级数据仓库时使用较为普遍的大数据组件之一。 本实验内容主要

    2024年02月03日
    浏览(26)
  • Hive-启动与操作(2)

    🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页:beixi@ 本文章收录于专栏(点击传送):【大数据学习】 💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓 上一篇文章写到了Hive的安装与配置,这篇文章接着上篇文章延伸Hive的启动与操作,如果Hive没有安装成

    2024年02月09日
    浏览(22)
  • 13.108.Spark 优化、Spark优化与hive的区别、SparkSQL启动参数调优、四川任务优化实践:执行效率提升50%以上

    13.108.Spark 优化 1.1.25.Spark优化与hive的区别 1.1.26.SparkSQL启动参数调优 1.1.27.四川任务优化实践:执行效率提升50%以上 1.1.25.Spark优化与hive的区别 先理解spark与mapreduce的本质区别,算子之间(map和reduce之间多了依赖关系判断,即宽依赖和窄依赖。) 优化的思路和hive基本一致,比较

    2024年02月10日
    浏览(35)
  • 【大数据Hive】hive 优化策略之job任务优化

    目录 一、前言 二、hive执行计划 2.1 hive explain简介 2.1.1 语法格式

    2024年02月05日
    浏览(29)
  • Hive基础知识(十一):Hive的数据导出方法示例

    1)将查询的结果导出到本地 2)将查询的结果格式化导出到本地(加上一个以“,”隔开数据的格式) 3)将查询的结果导出到 HDFS 上(没有 local) 基本语法:(hive -f/-e 执行语句或者脚本 file) 导出的数据中有两个数据源,其中除了主信息之外,还包括记录主数据信息的元数据

    2024年01月22日
    浏览(32)
  • SpringBoot 动态操作定时任务(启动、停止、修改执行周期)增强版

    前段时间编写了一篇博客 SpringBoot 动态操作定时任务(启动、停止、修改执行周期 ,该篇博客还是帮助了很多同学。 但是该篇博客中的方法有些不足的地方: 只能通过前端控制器controller手动注册任务。【具体的应该是我们提前配置好我们的任务,配置完成后让springboot应用

    2024年02月13日
    浏览(31)
  • 大数据HIVE篇--控制hive任务中的map数和reduce数

    一、 控制hive任务中的map数: 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 举例: a) 假设input目

    2024年02月05日
    浏览(27)
  • 任务15:使用Hive进行全国气象数据分析

    任务描述 知识点 : 使用Hive进行数据分析 重  点 : 掌握Hive基本语句 熟练使用Hive对天气数据进行分析 内  容 : 使用Hive创建外部表 使用Hive对数据进行统计分析 任务指导 1. 使用Hive创建基础表 将China_stn_city.csv文件上传到HDFS的/china_stn目录中 启动metastore(后台运行) 进入

    2024年01月16日
    浏览(44)
  • 使用任务计划开机启动ASP.NET Core应用程序

    ASP.NET Core应用程序现在是一个控制台应用程序,在Windows上直接双击启动,但如果想让开发完成的ASP.NET Core应用程序开机启动,可以将ASP.NET Core应用程序修改成Windows服务运行,但这需要额外添加代码,也可以使用IIS来托管ASP.NET Core应用程序,但可能需要安装一些支持IIS的组件

    2024年02月08日
    浏览(46)
  • 无人机路径规划算法在无人机领域具有重要的应用价值,可以帮助无人机在复杂的环境中高效、安全地完成任务

    无人机路径规划算法在无人机领域具有重要的应用价值,可以帮助无人机在复杂的环境中高效、安全地完成任务。本文将介绍基于 MATLAB 的多种无人机路径规划算法,并提供相应的源代码。 一、无人机路径规划简介 无人机路径规划是指在给定的环境中,通过算法确定无人机的

    2024年02月06日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包