Hive SQL(一)

这篇具有很好参考价值的文章主要介绍了Hive SQL(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、数据库类型

数据库是长期存放在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按照一定的数据模型组织、描述和储存,具有较小的冗余度、较高的数据独立性和易拓展性,并可为各种用户共享。主要分为关系型数据库和非关系型数据库。

关系型数据库:

关系型数据库是一种基于关系模型的数据库管理系统(DBMS)。它使用关系(表)来组织数据,并通过表之间的关联建立数据之间的联系。关系型数据库使用结构化查询语言(SQL)来进行数据的操作和查询。

在关系型数据库中,数据被存储在表中,每个表由行和列组成。每行代表一个记录,而每列代表记录的属性。表之间的关系通常通过使用主键和外键来建立。

主键是用来唯一标识表中每个记录的字段,它确保了每个记录都有唯一的标识。外键是一个用来建立表之间关系的字段,它指向另一个表的主键。

关系型数据库具有以下特点:

  1. 结构化:数据以表格形式存储,每个表都有预定义的列和数据类型。
  2. 一致性:数据库遵循事先定义好的规则,确保数据的一致性和完整性。
  3. 可扩展性:可以通过添加新的表和关系来扩展数据库。
  4. 数据安全:提供安全性控制机制,可以对用户进行认证和授权。
  5. 高性能:通过索引和优化查询等技术来提高数据检索和操作的效率。

关系型数据库常见的实现包括MySQL、Oracle、Microsoft SQL Server和PostgreSQL等。它们在企业应用和数据管理中被广泛使用,适用于各种规模的数据存储和处理需求。

非关系型数据库:

非关系型数据库(NoSQL)是指不使用传统的关系模型的数据库管理系统。它们的设计目标是解决关系型数据库在某些情况下的限制和性能瓶颈。

非关系型数据库的特点包括:

  1. 非结构化:数据可以以键值对、文档、列族或图等形式存储,不需要预先定义表结构。
  2. 高可扩展性:可以在集群中分布式地存储和处理数据,以满足大规模数据的需求。
  3. 灵活性:支持动态添加和修改数据模式,方便应对需求的变化。
  4. 高性能:针对特定的数据访问模式进行了优化,可以提供高速的数据读写操作。
  5. 弱一致性:一般情况下,非关系型数据库追求最终一致性而非强一致性。

非关系型数据库根据数据的存储模式可以分为多种类型,包括:

  1. 键值存储数据库(Key-value Stores):使用简单的键值对进行数据存储,如Redis、Memcached等。
  2. 文档数据库(Document Databases):以文档形式存储数据,如MongoDB、CouchDB等。
  3. 列存储数据库(Column-family Stores):以列族的形式存储数据,如Cassandra、HBase等。
  4. 图数据库(Graph Databases):以图结构存储数据,适用于处理复杂的关系和网络数据,如Neo4j、RedisGraph等。

非关系型数据库通常适用于需要处理大量结构不确定、数据规模庞大且读写需求频繁的应用场景,如社交网络、大数据分析、实时数据处理等。但它们也可能面临一些挑战,如缺乏标准化查询语言、较弱的数据一致性保证和存储成本较高等。因此,在选择数据库时,需要根据具体的应用需求和数据特点来评估选择关系型数据库还是非关系型数据库。

HQL:Hive SQL

从概念上看:Hive SQL是基于hdfs的一个数据仓库工具,它是MapReduce的一个封装,底层就是MapReduce程序。Hive可以将结构化的数据文件(按照各字段分类的数据)映射成一张虚表,并提供类SQL查询功能。

从功能上看:Hive就是把sql语句转化为MapReduce程序,Hive没有服务端,它本质是Hadoop或者说HDFS的一个客户端,对HDFS的数据和Metastore的元数据进行操作。

Hive SQL要点

Hive SQL数据类型

类别 类型 长度 备注
数字类 TINYINT 1字节 有符号整型
SMALLINT 2字节 有符号整型
INT 4字节 有符号整型(-2147483648到2147483647)
BIGINT 8字节 有符号整型(-9223372036854775808到9223372036854775807)
FLOAT 4字节 有符号单精度浮点数
DOUBLE 8字节 有符号双精度浮点数
DECIMAL -- 可带小数的精确数字字符串
日期时间类 TIMESTAMP -- 时间戳,内容格式:yyyy-mm-dd hh:mm:ss[.f...]
DATE -- 日期,内容格式:YYYYMMDD
INTERVAL -- --
字符串类 STRING -- 字符串
VARCHAR 字符数范围:1-65535 长度不定字符串
CHAR 最大的字符数:255 长度固定字符串
Misc类 BOOLEAN -- 布尔类型 TRUE/FALSE

Hive SQL时间戳(timestamp)

数据内容格式为:yyyy-MM-dd HH:mm:ss

unix_time/unix_timestamp时间转换,字符串转时间戳,时间戳转字符串

1790年1月1日00:00:00代表这个时间节点至今的秒数16:22

Hive  SQL执行顺序

先乘除后加减,先算括号里的

from——>where——>group by——>聚合函数——>having——>order by——>limit

在天算建模平台中,自定义SQL(速度较慢)、过滤(只写条件)、添加字段这三个算子可使用SQL语句文章来源地址https://www.toymoban.com/news/detail-717982.html

到了这里,关于Hive SQL(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数据库学习】hive

    Hadoop 的数据仓库处理工具,数据存储在Hadoop 兼容的文件系统(例如,Amazon S3、HDFS)中。hive 在加载数据过程中不会对数据进行任何的修改,只是将数据移动到HDFS 中hive 设定的目录下。 hive 的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。 只允许查,不允许修

    2024年01月15日
    浏览(49)
  • 【大数据】Hive SQL语言(学习笔记)

    1)数据库结构 默认的数据库叫做default,存储于HDFS的:/user/hive/warehouse 用户自己创建的数据库存储位置:/user/hive/warehouse/database_name.db 2)创建数据库 comment:数据库的注释说明语句 location:指定数据库在HDFS存储位置,默认/user/hive/warehouse/dbname.db with dbproperties:用于指定一些数

    2024年02月07日
    浏览(46)
  • hive数据库操作,hive函数,FineBI可视化操作

    1.1、创建数据库 1.2、查看数据库详细信息 数据库本质上就是在HDFS之上的文件夹。 默认数据库的存放路径是HDFS的:/user/hive/warehouse内 1.3、创建数据库并指定hdfs存储位置 使用location,可以指定数据库在HDFS的存储路径。 1.4、删除数据库 删除一个空数据库,如果数据库下

    2024年02月04日
    浏览(45)
  • 【大数据笔记】java jdbc连接hive数据库;java hive连接kerberos

    1、pom.xml配置         dependency             groupIdorg.apache.hive/groupId             artifactIdhive-jdbc/artifactId             scope2.1.1/scope         /dependency 2、驱动 org.apache.hive.jdbc.HiveDriver 3、用传统改的Class.forName,然后DriverManager去拿。 二、java hive连接kerberos

    2024年01月19日
    浏览(46)
  • 大数据技术之Hive SQL题库-中级

    1)表结构 user_id(用户id) gender(性别) birthday(生日) 101 男 1990-01-01 102 女 1991-02-01 103 女 1992-03-01 104 男 1993-04-01 2)建表语句 hive 3)数据装载 hive 1)表结构 sku_id (商品id) name (商品名称) category_id (分类id) from_date (上架日期) price (商品价格) 1 xiaomi 10 1 2020-01-01 2000 6 洗碗机 2 2020-02-01

    2024年02月11日
    浏览(50)
  • 3.Hive SQL数据定义语言(DDL)

    1.1 常见的开发方式 (1) Hive CLI、Beeline CLI Hive自带的命令行客户端 优点:不需要额外安装 缺点:编写SQL环境恶劣,无有效提示,无语法高亮,误操作率高 (2) 文本编辑器 Sublime、Emacs、EditPlus等 有些不支持作为客户端连接Hive服务,但支持SQL语法环境,那就在编辑器中开发

    2024年02月12日
    浏览(51)
  • Spark SQL数据源:Hive表

    Spark SQL还支持读取和写入存储在Apache Hive中的数据。然而,由于Hive有大量依赖项,这些依赖项不包括在默认的Spark发行版中,如果在classpath上配置了这些Hive依赖项,Spark就会自动加载它们。需要注意的是,这些Hive依赖项必须出现在所有Worker节点上,因为它们需要访问Hive序列化

    2024年02月11日
    浏览(38)
  • 数据库:Hive转Presto(二)

    继续上节代码,补充了replace_func函数,        

    2024年02月07日
    浏览(37)
  • [Hive的基本概念之---数据库 ]

    目录 前言:  Hive的一些基本概念: 数据库(Database) 服务器创建hive数据库指令: Spring Boot中集成Hive数据库 在application.properties或application.yml文件中配置Hive JDBC连接属性,例如: 在application.properties或application.yml文件中配置MyBatis属性,例如: 创建Mapper接口和映射文件,例如:

    2024年02月13日
    浏览(46)
  • Dbeaver连接Hive数据库操作指导

    背景:由于工作需要,当前分析研究的数据基于Hadoop的Hive数据库中,且Hadoop服务端无权限进行操作且使用安全模式,在研究了Dbeaver、Squirrel和Hue三种连接Hive的工具,在无法绕开useKey认证的情况下,只能使用DBeaver工具进行远程连接。 【Hadoop环境】:Hive版本:3.1.0 KrbClient版本

    2024年02月09日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包