Hive数据导出的四种方法

这篇具有很好参考价值的文章主要介绍了Hive数据导出的四种方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hive数据仓库有多种数据导出方法,我在本篇文章中介绍下面的四种方法供大家参考:Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出。

一、Insert语句导出

语法格式

Hive支持将select查询的结果导出成文件存放在文件系统中。语法格式如下;

注意:导出操作是一个OVERWRITE覆盖操作,慎重

目录可以是完整的URI。Hive使用hadoop配置变量fs.default.name来决定导出位置;

如果使用LOCAL关键字,则Hive会将数据写入本地文件系统上的目录;

写入文件系统的数据被序列化为文本,默认列之间用\001隔开,行之间用换行符隔开。

代码示例:

--标准语法:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
[ROW FORMAT row_format] [STORED AS file_format]
SELECT ... FROM ...
--Hive extension (multiple inserts):
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
ROW FORMAT DELIMITED FIELDS TERMINATED BY ... 
 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ... 
select_statement2] ...

演示

--1、导出查询结果到HDFS指定目录下
insert overwrite directory '/test1' select * from users;
--2、导出时指定分隔符和文件存储格式
insert overwrite directory '/test1' row format delimited fields terminated by ','
stored as orc
select * from users;
--3、导出数据到本地文件系统指定目录下
insert overwrite local directory '/home/huser/test1' row format delimited fields terminated by ','
select * from users;

二、Hadoop命令导出

Hadoop命令将HDFS中的数据导出到本地文件系统指定目录中:

--在hive客户端执行
dfs –get /user/hive/warehouse/demo.db/users_default.txt 
/home/root/users.txt

--Linux本地执行
hadoop fs -get /user/hive/warehouse/demo.db/users_default.txt /home/root/users.txt

三、Hive shell命令导出

1.基本语法:hive -e HQL语句 > filepath

hive –e ' select * from demo.users' > /home/root/test/users.txt

2.基本语法:hive -f 执行脚本 > filepath

将HQL语句存储在执行脚本文件中,将执行脚本文件的执行结果存储在指定目录下的文件中。例如,hivef.sql脚本文件中存储HQL语句“select *from demo.user;”,执行hivef.sql脚本文件中的查询语句,并将查询结果输出到

hive –f ' hive.sql' > /home/root/test/users2.txt

四、Export语句导出

Export语句导出是将Hive表中的数据导出到Hadoop集群的HDFS中的其他目录下:文章来源地址https://www.toymoban.com/news/detail-796984.html

export table users to ‘/user/hive/warehouse/export’;

到了这里,关于Hive数据导出的四种方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hive数据导出为csv、tsv文件的几种方法

    Hive数据导出csv,tsv 第一种(推荐) PS: ‘|tr “t” “,”’ 将数据分隔符 制表符 替换为 “,”. hive在hdfs中存储可能是\\001分割,替换t即可. 数据中包含\\\",\\\"会导致.csv文件不能正确解析.这时建议改为.tsv文件(制表符分割). hdfs中== 空值 采用 N 存储,可以使用 |tr -d “\\\\N” 变为正

    2024年02月15日
    浏览(40)
  • Hadoop平台集群之间Hive表和分区的导出和导入迁移(脚本)

    你可以使用Hive的EXPORT和IMPORT命令结合Hadoop的DistCp命令。下面是一个示例脚本: 在脚本中,你需要根据实际情况修改以下参数: source_db.source_table:源Hive表的数据库和表名。 target_hdfs_location:导出数据的HDFS位置,用于暂时存储导出数据。 source_cluster和target_cluster:分别为源H

    2024年02月15日
    浏览(46)
  • 数据的四种基本存储方法

    数据的存储结构可用以下四种基本存储方法得到: ( 1 )顺序存储方法     该方法把逻辑上相邻的结点存储在物理位置上相邻的存储单元里,结点间的逻辑关系由存储单元的邻接关系来体现。     由此得到的存储表示称为顺序存储结构  (Sequential Storage Structure),通常借

    2024年02月15日
    浏览(44)
  • 检测数据类型的四种方法

    一、数据类型: 1、基本数据类型:String、Number、Boolean、Null、Undefined、Symbol 、BigInt 2、引用数据类型:Object、Array、Function、Date、RegExp 二、检测数据类型的四种方法 1.typeof检测   特点:typeof只能检测基本数据类型(除了null),不能准确的检测引用数据类型。 object、array、

    2024年02月15日
    浏览(45)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(40)
  • Hive数据导出

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 提示:这里可以添加本文要记录的大概内容: 书接上回,传闻昔日数据导入有五大派别,一时之间数码武林局势动荡,可怜的码农处于水深火热之中。乱世出英雄,打着劫富济贫,替天行道大旗的六大

    2023年04月19日
    浏览(48)
  • hive数据的导入导出

    Linux本地文件以及数据格式: 在hive中创建表: stored as常见的几种格式 1. TextFile:使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。 2. SequenceFile:使用SequenceFile格式存储的表将数据以键-值对的形式存储,适用于数据压缩和高效读取。

    2024年02月12日
    浏览(38)
  • SpringBoot导出Excel的四种方式

           近期接到了一个小需求,要将系统中的数据导出为Excel,且能将Excel数据导入到系统。对于大多数研发人员来说,这算是一个最基本的操作了。但是……我居然有点方!         好多年没有实操这种基础的功能了。我对于excel导入导出的印象还停留在才入行时的工作经

    2024年02月03日
    浏览(41)
  • 数仓报表数据导出——Hive数据导出至Clickhouse

    创建database 创建table 使用 spark-sql 查询数据,然后通过 jdbc 写入Clickhouse。 创建Maven项目,pom.xml文件如下 创建HiveToClickhouse类 上传hive.xml,hdfs.xml 以及core-site.xml文件到项目的resource目录下 打包,并上传hive-to-clickhouse-1.0-SNAPSHOT-jar-with-dependencies.jar到hadoop节点 执行如下命令测试 为

    2024年02月16日
    浏览(42)
  • hive数据仓库工具

    1、hive是一套操作数据仓库的应用工具,通过这个工具可实现mapreduce的功能 2、hive的语言是hql[hive query language] 3、官网hive.apache.org 下载hive软件包地址  Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理数据时分为元数据和真数据,其中元数据要保存在数据库中

    2024年02月04日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包