hive 导入导出csv文件

这篇具有很好参考价值的文章主要介绍了hive 导入导出csv文件。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、导入
将CSV文件导入到hive数据库,具体操作如下,
首先在hive中创建自己的table, 并且设置以逗号分隔。

create table if not exists tmp.hb_label_C(
sample_cat string,
reg_mob_md5 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

然后

desc formatted  tmp.hb_label_C

确定tmp.hb_label_C表的分布式文件路径

最后在linux命令行输入

hdfs dfs -put label_C.csv hdfs://nameservice1/user/hive/warehouse/tmp.db/hb_label_C

查看结果

select * from tmp.hb_label_C limit 10;

2、导出

使用beeline重定向

beeline -e "select * from tmp.install_uninstall_pred_res_online_v1 where tail<=9" > hb_torch_feature.csv

同时使用以下方式导出数据带表头文章来源地址https://www.toymoban.com/news/detail-572965.html

beeline -e "select * from tmp.install_uninstall_pred_res_online_v1 where tail<=9"  |sed '1s/^/md5_phone\n/' > hb_torch_feature.csv

到了这里,关于hive 导入导出csv文件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Python创建faker实例生成csv大数据测试文件并导入Hive数仓

    这段Python代码用于生成模拟的个人信息数据,并将数据保存为CSV文件。 导入必要的模块: csv :用于处理CSV文件的模块。 random :用于生成随机数。 faker :用于生成模拟数据的库。 定义生成数据所需的基本信息: file_base_path :生成的CSV文件的基本路径。 rows_per_file :每个C

    2024年02月07日
    浏览(28)
  • Hive/Spark 整库导出/导入脚本

    博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧

    2024年02月12日
    浏览(33)
  • pl/sql导入、导出csv等格式文件

    pl/sql导入、导出csv等格式文件 PL/SQL Developer 可以导入或者导出CSV文件。 导入CSV文件步骤: 1、选择tools-text importer… 2、选择第二个Data to oracle选项卡,然后选择Open Data file…,选择要导入的csv文件,确定 2.1添加列 2.2这里以 逗号分割, 3、选择对应的owner和table,将字段一一对应

    2024年04月10日
    浏览(32)
  • C#使用CsvHelper 实现csv文件导入导出功能

    一、CsvHelper 库 可通过nuget进行安装 二、封装导入导出方法  public class MyCsvHelper     {         public static bool WriteCsvT(ListT datas,string filePath= \\\"logs/TagData/tag.csv\\\")         {             try             {                 var currentPath = Directory.GetCurrentDirectory();                

    2024年02月11日
    浏览(45)
  • Hadoop平台集群之间Hive表和分区的导出和导入迁移(脚本)

    你可以使用Hive的EXPORT和IMPORT命令结合Hadoop的DistCp命令。下面是一个示例脚本: 在脚本中,你需要根据实际情况修改以下参数: source_db.source_table:源Hive表的数据库和表名。 target_hdfs_location:导出数据的HDFS位置,用于暂时存储导出数据。 source_cluster和target_cluster:分别为源H

    2024年02月15日
    浏览(37)
  • SpringBoot整合easyExcel实现CSV格式文件的导入导出

    目录 一:pom依赖 二:检查CSV内容格式的工具类 三:Web端进行测试 四:拓展使用 使用hutool工具类来进行导出功能

    2024年02月02日
    浏览(36)
  • Hive学习:Hive导入字段带逗号和换行符的CSV文件

    比如上面这行数据,字段\\\"600,000,000,00\\\"带多个逗号,这个可以用hive中内置的语句来解决,使用OpenCSVSerde来解析CSV格式的数据,并指定了CSV文件中使用的分隔符、引号字符和转义字符 ‘separatorChar’ = ‘,’:指定CSV文件中使用的分隔符为逗号(,) ‘quoteChar’ = ‘\\\"’:指定CSV文件中

    2024年02月11日
    浏览(43)
  • 【实用技巧】将本地csv文件导入到hive中

    step1:在hive中创建表test01,并使用命令\\\"show create table 表名\\\",得到该表存放的hdfs文件路径(数据入库时需要用到) step2:使用vim创建文件a.csv,并存入数据。例如: step3:进入HDFS下的hadoop下的bin目录,并将a.csv文件放在该目录下 step4:执行命令 命令格式:./hdfs dfs -put  数据存放

    2024年02月12日
    浏览(27)
  • Neo4j的使用+导入导出csv文件

    1.进入cmd控制界面,然后进入到自己的NEO4J的bin目录下,输入neo4j,然后其会展示一些neo4j的命令。 2.先进行 neo4j install-service 操作,安装控制服务台,再进行 neo4j start 命令打开,然后 neo4j console 打开控制台。 复制网址并打开 http://localhost:7474 第一次进入需注册,初始密码是n

    2024年02月03日
    浏览(79)
  • spark-sql(jdbc)本地模式导出csv或Excel文件

    注意: 当前excel和commons-io版本都是较较新版本,而commons-io在spark的jars安装目录下也在commons-io的包,如版本冲突,找不到 orgapachecommonsiooutputByteArrayOutputStream.class 。如果spark的是2.4或者更低版本,则找不到 orgapachecommonsiooutputUnsynchronizedByteArrayOutputStream.class ,请同步spa

    2024年02月02日
    浏览(24)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包