将csv文件导入到hbase中

这篇具有很好参考价值的文章主要介绍了将csv文件导入到hbase中。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.将csv文件拖到/opt下

将csv文件导入到hbase中 

将csv文件导入到hbase中

 

2、将本地的csv文件上传到HDFS上去

 将csv文件导入到hbase中

 

3、之后将上传到HDFS上的文件导入到HBase中。

首先在HBase中建一个表用来存放这个文件的数据:

create_namespace 'Test'   (没有命名空间先创建命名空间)
create 'Test:test','info1','info2'

这里,命名空间为'Test',表名为‘test’ ,列簇名为info1,info2  

4、借用mapreduce的包,将csv文件导入到刚才创建的表中。

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,info1:name,info1:age,info2:sex 'Test:userinfo' /hbase/datas.csv

这里使用了ImportTsv方法,参数Dimporttsv.separator为定义分隔符为',' ,Dimporttsv.columns则是定义对应的列名,这里需要注意,第一个是需要指定row的位置,因为在我之前csv文件中第一行就是用来做为row的,所以这里的位置在第一个,那么灵活变动,如果你的row不在第一行,就把HBASE_ROW_KEY放到对应的位置上,然后后面则是将csv中的列age和name列名都放到了info1,age和sex列名都放到了info2这个列簇下面,在后面跟的就是对应的表名,以及要导入的文件在HDFS的路径。

查看结果:

将csv文件导入到hbase中文章来源地址https://www.toymoban.com/news/detail-514579.html

到了这里,关于将csv文件导入到hbase中的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 千万行csv大文件快速导入mysql

    最近尝试csv文件导入,因为之前太菜就用普通图形窗口导入,但是速度很慢,于是做了总结: 目前我这里一共两种方法: 一.图形化 图形化界面,找到电脑左下角的开始,找到wokbench 这个可视化软件,没有的是当初安装mysql没有下载他的可视化捆绑程序,自己可以百度解决。

    2024年02月05日
    浏览(36)
  • pl/sql导入、导出csv等格式文件

    pl/sql导入、导出csv等格式文件 PL/SQL Developer 可以导入或者导出CSV文件。 导入CSV文件步骤: 1、选择tools-text importer… 2、选择第二个Data to oracle选项卡,然后选择Open Data file…,选择要导入的csv文件,确定 2.1添加列 2.2这里以 逗号分割, 3、选择对应的owner和table,将字段一一对应

    2024年04月10日
    浏览(45)
  • Neo4j导入csv文件

    Neo4j 数据库可以使用 load csv 命令从 CSV 文件中导入数据。 load csv 命令可以帮助我们导入中小型的数据,理论上大概能处理到一千万条记录。 其中,CSV文件推荐是使用 UTF-8 编码,不然就会造成中文乱码的糟糕情况。 Neo4j的配置文件是 conf 文件夹下的 neo4j.conf 文件,里面有一句

    2023年04月08日
    浏览(87)
  • 【MySQL】将 CSV文件快速导入 MySQL 中

    一般来说,将csv文件导入mysql数据库有两种办法: 使用 navicat、workbench 等软件中的导入向导手动导入; 使用 load data infile 命令导入 前者速度较慢,适合数据量比较小的时候,而对于大文件,我们需要使用命令行导入。 打开安装好的Navicat Premium,连接数据库。 成功连接后如下

    2024年02月05日
    浏览(31)
  • C#使用CsvHelper 实现csv文件导入导出功能

    一、CsvHelper 库 可通过nuget进行安装 二、封装导入导出方法  public class MyCsvHelper     {         public static bool WriteCsvT(ListT datas,string filePath= \\\"logs/TagData/tag.csv\\\")         {             try             {                 var currentPath = Directory.GetCurrentDirectory();                

    2024年02月11日
    浏览(65)
  • Hive 导入csv文件,数据中包含逗号的问题

    今天 Hive 导入 csv 文件时,开始时建表语句如下: 然后导入 csv 文件,发现数据串列了,查看数据发现是因为数据中包含逗号的问题,因为 csv 文件列分隔符就为逗号,所以直接导入到表中会使数据串列。 查询资料发现是建表语句的问题,所以我们要需要在建表的时候指定列

    2024年02月11日
    浏览(43)
  • SpringBoot整合easyExcel实现CSV格式文件的导入导出

    目录 一:pom依赖 二:检查CSV内容格式的工具类 三:Web端进行测试 四:拓展使用 使用hutool工具类来进行导出功能

    2024年02月02日
    浏览(46)
  • java导入csv格式文件之身份证格式处理

    csv中的身份证号如下图: 导到数据库中的结果 因此怎样导入才能使身份证能够正常导入呢? 第一步: 选中身份证那一列 第二步: 右键选择,设置单元格格式 第三步: 数字列中,选择‘特殊’-‘邮政编码’,点击确定。

    2024年02月11日
    浏览(53)
  • Neo4j---(3)批量导入实体和关系csv文件之LOAD CSV

    一、几大导入方式的差异 1. neo4j-admin import: 只能初始化,若要用的话必需清空之前的数据库。 不能很好的适应不断要添加新节点和关系的需求。 必需关闭数据库 neo4j stop 2. LOAD CSV 可以在原数据库基础上新增数据,导入中小型数据,1kw条左右 不用关闭数据库,可以直接在b

    2024年02月07日
    浏览(62)
  • <VB.net>下CSV文件的导入(读取到DataGridView)和导出(DataGirdView保存到csv)

    VB.net项目主要使用微软旗下的Visual Studio 2022编辑器来进行,打开VS2022.新建一个VB.net窗体项目,保存。 然后在窗体上添加以下控件: DataGridView(数据表格控件)、Label(标签控件)、ContextMenuStrip(右键关联菜单控件)等 然后,设置DataGridView控件的contextmenustrip属性(关联到添

    2024年02月05日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包