千万行csv大文件快速导入mysql

这篇具有很好参考价值的文章主要介绍了千万行csv大文件快速导入mysql。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近尝试csv文件导入,因为之前太菜就用普通图形窗口导入,但是速度很慢,于是做了总结:

目前我这里一共两种方法:

1.窗口 mysql  workbench导入 (适用范围:对数据库不了,要导入的csv文件比较小,不超过1万行适用)【速度慢】

2.命令式导入      (适用范围:对数据库命令了解,要导入百万行大数据)【速度快】

一.图形化

图形化界面,找到电脑左下角的开始,找到wokbench 这个可视化软件,没有的是当初安装mysql没有下载他的可视化捆绑程序,自己可以百度解决。

千万行csv大文件快速导入mysql

 运行程序后,进入root

千万行csv大文件快速导入mysql

 在下图空白处右键,Create schema建立新的数据库

千万行csv大文件快速导入mysql

 然后找到刚刚建立的数据库左侧角标点击展开,在Table上鼠标右键,选择Table Data Import Wizard.

千万行csv大文件快速导入mysql

 选择csv文件路径,然后点击next

千万行csv大文件快速导入mysql

 然后下个页面以为我们没有创建表,所以他的默认选项是帮我们创建一个表,大家可以直接点击next

千万行csv大文件快速导入mysql

 然后再次点击next,他会帮我们选择列的类型,你也可以自己选,下方是预览情况

千万行csv大文件快速导入mysql

 继续点击next,再点击next完工,你会发现你创建的数据库表下已经有表了,记得手动刷新一下左侧列表,表才会出现。

千万行csv大文件快速导入mysql

 博主在导入时候,数据太多,导入过慢受不了了,于是使用了命令式导入。

二.命令式导入

测试100万行数据只用了13秒,首先在windows开始菜单栏找到mysql  8.0 Command Line Client

千万行csv大文件快速导入mysql

 点击进入会让输入密码,密码输错就会直接闪退,我就是这样,最后不得不卸载重新安装了mysql

然后开始输入命令

千万行csv大文件快速导入mysql

 首先输入

show variables like '%secure%';

然后回车,如果出现secure_file_priv=' ',恭喜你可以直接进行下一步,

如果里面出现了不为空,比如某些路径我的是在C:/Program Data/MySQL Server 8.0/Uploads/   注意这里的Program Data是隐藏文件夹,需要点击上方的查看隐藏文件夹才能看到,大家需要到mysql安装目录下修改my.ini文件,位置在下图,可以到桌面上创建修改好后,再拖拽过来。

注意:如果没有找到my.ini文件,这个文件大概率在上面输入的某些路径里面(橙色字体指代一个东西),可以顺着某些路径找到位置,我的就是这样,

my.ini添加文件内容如下:

secure_file_priv=''

千万行csv大文件快速导入mysql

 接下来重启一下mysql就行了。

回到刚刚的命令窗口

show variables like 'local_infile';

结果为off,需要改成on.

set global local_infile=on;

然后你需要对着这你的csv文件,在数据库里面新建个库database,然后在Table鼠标右键在里面create一张新表,我个人建议上面图形化方法让mysql帮你鉴定每一列的类型再对比创建表,不然后面导入一直报错。可能我对类型了解的不够深入。

接下来就是开始导入命令,这里有个建议,建议csv文件放到上面橙色某些路径的文件夹下,可以减少一些不必要的麻烦。

show databases;

查看所有的数据库

use 某某数据库;

选择数据库,下面换成你自己的csv文件地址

load data infile 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/1.csv' #换成自己地址
into table ship_info #换成你自己表名
fields terminated by','optionally enclosed by '"' escaped by '"'
lines terminated by '\r\n';

回车大功告成,你就可以回去刷新一下,看看有没有出现表。成功图如下。

千万行csv大文件快速导入mysql文章来源地址https://www.toymoban.com/news/detail-449800.html

到了这里,关于千万行csv大文件快速导入mysql的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hive 导入导出csv文件

    1、导入 将CSV文件导入到hive数据库,具体操作如下, 首先在hive中创建自己的table, 并且设置以逗号分隔。 然后 确定tmp.hb_label_C表的分布式文件路径 最后在linux命令行输入 查看结果 2、导出 使用beeline重定向 同时使用以下方式导出数据带表头

    2024年02月16日
    浏览(41)
  • 使用Navicat导入csv数据至mysql

    使用Navicat导入csv数据至mysql 笔者有已进行数据处理的csv,需要将数据信息导入mysql中 步骤1、建立数据表,字段信息(最好)与csv字段信息保持一致,方便后续导入。 具体的,双击选中数据库,点击新建查询,编写查询语句,点击运行,若信息栏显示OK,表示查询语句运行成

    2024年04月12日
    浏览(30)
  • 将csv文件导入到hbase中

    1.将csv文件拖到/opt下     2、将本地的csv文件上传到HDFS上去     3、之后将上传到HDFS上的文件导入到HBase中。 首先在HBase中建一个表用来存放这个文件的数据: 这里,命名空间为\\\'Test\\\',表名为‘test’ ,列簇名为info1,info2   4、借用mapreduce的包,将csv文件导入到刚才创建的表中

    2024年02月11日
    浏览(32)
  • pl/sql导入、导出csv等格式文件

    pl/sql导入、导出csv等格式文件 PL/SQL Developer 可以导入或者导出CSV文件。 导入CSV文件步骤: 1、选择tools-text importer… 2、选择第二个Data to oracle选项卡,然后选择Open Data file…,选择要导入的csv文件,确定 2.1添加列 2.2这里以 逗号分割, 3、选择对应的owner和table,将字段一一对应

    2024年04月10日
    浏览(45)
  • Neo4j导入csv文件

    Neo4j 数据库可以使用 load csv 命令从 CSV 文件中导入数据。 load csv 命令可以帮助我们导入中小型的数据,理论上大概能处理到一千万条记录。 其中,CSV文件推荐是使用 UTF-8 编码,不然就会造成中文乱码的糟糕情况。 Neo4j的配置文件是 conf 文件夹下的 neo4j.conf 文件,里面有一句

    2023年04月08日
    浏览(87)
  • C#使用CsvHelper 实现csv文件导入导出功能

    一、CsvHelper 库 可通过nuget进行安装 二、封装导入导出方法  public class MyCsvHelper     {         public static bool WriteCsvT(ListT datas,string filePath= \\\"logs/TagData/tag.csv\\\")         {             try             {                 var currentPath = Directory.GetCurrentDirectory();                

    2024年02月11日
    浏览(65)
  • Hive 导入csv文件,数据中包含逗号的问题

    今天 Hive 导入 csv 文件时,开始时建表语句如下: 然后导入 csv 文件,发现数据串列了,查看数据发现是因为数据中包含逗号的问题,因为 csv 文件列分隔符就为逗号,所以直接导入到表中会使数据串列。 查询资料发现是建表语句的问题,所以我们要需要在建表的时候指定列

    2024年02月11日
    浏览(43)
  • SpringBoot整合easyExcel实现CSV格式文件的导入导出

    目录 一:pom依赖 二:检查CSV内容格式的工具类 三:Web端进行测试 四:拓展使用 使用hutool工具类来进行导出功能

    2024年02月02日
    浏览(46)
  • java导入csv格式文件之身份证格式处理

    csv中的身份证号如下图: 导到数据库中的结果 因此怎样导入才能使身份证能够正常导入呢? 第一步: 选中身份证那一列 第二步: 右键选择,设置单元格格式 第三步: 数字列中,选择‘特殊’-‘邮政编码’,点击确定。

    2024年02月11日
    浏览(53)
  • 【实用技巧】将本地csv文件导入到hive中

    step1:在hive中创建表test01,并使用命令\\\"show create table 表名\\\",得到该表存放的hdfs文件路径(数据入库时需要用到) step2:使用vim创建文件a.csv,并存入数据。例如: step3:进入HDFS下的hadoop下的bin目录,并将a.csv文件放在该目录下 step4:执行命令 命令格式:./hdfs dfs -put  数据存放

    2024年02月12日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包