需求
现在有一个 数据量 为100万的数据样本 100w_data.sql
其数据格式如下,截取最后十条数据
999991,XxGdnLZObA999991,XxGdnLZObA,XxGdnLZObA,2020-3-18,1
999992,TBBchSKobC999992,TBBchSKobC,TBBchSKobC,2020-9-8,2
999993,rfwgLkYhUz999993,rfwgLkYhUz,rfwgLkYhUz,2020-2-6,0
999994,GQZXukHouW999994,GQZXukHouW,GQZXukHouW,2020-9-16,1
999995,UMNjgaXtnO999995,UMNjgaXtnO,UMNjgaXtnO,2020-3-18,2
999996,WFvQNUotHQ999996,WFvQNUotHQ,WFvQNUotHQ,2020-8-13,0
999997,FrmLUUEXWf999997,FrmLUUEXWf,FrmLUUEXWf,2020-10-4,1
999998,LWVyHCGiij999998,LWVyHCGiij,LWVyHCGiij,2020-4-14,2
999999,TTXdvcnCpL999999,TTXdvcnCpL,TTXdvcnCpL,2020-5-3,0
1000000,sjCFoeKCks1000000,sjCFoeKCks,sjCFoeKCks,2020-6-26,1
我们需要将这100万条插入如下表中
CREATE TABLE `tb_user` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`username` VARCHAR(50) NOT NULL,
`password` VARCHAR(50) NOT NULL,
`name` VARCHAR(20) NOT NULL,
`birthday` DATE DEFAULT NULL,
`sex` CHAR(1) DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `unique_user_username` (`username`)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;
实现
- 客户端连接服务端时,加上参数 --local-infile
mysql --local-infile -u root -p
- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;
可以通过 select @@local_infile;
查看开关是否开启,为0没开启,为1开启
-
切换到自己的数据库下,并根据上面的建表语句创建 tb_user 数据表
-
执行load指令将准备好的数据,加载到表结构中,这里要100w_data.sql数据样本放到 /root 目录下
load data local infile '/root/100w_data.sql' into table tb_user fields terminated by ',' lines terminated by '\n' ;
解释上面的sql语句 – 先指定文件所在位置 ‘/root/100w_data.sql’ ,再指定要插入的数据表 tb_user ,fields terminated by ','
是指每个字段之间根据 逗号 进行分隔,lines terminated by ‘\n’ 表示每行数据根据 换行 进行分隔,这要根据具体的数据样本格式各改变
结果
看到成功插入100万条数据,而且耗时 13.10 秒,如果 使用批量 insert ,耗时需要达到 10 分钟文章来源:https://www.toymoban.com/news/detail-608372.html
因此如果是大批量数据插入,需要使用 load 而不是 insert文章来源地址https://www.toymoban.com/news/detail-608372.html
到了这里,关于如何往MySQL中插入100万条数据?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!