Java分批将List数据导入数据库

这篇具有很好参考价值的文章主要介绍了Java分批将List数据导入数据库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、项目场景:

在工作中的一个需求中,需要创建一张新的表,表格的初始数据需要从之前的多张表格中联查出来并且添加到当前表格中。由于在生产环境中数据量级达到了百万级别,因此在插入数据到MySQL中时需要分批次进行导入,我写了三种方法进行数据的导入,最后采用了第三种方法来进行数据导入,将实现过程在此进行记录。

在文章中,我将使用User来作为示例对象用于演示


二、为什么要分批次?

待更…


三、解决方案:

1. MyBatisPlus原生方法导入

// 获取到要插入数据库的集合,数据量很大
List<User> list = new ArrayList<>();
// 插入数据到MySQL中
userService.saveBatch(list);

2. List分组导入

(1)UserServiceImpl类中导入方法

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;

	@Override
	public void insert() {
    	// 通过一系列操作获取到要插入的集合,在此使用list代替
    	List<User> list = new ArrayList<>();
        
    	// 每次插入的数量
    	int batchSize = 1000;
    	// 计算需要分多少批插入数据库
    	int batch = list.size() / batchSize;
    	// 计算最后一批的大小
    	int lastSize = list.size() % batchSize;

    	// 将筛选出的结果分批次添加到表中
    	for (int i = batchSize; i <= batch * batchSize; i = i + batchSize) {
        	// 截取本次要添加的数据
        	List<User> insertList = list.subList(i - batchSize, i);
        	// 添加本批次数据到数据库中
        	userMapper.batchInsert(insertList);
    	}
    	// 最后一批元素的大小是否为0
    	if (lastSize != 0) {
        	// 如果元素有剩余则将所有元素作为一个子列表一次性插入
        	List<User> lastList = list.subList(batchSize * batch, list.size());
        	// 添加集合到数据库中
        	userMapper.batchInsert(lastList);
    	}
	}
	
}

代码解析:

先将列表分成每个1000个元素一批的子列表,然后使用自定义的 batchInsert() 方法对子列表进行批量插入操作。如果列表大小不是 1000 的倍数,则将剩余元素全部一次性插入。具体实现细节如下:

  1. 首先定义每一批次的插入数量 batchSize ,算出需要分几批插入变量 batch ,以及最后一批插入数量(集合中元素总量如果不是1000倍数时最后一批的剩余数量)的大小 lastSize 。
  2. 通过 for 循环,将列表分成每个 1000 个元素一批的子列表,随后使用 subList() 方法来获取当前批次要插入的元素
  3. 对于每一批要插入的子列表,使用自定义的 batchInsert() 方法进行批量插入操作。
  4. 判断最后一批的大小 lastSize 是否为 0,如果不为 0,则使用 subList() 方法将剩余所有元素作为一个子列表进行一次性插入。

在这里对最后一批插入元素时,下标为什么要使用 batchSize(每一批次的大小) * batch(批次数量) 来作为起始变量进行解析:

解析: 使用 batchSize * batch 作为集合的起始位置,是因为在 for 循环中已经将前 a 个元素作为起始位置插入到数据库中了,因此下一个起始位置应该是 batchSize 的倍数,即 batchSize * batch 。这样可以避免重复插入已经插入过的元素

(2)UserMapper数据持久化接口

将集合作为参数传递到Mapper层中

/**
 * 用户数据持久化接口
 *
 * @author Dream_飞翔
 * @since 2023/5/16
 */
public interface UserMapper extends BaseMapper<User> {
	/**
     * 添加指定集合内的数据到数据库中
     *
     * @param insertList 要添加的内容
     * @return 受影响的行数
     */
    Integer batchInsert(@Param("insertList") List<User> insertList);
}

(3)UserMapper.xml映射文件

<?xml version="1.0" encoding="utf-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.zrkizzy.data.mapper.UserMapper">
	<!-- 批量添加数据到数据库中 -->
	<insert id="batchInsert">
        INSERT INTO tb_user (id, username, password)
        VALUES
        <foreach collection ="userList" item="user" separator =",">
            (#{user.id}, #{user.username}, #{user.password})
        </foreach>
    </insert>
</mapper>

3. 多线程分批次插入

在第二种方法中,使用了分批次处理的数据导入方式,但是在数据量特别大的情况下,单线程的压力还是很大,因此使用多线程是比较好的一种方式。

(1)UserServiceImpl类中导入方法

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;

	@Override
	public void insert() {
    	// 通过一系列操作获取到要插入的集合,在此使用list代替
    	List<User> list = new ArrayList<>();
    	    
        // 获取虚拟机可用的最大处理器数量
        int availableProcessors = Runtime.getRuntime().availableProcessors();
        // 获取要添加的数据集合大小
        int total = list.size();
        // 每次插入的数量
        int batchSize = 1000;
        // 计算需要分多少批插入数据库(向上取整)
        int totalBatch = (total + batchSize - 1) / batchSize;
        // 手动创建线程池
        ExecutorService executor = new ThreadPoolExecutor(
                // 线程池核心线程数量
                availableProcessors,
                // 线程池最大数量
                availableProcessors + 1000,
                // 空闲线程存活时间
                1000,
                // 时间单位
                TimeUnit.MILLISECONDS,
                // 线程池所使用的缓冲队列
                new ArrayBlockingQueue<>(100),
                // 线程池对拒绝任务的处理策略
                new ThreadPoolExecutor.CallerRunsPolicy());

        // 将筛选出的结果分批次添加到表中
        for (int batchIndex = 0; batchIndex < totalBatch; batchIndex++) {
            // 当前插入批次的起始索引
            int startIndex = batchIndex * batchSize;
            // 当前插入批次的结束索引
            int endIndex = Math.min((batchIndex + 1) * batchSize, total);
            // 截取本次要添加的数据
            List<LuckyDrawHistory> insertList = list.subList(startIndex, endIndex);
            // 将每个批次的插入逻辑封装成一个Runnable对象
            Runnable task = () -> {
                // 添加本批次数据到数据库中
                userMapper.batchInsert(insertList);
            };
            // 提交添加任务
            executor.submit(task);
        }
        // 关闭线程池释放资源
        executor.shutdown();
    }
	
}

代码解析: 待更…文章来源地址https://www.toymoban.com/news/detail-595049.html


到了这里,关于Java分批将List数据导入数据库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Java中通过List中的stream流去匹配相同的字段去赋值,避免for循环去查询数据库进行赋值操作

    Q :上面两个列表怎么使用流,根据equipmentDeviceMessageInfo中的phone字段去匹配userList 中的phone字段再获取userList 中是name赋值给equipmentDeviceMessageInfo 中的name。 A :以前的写法是通过for循环遍历一个一个去查询赋值,这样的话如果数据多的话一个一个遍历会查询的话肯定是很慢的,

    2024年02月07日
    浏览(48)
  • java批量导入Excel数据

    1.后台导入代码 2.实体类 2.1设置表格下拉选项  3.vue前端导入功能代码

    2024年02月09日
    浏览(40)
  • 分批更新List数据

    使用场景:因为数据量比较大导致批量更新的时候失败 int pageSize = 5000;         int totalSize = rewardAmounts.size();         int totalPage = totalSize / pageSize;         if (pageSize totalSize) {             rewardAmountService.updateBatch(rewardAmounts);         } else {             for (int i = 0; i total

    2023年04月13日
    浏览(36)
  • java八股文面试[数据库]——数据库三范式

    什么是范式? 范式是数据库设计时遵循的 一种规范 ,不同的规范要求遵循不同的范式。 最常用的三大范式 第一范式(1NF): 属性不可分割 ,即每个属性都是不可分割的原子项。(实体的属性即表中的列) 理解:一个列不能包含两个数据 第二范式(2NF):满足第一范式;且不存在

    2024年02月10日
    浏览(40)
  • [开发|数据库] java程序人大金仓数据库适配笔记

    需要去人大金仓https://www.kingbase.com.cn/qd/index.htm下载linux版iso文件和授权文件(license-企业版-90天)。 iso文件需要挂载在指定目录下。 参考:(https://www.cnblogs.com/bluestorm/p/16941812.html)。 人大金仓数据库安装过程中出现乱码/内容不显示是因为jdk版本不匹配,通过asdf更换java版本为

    2024年02月12日
    浏览(53)
  • Springboot 多线程分批切割处理 大数据量List集合 ,实用示例

    哲学提问镇贴: 不了解异步怎么使用的看官, 可阅: SpringBoot 最简单的使用异步线程案例 @Async_小目标青年的博客-CSDN博客 Springboot Async异步扩展使用 结合 CompletableFuture_小目标青年的博客-CSDN博客 想了解更多关于批量list处理操作的看官,可阅:   Java List数据量大, 需要分片

    2024年02月06日
    浏览(64)
  • 通过JDBC连接数据库并用Java把数据写入数据库

    目录 1.新建项目 2.在src包下新建lib包,用来存放jar包(下载对应jar包复制到lib包里) 3.右键导入的jar包,找到并单击\\\"添加到库\\\"(add....) 4.在src包下新建bean包,新建class类 5.class类中写数据库表中对应的列名的set get方法、空参、有参(String方法)注意:类名为私有类(private),新建类时数

    2024年02月02日
    浏览(69)
  • java查询数据库百万条数据,优化之:多线程+数据库

    今天去面试时hr问了个关于大量数据查询的问题。 面试官:“我们公司是做数据分析的,每次需要从数据库中查询100万条数据进行分析,该接口不能用分页(不限制具体怎么实现),请问怎么优化sql或者java代码呢??” 如果用普通查询需要5分多分钟才查询完毕,所以我们用

    2024年02月15日
    浏览(53)
  • java数据库操作

    数据库访问几乎每一个稍微成型的程序都要用到的知识,怎么高效的访问数据库也是我们学习的一个重点,今天的任务就是总结java访问数据库的方法和有关API,java访问数据库主要用的方法是JDBC,它是java语言中用来规范客户端程序如何来访问数据库的应用程序接口,提供了诸

    2024年02月10日
    浏览(29)
  • JAVA实现easyExcel批量导入

    注解 类型 描述 ExcelProperty 导入 指定当前字段对应excel中的那一列。可以根据名字或者Index去匹配。当然也可以不写,默认第一个字段就是index=0,以此类推。千万注意,要么全部不写,要么全部用index,要么全部用名字去匹配。千万别三个混着用,除非你非常了解源代码中三个

    2024年04月27日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包