SpringBoot+JPA实现批量处理新增、修改

这篇具有很好参考价值的文章主要介绍了SpringBoot+JPA实现批量处理新增、修改。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

jpa的sava与saveAll

save()方法

 @Transactional
    public <S extends T> S save(S entity) {
        if (this.entityInformation.isNew(entity)) {
            this.em.persist(entity);
            return entity;
        } else {
            return this.em.merge(entity);
        }
    }

根据源码我们可以看出来,save是先通过判断这个对象是不是新的,新的便会新增,否则就是执行的修改。整个是有分两步进行的,先查询再新增

saveAll()方法

  @Transactional
    public <S extends T> List<S> saveAll(Iterable<S> entities) {
        Assert.notNull(entities, "The given Iterable of entities not be null!");
        List<S> result = new ArrayList();
        Iterator var3 = entities.iterator();

        while(var3.hasNext()) {
            S entity = var3.next();
            result.add(this.save(entity));
        }

        return result;
    }

saveAll()方法是一种更新多条的一种方式,里面传的存对象的集合。分析源码我们可以看出saveAll()底层还是调用的save()方法,也就是每次需要先查询再做修改。在使用上方便,但是因每次涉及到查询、新增,事务的关系,导致修改或者新增耗时得非常的久。

那么下面我们将结合EntityManager对批量新增,修改做出优化。

jpa结合Batch

配置文件

spring:
  #配置 Jpa
  jpa:
    properties:
      hibernate:
        generate_statistics: false
        order_insert: true    //配置批量新增
        order_update: true    //配置批量修改
        dialect: org.hibernate.dialect.MySQL5InnoDBDialect
        jdbc:
          batch_size: 1000    //容器内批量的大小
    open-in-view: true

EntityManager

EntityManager其实就是一个容器,通过注解引入EntityManager对象 使用EntityManager对新增,修改进行批量处理

/**
 * @author 程序员panda
 * @date 
 * @desc 批量处理
 */
@Service
@Transactional
public class BatchService {

    @PersistenceContext
    private EntityManager entityManager;

	//配置文件中每次批量提交的数量
    @Value("${spring.jpa.properties.hibernate.jdbc.batch_size}")
    private long batchSize;

    /**
     * 批量插入
     *
     * @param list 实体类集合
     * @param <T>  表对应的实体类
     */
    public <T> void batchInsert(List<T> list) {
        if (!ObjectUtils.isEmpty(list)){
            for (int i = 0; i < list.size(); i++) {
                entityManager.persist(list.get(i));
                if (i % batchSize == 0) {
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            entityManager.flush();
            entityManager.clear();
        }
    }

    /**
     * 批量更新
     *
     * @param list 实体类集合
     * @param <T>  表对应的实体类
     */
    public <T> void batchUpdate(List<T> list) {
        if (!ObjectUtils.isEmpty(list)){
            for (int i = 0; i < list.size(); i++) {
                entityManager.merge(list.get(i));
                if (i % batchSize == 0) {
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            entityManager.flush();
            entityManager.clear();
        }
    }
}

实际运用

选择一个需要新增的table,将原有的saveAll(),改为调用自定义的batchInsert()方法

 public JSONObject sumbitPhone(MultipartFile phoneFile) {
        long timeIdStart = System.currentTimeMillis();
        JSONObject result=new JSONObject();
        List<CheckPhone> phoneList=getPhoneListEn(phoneFile);
        batchService.batchInsert(phoneList);
        result.put("code",200);
        result.put("msg","提交成功");
        logger.info("提交预校验数据用时:"+(System.currentTimeMillis() - timeIdStart) / 1000.0+"秒");
        return result;
    }

注意

使用batch批量新增的时候,表的主键不能使用自增的形式,需要使用uuid来才能使用批量的新增

运行时间对比

使用saveall()方法耗时(提交1000个号码文件) 从sql监控中可以看到,新增1000个号码,执行了7.962秒,执行了1000次的事务,都是一个个提交的

使用batch批量新增(同为1000个号码)此时执行,提交了两次,执行了两次事务。因为我设置了batch_size为1000。此时用是196毫秒。看一看出他是按999条数据,然后统一提交的文章来源地址https://www.toymoban.com/news/detail-490361.html

到了这里,关于SpringBoot+JPA实现批量处理新增、修改的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Mybatis-Plus 自定义mapper批量新增修改函数

    version MybatisPlusConfig CustomizedSqlInjector InsertBatchMethod UpdateBatchMethod RootMapper 使用方式 mapper接口实现自定义的RootMapper,即可调用批量新增修改函数

    2024年02月12日
    浏览(53)
  • MyBatis动态sql之批量修改、批量新增(使用foreach标签的一条sql语句解决)

            批量新增和批量修改在业务中是很常见的,一条sql访问数据库和通过代码循环体中循环访问数据库做单个数据新增修改相比较下:一条sql访问数据库性能上明显提升,代码且简洁明了 1、Mapper.java中 说明: 参数是list  2、Mapper.xml中 说明: 通过trim标签拼接前后缀和

    2024年02月10日
    浏览(52)
  • Java语言创建包含以上数据类型的MySQL表,并提供批量新增数据、批量修改数据、删除数据以及字段的DDL语句的详细代码示例

    以下是使用Java语言创建包含以上数据类型的MySQL表,并提供批量新增数据、批量修改数据、删除数据以及字段的DDL语句的详细代码示例: 请注意,上述代码中的DB_URL、USER和PASS需要根据实际情况进行修改,以连接到正确的MySQL数据库。另外,需要确保已经导入了适当的JDBC驱动

    2024年02月15日
    浏览(75)
  • SpringBoot 整合RabbitMq 自定义消息监听容器来实现消息批量处理

    RabbitMQ是一种常用的消息队列,Spring Boot对其进行了深度的整合,可以快速地实现消息的发送和接收。在RabbitMQ中,消息的发送和接收都是异步的,因此需要使用监听器来监听消息的到来。Spring Boot中提供了默认的监听器容器,但是有时候我们需要自定义监听器容器,来满足一

    2024年02月16日
    浏览(48)
  • python操作mysql实现增删改查(包括单条新增,多条新增,批量新增等,全网最详细)

    下载mysql与navicat(可参考这两个文章) MySQL安装教程,windows下(超详细,根据步骤一步步来)-CSDN博客 navicat连接mysql(windows下)-CSDN博客 1.选中服务器右键--新建数据库 sql运行指令,可查看资源,如有需要可在资源中自行下载(并且会详细注明字段的含义) 2.查看创建的cl

    2024年02月01日
    浏览(47)
  • 线上宝塔部署的springboot项目在执行elasticsearchRepository.saveAll后就挂掉的解决方法

    当mysql数据库中数据更新后,可以使用 elasticsearchRepository.saveAll() 方法来将新增的数据保存到elasticsearch文档库中。 在我所在的场景下,大概每个月会一下往数据库写入几千条数据,然后一股脑得将之前的数据和新增的数据全部实体交给 saveAll() 方法,那么就会占用大量的内存

    2024年02月14日
    浏览(39)
  • 使用Spring Data JPA实现审计功能,记录创建人、创建时间、最后修改时间和最后修改人

    近日心血来潮想做一个开源项目,目标是做一款可以适配多端、功能完备的模板工程,包含后台管理系统和前台系统,开发者基于此项目进行裁剪和扩展来完成自己的功能开发。 本项目为前后端分离开发,后端基于 Java21 和 SpringBoot3 开发,后端使用 Spring Security 、 JWT 、 Spr

    2024年01月19日
    浏览(37)
  • python批量处理修改pdf内容

      将PDF转换为Word: 使用pdf2docx库中的Converter类来进行PDF转换。 convert_pdf_to_docx 函数接受PDF文件路径和输出的Word文档路径作为参数。 通过调用Converter对象的 convert 方法将PDF转换为Docx格式。 最后调用 close 方法关闭Converter对象并保存转换后的文档。 将Word转换为Excel: 使用docx库

    2024年01月25日
    浏览(59)
  • SpringBoot+Jpa+Thymeleaf实现增删改查

    这篇文章介绍如何使用 Jpa 和 Thymeleaf 做一个增删改查的示例。 pom 包里面添加 Jpa 和 Thymeleaf 的相关包引用 其中 propertiesspring.thymeleaf.cache=false 是关闭 Thymeleaf 的缓存,不然在开发过程中修改页面不会 立刻生效需要重启,生产可配置为 true。 在项目 resources 目录下会有两个文件

    2024年02月15日
    浏览(35)
  • 基于springboot+mysql+jpa+html实现商品销售信息系统

    订单管理模块 商品管理模块 品牌管理模块 分类管理模块 客户管理模块 供应商管理模块 web框架:SpringBoot 数据库框架:Sping Data JPA 数据库:MySql 项目构建工具:Maven 前端模板:html 开发工具:IDEA 编程语言:JDK1.8,HTML,CSS,JS,jQuery 数据库:mysql5.7以上 订单管理 商品管理 品牌管

    2024年02月03日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包