MyBatisPlus 批量添加

这篇具有很好参考价值的文章主要介绍了MyBatisPlus 批量添加。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

现状

一般来说,批量插入可以使用 MyBatisPlus 中 ServiceImpl 自带的方法 saveBatch

MyBatisPlus 批量添加
打开 sql 日志,application.yml 添加配置,mapper-locations 配置 mapper 路径

mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl #开启sql日志
  mapper-locations: classpath*:mapper/**/*Mapper.xml

可以发现插入是在同一个 SqlSession,但并不是理想中的批量插入
MyBatisPlus 批量添加

它的插入算法我没有细究,但从日志观察可以看出它的插入条数是无序的,如果可以一次插入全部,效率应该更高
 

优化

MyBatisPlus 预留了 insertBatchSomeColumn 方法,可以实现批量插入,下面介绍一下如何配置

  1. MyBatisPlus 依赖
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.5.2</version>
</dependency>
  1. 新建 Sql 注射器 BatchSqlInjector
import com.baomidou.mybatisplus.annotation.FieldFill;
import com.baomidou.mybatisplus.core.injector.AbstractMethod;
import com.baomidou.mybatisplus.core.injector.DefaultSqlInjector;
import com.baomidou.mybatisplus.core.metadata.TableInfo;
import com.baomidou.mybatisplus.extension.injector.methods.InsertBatchSomeColumn;
import java.util.List;

public class BatchSqlInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass, TableInfo tableInfo) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass, tableInfo);
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
        return methodList;
    }

}
  1. MybatisPlusConfig 配置 BatchSqlInjector Bean,可忽略这里配置的分页插件
import com.baomidou.mybatisplus.annotation.DbType;
import com.baomidou.mybatisplus.extension.plugins.MybatisPlusInterceptor;
import com.baomidou.mybatisplus.extension.plugins.inner.BlockAttackInnerInterceptor;
import com.baomidou.mybatisplus.extension.plugins.inner.PaginationInnerInterceptor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.transaction.annotation.EnableTransactionManagement;

@EnableTransactionManagement
@Configuration
public class MybatisPlusConfig {

    /**
     * 分页插件
     *
     * @return
     */
   @Bean
    public MybatisPlusInterceptor mybatisPlusInterceptor() {
        MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
        interceptor.addInnerInterceptor(new BlockAttackInnerInterceptor());
        PaginationInnerInterceptor pageInterceptor = new PaginationInnerInterceptor(DbType.MYSQL);
        pageInterceptor.setMaxLimit(500L);
        pageInterceptor.setOptimizeJoin(true);
        interceptor.addInnerInterceptor(pageInterceptor);
        return interceptor;
    }
    
    /**
     * 批量插入
     *
     * @return
     */
    @Bean
    public BatchSqlInjector easySqlInjector() {
        return new BatchSqlInjector();
    }
}
  1. 配置 BatchBaseMapper 继承 BaseMapper
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import java.util.Collection;

public interface BatchBaseMapper<T> extends BaseMapper<T> {
    /**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */
    Integer insertBatchSomeColumn(Collection<T> entityList);
}
  1. 业务 Mapper 继承 BatchBaseMapper
@Repository
public interface ISapCustomerMapper extends BatchBaseMapper<SapCustomerPO> {

}
  1. service 创建 createBatch 作为新的批量插入方法
public class SapCustomerServiceImpl extends ServiceImpl<ISapCustomerMapper, SapCustomerPO> {

    void createBatch(List<SapCustomerPO> entityList) {
        if(!entityList.isEmpty()){
            baseMapper.insertBatchSomeColumn(entityList);
        }
    }

}

注意:不建议直接用 mapper 的 insertBatchSomeColumn 方法,因为当 entityList 为空时会报错
其实就是 INSERT INTO 表名(字段1,字段2,字段3) VALUES 后面为空

NestedRuntimeException:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘’ at line 1

 

效果

3600 条数据
优化前:2058 毫秒
优化后:1293 毫秒

15000 条数据
优化前:8958 毫秒
优化后:2037 毫秒

可以看出,数据越多,优化效果越明细

通过这次测试发现,打开 sql 日志后,会明细拖慢 sql 执行效率,数据越多越明细

报错

Packet for query is too large (82,807,536 > 67,108,864). You can change this value on the server by setting the max_allowed_packet’ variable

原因: 一次插入数量太多的数据,超出了 mysql 默认设置

解决办法: 在 service 层限制插入数量文章来源地址https://www.toymoban.com/news/detail-442233.html

static int batchSize = 10000;

public void createBatch(List<TestPO> entityList) {
    if (!entityList.isEmpty()) {
        int size = entityList.size();
        int idxLimit = Math.min(batchSize, size);
        int i = 1;
        List<TestPO> oneBatchList = new ArrayList<>();
        for (Iterator<TestPO> var7 = entityList.iterator(); var7.hasNext(); ++i) {
            TestPOelement = var7.next();
            oneBatchList.add(element);
            if (i == idxLimit) {
                baseMapper.insertBatchSomeColumn(oneBatchList);
                oneBatchList.clear();
                idxLimit = Math.min(idxLimit + batchSize, size);
            }
        }
    }
}

到了这里,关于MyBatisPlus 批量添加的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包