mybatis批量插入数据导致系统OOM，微服务内存爆了-Toy模板网

这篇具有很好参考价值的文章主要介绍了mybatis批量插入数据导致系统OOM，微服务内存爆了。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

今天我们来说说工作中遇到的一个真实案例，由于使用mybatis的批量插入功能，导致系统内存溢出OOM（Out Of Memory）， "java.lang.OutOfMemoryError: Java heap space"的报错，导致服务出现短暂的服务不可用，大概一两分钟不可用。这其实是个非常危险的故障，可能在高峰期导致整个系统瘫痪，服务不可用，产品不可用。

为了方便大家理解，我们就设想这是一个学生表(student)，我们要往这个表批量写入数据.

1. StudentEntity.java
Student对象实体

@Data
public class StudentEntity {
	private Long id ;
	private String name;
	private int age;
}

2. mybatis 生成的Mapper文件，其中贴出了只是批量插入的方法
StudentMapper.java


public interface StudentMapper {

 /**
     * This method was generated by MyBatis Generator.
     * This method corresponds to the database table 'Student'
     *
     * @mbg.generated Mon Oct 24 16:35:18 CST 2022
     */
    int batchInsert(@Param("list") List<StudentEntity> list);	
}

3. mybatis 生成的Mapper xml文件, 其中贴出了只是批量插入的方法

StudentMapper.xml

	<insert id="batchInsert" keyColumn="id" keyProperty="id" parameterType="map" useGeneratedKeys="true">
    <!--
      WARNING - @mbg.generated
      This element is automatically generated by MyBatis Generator, do not modify.
      This element was generated on Mon Oct 24 16:35:18 CST 2022.
    -->
    insert into student 
		(id, name, age)
    values
    <foreach collection="list" item="item" separator=",">
      (#{item.id,jdbcType=BIGINT}, #{item.name,jdbcType=VARCHAR}, #{item.age,jdbcType=INTEGER})
    </foreach>
  </insert>

4. java service层批量插入数据

StudentServiceImpl.java

    @Service
    public class StudentServiceImpl implements StudentService {

        // service 层代码，参数是 StudentEntity list 数据，待插入到数据库中的数据
        @Override
        public void batchCreateStudent(List<StudentEntity> studentEntities) {
            // other code  ...
            
            studentMapper.batchInsert(studentEntities);
            // other code  ...
            log.info("  batchCreate success!! studentEntities size:{}", studentEntities.size());
        }
    }

到这里就出现问题了，就是上面这句 studentMapper.batchInsert(studentEntities); 导致服务出现 OOM的故障， java.lang.OutOfMemoryError: Java heap space.

我相信很多人看到这个问题，也知道问题的原因是什么，其实就是mybatis 插件自动生成的批量插入语句是“有问题”的，通过该方法一次性插入 20万个对象，可能就会导致内存溢出，OOM了。但是这个问题显然也不能怪mybatis，数据量太大，导致 Mapper类调用batchInsert()方法的时候，mybatis组装sql语句的过程中，堆内存溢出。

~~ mybatis 表示委屈，背不起这个锅 ~

mybatis批量插入数据导致系统OOM，微服务内存爆了

最终组装后的sql语句是这样的：

 insert into t_student

        (id ,name, age)
 values

        (1, '张无忌', 22),(2, '宋青书', 23) ... 
   ;

由于有20万个对象，在组装sql的过程中需要遍历这20万个对象，耗时特别长，很容易导致api超时 timeOut，另外也会导致这个sql语句会特别的长。最终由于大数据量导致java堆内存空间溢出，超出了java heap space的空间大小。

· 其实这里的批量插入sql语句是有很多点可以拿出来说的，涉及到数据库批量插入空间配置，java堆空间的配置... 等等，今天我们就不深入说这个问题

insert into t_student

        (id ,name, age)
values

        (1, '张无忌', 22),(2, '宋青书', 23) ...
   ;

快速解决办法：

既然是数据量太大，导致一次性批量插入内存溢出了，那很简单，我们就在应用里把数据拆分成小块数据，然后在分批的将小块数据插入到数据库中。就像切分蛋糕，切分成一小块，一小块的。

mybatis批量插入数据导致系统OOM，微服务内存爆了

5. java service层批量插入数据，改进后，通过切分成小块数据，然后批量插入到数据库

// service 层代码，参数是 StudentEntity list 数据，待插入到数据库中的数据

public void batchCreateStudent(List<StudentEntity> studentEntities) {
        // other code ...
        // studentMapper.batchInsert(studentEntities);

        // 先拆分成小块数据，再批量插入数据库中
        this.splitBatchInsert(studentEntities, list -> {
            studentMapper.batchInsert(list);
            return true;
        });
        // other code ...
        log.info("  batchCreate success!! studentEntities size:{}", studentEntities.size());
}
	
   
		
// 大数据量split成小数据量，进行小批量插入数据库中
private <T> void splitBatchInsert(List<T> list, Function<List, Boolean> insertFunc) {
        Integer batchSize = 1000;
        List<T> batch = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            batch.add(list.get(i));
            if (batch.size() == batchSize || i == list.size() - 1) {
                insertFunc.apply(batch);
                batch.clear();
            }
        }
    }

到这里，Java 堆内存溢出的这个问题应该就可能解决。但是还有很多细节值得去思考，考虑。下面简单提下，这篇文章就不展开说了：

假如改成上面拆分后插入还是内存溢出OOM的错误：

a. 一方面可以将上面的阈值 1000 再改小，比如改成500 ；

b. 另外一方面也可以将你的服务启动时，堆内存空间调大，比如改成 1500M， -server -Xmx1536m 。

ENV JAVA_OPTS="-server -Xmx1536m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/jvm-logs/${APP_NAME}_jvm_dump.log "

最后将一些细节，可以在思考如何去不断的优化这个批量插入 的过程。又快又好又节省空间的方式

1）上面写的阈值1000 ，需要根据自己的业务场景来设置，比如你插入对象简单，对象属性不读，也不复杂，单个对象的大小也不超过1kb，那你这里的阈值可以设置大些，比如2000，甚至可以是 10000；

2） mybatis生成的批量插入方法，可以继续优化，改用其他的批量插入方式，batchInsert()；

3） Java内存空间的调整，到底要调整多大合适，如果真的需要调整，可能还需要谨慎操作；

4）拆分成小块数据后批量插入，这个过程可以利用Java8 中的 parallelStream()， parallel() 也就是 Fork/Join框架来实现批量插入，分而治之的思想，是否也可以拿来解决该问题呢，也值得我们探讨。文章来源地址https://www.toymoban.com/news/detail-429777.html

到了这里，关于mybatis批量插入数据导致系统OOM，微服务内存爆了的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！