【解决方案】Java 互联网项目如何防止集合堆内存溢出（一）-Toy模板网

这篇具有很好参考价值的文章主要介绍了【解决方案】Java 互联网项目如何防止集合堆内存溢出（一）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言
一、代码优化
- 1.1Stream 流自分页
- 1.2数据库分页
- 1.3其它思考
二、硬件配置
- 2.1云服务器配置
三、文章小结

前言

OOM 几乎是笔者工作中遇到的线上 bug 中最常见的，一旦平时正常的页面在线上出现页面崩溃或者服务无法调用，查看服务器日志后你很可能会看到“Caused by: java.lang.OutOfMlemoryError: Java heap space” 这样的提示，那么毫无疑问表示的是 Java 堆内存溢出了。

其中又当属集合内存溢出最为常见。你是否有过把整个数据库表查出来的全字段结果直接赋值给一个 List 对象？是否把未经过过滤处理的数据赋值给 Set 对象进行去重操作？又或者是在高并发的场景下创建大量的集合对象未释放导致 JVM 无法自动回收？

Java 堆内存溢出

我的解决方案的核心思路有两个：一是从代码入手进行优化；二是从硬件层面对机器做合理配置。

一、代码优化

下面先说从代码入手怎么解决。

1.1Stream 流自分页

/**
 * 以下示例方法都在这个实现类里，包括类的继承和实现
 */
@Service
public class StudyServiceImpl extends ServiceImpl<StudyMapper, Study> implements StudyService{}

在循环里使用 Stream 流的 skip()+limit() 来实现自分页，直至取出所有数据，不满足条件时终止循环

    /**
     * 避免集合内存溢出方法（一）
     * @return
     */
    private List<StudyVO> getList(){
        ArrayList<StudyVO> resultList = new ArrayList<>();
        //1、数据库取出源数据，注意只拿 id 字段，不至于溢出
        List<String> idsList = this.list(new LambdaQueryWrapper<Study>()
                                        .select(Study::getId)).stream()
                                        .map(Study::getId)
                                        .collect(Collectors.toList());
        //2、初始化循环
        boolean loop = true;
        long number = 0;
        long perSize = 5000;
        while (loop){
            //3、skip()+limit()组合，限制每次只取固定数量的 id
            List<String> ids = idsList.stream()
                                      .skip(number * perSize)
                                      .limit(perSize)
                                      .collect(Collectors.toList());
            if (CollectionUtils.isNotEmpty(ids)){
                //根据第3步的 id 去拿数据库的全字段数据，这样也不至于溢出，因为一次只是 5000 条
                List<StudyVO> voList = this.listByIds(ids).stream()
                        .map(e -> e.copyProperties(StudyVO.class))
                        .collect(Collectors.toList());
                //addAll() 方法也比较关键，快速地批量添加元素，容量是比较大的
                resultList.addAll(voList);
            }
            //4、判断是否跳出循环
            number++;
            loop = ids.size() == perSize;
        }
        return resultList;
    }

1.2数据库分页

这里是用数据库语句查询符合条件的指定条数，循环查出所有数据，不满足条件就跳出循环

    /**
     * 避免集合内存溢出方法（二）
     * @param param
     * @return
     */
    private List<StudyVO> getList(String param){
        ArrayList<StudyVO> resultList = new ArrayList<>();
        //1、构造查询条件
        String id = "";
        //2、初始化循环
        boolean loop = true;
        int perSize = 5000;
        while (loop){
            //分页，固定每次循环都查 5000 条
            Page<Study> studyPage = this.page(new Page<>
                                    (NumberUtils.INTEGER_ZERO, perSize), 
                                     wrapperBuilder(param, id));
            if (Objects.nonNull(studyPage)){
                List<Study> studyList = studyPage.getRecords();
                if (CollectionUtils.isNotEmpty(studyList)){
                    //3、每次截取固定数量的标识，数组下标减一
                    id = studyList.get(perSize - NumberUtils.INTEGER_ONE).getId();
                    //4、判断是否跳出循环
                    loop = studyList.size() == perSize;
                    //添加进返回的 VO 集合中
                    resultList.addAll(studyList.stream()
                                      .map(e -> e.copyProperties(StudyVO.class))
                                      .collect(Collectors.toList()));
                }
                else {
                    loop = false;
                }
            }
        }
        return resultList;
    }

    /**
     * 条件构造
     * @param param
     * @param id
     * @return
     */
    private LambdaQueryWrapper<Study> wrapperBuilder(String param, String id){
        LambdaQueryWrapper<Study> wrapper = new LambdaQueryWrapper<>();
        //只查部分字段，按照 id 的降序排列，形成顺序
        wrapper.select(Study::getUserAvatar)
                .eq(Study::getOpenId, param)
                .orderByAsc(Study::getId);
        if (StringUtils.isNotBlank(id)){
            //这步很关键，只查比该 id 值大的数据
            wrapper.gt(Study::getId, id);
        }
        return wrapper;
    }