多线程处理大批量数据操作-Toy模板网

这篇具有很好参考价值的文章主要介绍了多线程处理大批量数据操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

@Autowired
private DataSourceTransactionManager dataSourceTransactionManager;

@Autowired
private TransactionDefinition transactionDefinition;

@Autowired
private StudentService studentService;

/**
* 对用户而言，27s 任是一个较长的时间，我们尝试用多线程的方式来经行修改操作看能否加快处理速度
* 预计创建10个线程，每个线程进行5000条数据修改操作
* 耗时统计
* 1 线程数：1 耗时：25s
* 2 线程数：2 耗时：14s
* 3 线程数：5 耗时：15s
* 4 线程数：10 耗时：15s
* 5 线程数：100 耗时：15s
* 6 线程数：200 耗时：15s
* 7 线程数：500 耗时：17s
* 8 线程数：1000 耗时：19s
* 8 线程数：2000 耗时：23s
* 8 线程数：5000 耗时：29s
*/
@Test
void updateStudentWithThreads() {
//查询总数据
List<Student> allStudents = studentMapper.getAll();
// 线程数量
final Integer threadCount = 100;

//每个线程处理的数据量
final Integer dataPartionLength = (allStudents.size() + threadCount - 1) / threadCount;

// 创建多线程处理任务
ExecutorService studentThreadPool = Executors.newFixedThreadPool(threadCount);
CountDownLatch threadLatchs = new CountDownLatch(threadCount);

for (int i = 0; i < threadCount; i++) {
// 每个线程处理的数据
List<Student> threadDatas = allStudents.stream()
.skip(i * dataPartionLength).limit(dataPartionLength).collect(Collectors.toList());
studentThreadPool.execute(() -> {
studentService.updateStudents(threadDatas, threadLatchs);
});
}
try {
// 倒计时锁设置超时时间 30s
threadLatchs.await(30, TimeUnit.SECONDS);
} catch (Throwable e) {
e.printStackTrace();
}

System.out.println("主线程完成");
}文章来源地址https://www.toymoban.com/news/detail-700519.html

到了这里，关于多线程处理大批量数据操作的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！