springboot利⽤ThreadPoolTaskExecutor多线程批量插⼊百万
级数据
前⾔
springboot推荐算法开发⽬的：提⾼百万级数据插⼊效率。
采取⽅案：利⽤ThreadPoolTaskExecutor多线程批量插⼊。
采⽤技术：springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。
具体实现细节
application-dev.properties添加线程池配置信息
# 异步线程配置
# 配置核⼼线程数
<_pool_size = 30
# 配置最⼤线程数
# 配置队列⼤⼩
# 配置线程池中的线程的名称前缀
spring容器注⼊线程池bean对象
@Configuration
@EnableAsync
@Slf4j
public class ExecutorConfig {
@Value("${_pool_size}")
private int corePoolSize;
@Value("${utor.thread.max_pool_size}")
private int maxPoolSize;
@Value("${utor.thread.queue_capacity}")
private int queueCapacity;
@Value("${utor.thread.name.prefix}")
private String namePrefix;
@Bean(name = "asyncServiceExecutor")
public Executor asyncServiceExecutor() {
log.warn("start asyncServiceExecutor");
//在这⾥修改
ThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
//配置核⼼线程数
executor.setCorePoolSize(corePoolSize);
//配置最⼤线程数
executor.setMaxPoolSize(maxPoolSize);
//配置队列⼤⼩
executor.setQueueCapacity(queueCapacity);
//配置线程池中的线程的名称前缀
executor.setThreadNamePrefix(namePrefix);
/
/ rejection-policy：当pool已经达到max size的时候，如何处理新任务
// CALLER_RUNS：不在新线程中执⾏任务，⽽是有调⽤者所在的线程来执⾏
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
//执⾏初始化
executor.initialize();
return executor;
}
}
创建异步线程业务类
@Service
@Slf4j
public class AsyncServiceImpl implements AsyncService {
@Override
@Async("asyncServiceExecutor")
public void executeAsync(List<LogOutputResult> logOutputResults, LogOutputResultMapper logOutputResultMapper, CountDownLatch countDownLatch) {        try{
log.warn("start executeAsync");
//异步线程要做的事情
logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
log.warn("end executeAsync");
}finally {
}
}
}
创建多线程批量插⼊具体业务⽅法
@Override
public int testMultiThread() {
List<LogOutputResult> logOutputResults = getTestData();
//测试每100条数据插⼊开⼀个线程
List<List<LogOutputResult>> lists = ConvertHandler.splitList(logOutputResults, 100);        CountDownLatch countDownLatch = new CountDownLatch(lists.size());
for (List<LogOutputResult> listSub:lists) {
try {
countDownLatch.await(); //保证之前的所有的线程都执⾏完成，才会⾛下⾯的；
// 这样就可以在下⾯拿到所有线程执⾏完的集合结果
} catch (Exception e) {
<("阻塞异常:"+e.getMessage());
}
return logOutputResults.size();
}
模拟2000003 条数据进⾏测试
多线程 测试 2000003  耗时如下：耗时1.67分钟
本次开启30个线程，截图如下：
单线程测试2000003  耗时如下：耗时5.75分钟
检查多线程⼊库的数据，检查是否存在重复⼊库的问题：根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复⼊库的问题
检查数据完整性： 通过sql语句查询，多线程录⼊数据完整
测试结果
不同线程数测试：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。