SpringBoot+ThreadPoolTaskExecutor 批量插入百万级数据实测
源码共读
共 3322字,需浏览 7分钟
· 2022-06-08
前言
开发目的: 提高百万级数据插入效率。 采取方案: 利用 ThreadPoolTaskExecutor
多线程批量插入。采用技术: springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。
具体实现细节
application-dev.properties
添加线程池配置信息
# 异步线程配置
# 配置核心线程数
async.executor.thread.core_pool_size = 30
# 配置最大线程数
async.executor.thread.max_pool_size = 30
# 配置队列大小
async.executor.thread.queue_capacity = 99988
# 配置线程池中的线程的名称前缀
async.executor.thread.name.prefix = async-importDB-
spring容器注入线程池bean对象
@Configuration
@EnableAsync
@Slf4j
public class ExecutorConfig {
@Value("${async.executor.thread.core_pool_size}")
private int corePoolSize;
@Value("${async.executor.thread.max_pool_size}")
private int maxPoolSize;
@Value("${async.executor.thread.queue_capacity}")
private int queueCapacity;
@Value("${async.executor.thread.name.prefix}")
private String namePrefix;
@Bean(name = "asyncServiceExecutor")
public Executor asyncServiceExecutor() {
log.warn("start asyncServiceExecutor");
//在这里修改
ThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
//配置核心线程数
executor.setCorePoolSize(corePoolSize);
//配置最大线程数
executor.setMaxPoolSize(maxPoolSize);
//配置队列大小
executor.setQueueCapacity(queueCapacity);
//配置线程池中的线程的名称前缀
executor.setThreadNamePrefix(namePrefix);
// rejection-policy:当pool已经达到max size的时候,如何处理新任务
// CALLER_RUNS:不在新线程中执行任务,而是有调用者所在的线程来执行
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
//执行初始化
executor.initialize();
return executor;
}
}
创建异步线程 业务类
@Service
@Slf4j
public class AsyncServiceImpl implements AsyncService {
@Override
@Async("asyncServiceExecutor")
public void executeAsync(List logOutputResults, LogOutputResultMapper logOutputResultMapper, CountDownLatch countDownLatch) {
try{
log.warn("start executeAsync");
//异步线程要做的事情
logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
log.warn("end executeAsync");
}finally {
countDownLatch.countDown();// 很关键, 无论上面程序是否异常必须执行countDown,否则await无法释放
}
}
}
创建多线程批量插入具体业务方法
@Override
public int testMultiThread() {
List logOutputResults = getTestData();
//测试每100条数据插入开一个线程
List> lists = ConvertHandler.splitList(logOutputResults, 100);
CountDownLatch countDownLatch = new CountDownLatch(lists.size());
for (List listSub:lists) {
asyncService.executeAsync(listSub, logOutputResultMapper,countDownLatch);
}
try {
countDownLatch.await(); //保证之前的所有的线程都执行完成,才会走下面的;
// 这样就可以在下面拿到所有线程执行完的集合结果
} catch (Exception e) {
log.error("阻塞异常:"+e.getMessage());
}
return logOutputResults.size();
}
模拟2000003 条数据进行测试
多线程 测试 2000003 耗时如下:耗时1.67分钟
本次开启30个线程,截图如下:
单线程测试2000003 耗时如下:耗时5.75分钟
检查多线程入库的数据,检查是否存在重复入库的问题:
根据id分组,查看是否有id重复的数据,通过sql语句检查,没有发现重复入库的问题
检查数据完整性:通过sql语句查询,多线程录入数据完整
测试结果
不同线程数测试:
总结
通过以上测试案列,同样是导入2000003 条数据,多线程耗时1.67分钟,单线程耗时5.75分钟。通过对不同线程数的测试,发现不是线程数越多越好,具体多少合适,网上有一个不成文的算法:
CPU核心数量*2
+2 个线程。
附:测试电脑配置
来源:azdebug.blog.csdn.net/article/details/103697108
-End-
最近有一些小伙伴,让我帮忙找一些 面试题 资料,于是我翻遍了收藏的 5T 资料后,汇总整理出来,可以说是程序员面试必备!所有资料都整理到网盘了,欢迎下载!
面试题
】即可获取评论
性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!
关注我们,设为星标,每天7:40不见不散,架构路上与您共享回复架构师获取资源大家好,我是你们的朋友架构君,一个会写代码吟诗的架构师。来源:azdebug.blog.csdn.net/article/details/103697108前言具体实现细节测试结果总结前言开发目的: 提高百万级数据
Java架构师社区
0
只知道 Nginx 牛逼!却不知道它怎么支持百万并发?
前段时间在网上看到一个有意思的话题:只知道 Nginx 牛逼,却不知道它怎么支持百万并发?确实,这是一个好问题,面试常问,很多人都在这上面栽过跟头!所以,今天我们就来一起聊一聊这个话题。大家都知道,无论是运维、开发、测试,Nginx 技术栈的学习总是必不可少的,只是不同的岗位掌握的深度与广度不同而已
良许Linux
0
Python也可以合并和拆分PDF,批量高效!
PDF是最方便的文档格式,可以在任何设备原样且无损的打开,但因为PDF不可编辑,所以很难去拆分合并。知乎上也有人问,如何对PDF进行合并和拆分?看很多回答推荐了各种PDF编辑器或者网站,确实方法比较多。但这种软件的弊端在于很难去批量操作,比如你有几百个PDF要合并,使用软件会非常麻烦。而且很多软件是
Python大数据分析
14
31年前,时任中央电视台台长先斩后奏,私自插入30秒内容,广电部部长得知后一下就急了,怎么能这么做?
今天,我希望能与各位共同回溯31年前的一桩真实事件。这起事件不仅深刻影响了一个国家级媒体机构的命运走向,更为我们身处职场中的人提供了宝贵的启示——当面对巨大的压力与挑战时,我们应如何勇于创新,敢于突破。回...
全栈架构社区
0
实测十余款AI助理,只有这款最合我心意。
最近群友分享了一个AI助理的创作心得,发现整个制作流程非常丝滑,不过尴尬的是,作为一个深度体验上千个AI产品的爱好者,我竟然没有见过...是哪支黑马?虚心请教之后发现,他原来用的是...钉钉?,不是,钉钉已经进...
水木人工智能学堂
0
《认知觉醒》不要垂涎别人二十几岁身价百万,不要羡慕别人一夜成名...
01 你有没有经常羡慕别人? 还记得在上学的时候,看到成绩好的同学,就特别羡慕,总觉得人家脑子聪明,看着别人一次又一次考得好成绩,而自己却只有羡慕的份。 后来参加了工作,又开始羡慕同事,看着同事一步步高升...
胖琪的升级之路
0
【周六有老友·四十二】东北赵师傅用百万公里运输之路 见证江淮1卡...
巾帼绽芳华!江淮1卡“智”动挡让女性用户运输更轻松 【江淮1卡】帅铃HS6混动轻卡城市、城际自在畅行 惬意运输! 【有卡有咖】看你这状态挺轻松啊...... 点“分享、点赞、在看”,龙年开好运~
猿某人
0
陕西一个县,批量造富翁
随着刺鼻的滚滚浓烟踉跄着走到前台,又因行业周期而被风暴吹落。 文|王圆磊 “到今天我还是很怀念煤老板做投资人的日子,他们特别好,我经历的各种投资人有房地产商,到现在互联网企业,最好的是煤老板,他们除了要...
亿欧网
0