Redian新闻
>
性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!

性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!

公众号新闻

点击上方“芋道源码”,选择“设为星标

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 
来源:azdebug.blog.csdn.net/
article/details/103697108


前言

  • 开发目的: 提高百万级数据插入效率。
  • 采取方案: 利用ThreadPoolTaskExecutor多线程批量插入。
  • 采用技术: springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 视频教程:https://doc.iocoder.cn/video/

具体实现细节

application-dev.properties添加线程池配置信息


> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
>
> * 项目地址:<https://gitee.com/zhijiantianya/yudao-cloud>
> * 视频教程:<https://doc.iocoder.cn/video/>

# 异步线程配置
# 配置核心线程数
async.executor.thread.core_pool_size = 30
# 配置最大线程数
async.executor.thread.max_pool_size = 30
# 配置队列大小
async.executor.thread.queue_capacity = 99988
# 配置线程池中的线程的名称前缀
async.executor.thread.name.prefix = async-importDB-

spring容器注入线程池bean对象

@Configuration
 
@EnableAsync
 
@Slf4j
 
public class ExecutorConfig {
    @Value("${async.executor.thread.core_pool_size}")
    private int corePoolSize;
    @Value("${async.executor.thread.max_pool_size}")
    private int maxPoolSize;
    @Value("${async.executor.thread.queue_capacity}")
    private int queueCapacity;
    @Value("${async.executor.thread.name.prefix}")
    private String namePrefix;
 
    @Bean(name = "asyncServiceExecutor")
    public Executor asyncServiceExecutor() {
        log.warn("start asyncServiceExecutor");
        //在这里修改
        ThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
        //配置核心线程数
        executor.setCorePoolSize(corePoolSize);
        //配置最大线程数
        executor.setMaxPoolSize(maxPoolSize);
        //配置队列大小
        executor.setQueueCapacity(queueCapacity);
        //配置线程池中的线程的名称前缀
        executor.setThreadNamePrefix(namePrefix);
        // rejection-policy:当pool已经达到max size的时候,如何处理新任务
        // CALLER_RUNS:不在新线程中执行任务,而是有调用者所在的线程来执行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        //执行初始化
        executor.initialize();
        return executor;
    }
}

创建异步线程 业务类

@Service
@Slf4j
public class AsyncServiceImpl implements AsyncService {
@Override
    @Async("asyncServiceExecutor")
    public void executeAsync(List<LogOutputResult> logOutputResults, LogOutputResultMapper logOutputResultMapper, CountDownLatch countDownLatch) {
        try{
            log.warn("start executeAsync");
            //异步线程要做的事情
            logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
            log.warn("end executeAsync");
        }finally {
            countDownLatch.countDown();// 很关键, 无论上面程序是否异常必须执行countDown,否则await无法释放
        }
    }
}

创建多线程批量插入具体业务方法

@Override
    public int testMultiThread() {
        List<LogOutputResult> logOutputResults = getTestData();
        //测试每100条数据插入开一个线程
        List<List<LogOutputResult>> lists = ConvertHandler.splitList(logOutputResults, 100);
        CountDownLatch countDownLatch = new CountDownLatch(lists.size());
        for (List<LogOutputResult> listSub:lists) {
            asyncService.executeAsync(listSub, logOutputResultMapper,countDownLatch);
        }
        try {
            countDownLatch.await(); //保证之前的所有的线程都执行完成,才会走下面的;
            // 这样就可以在下面拿到所有线程执行完的集合结果
        } catch (Exception e) {
            log.error("阻塞异常:"+e.getMessage());
        }
        return logOutputResults.size();
    }

模拟2000003 条数据进行测试

多线程 测试 2000003  耗时如下:耗时1.67分钟

本次开启30个线程,截图如下:

单线程测试2000003  耗时如下:耗时5.75分钟

检查多线程入库的数据,检查是否存在重复入库的问题:

根据id分组,查看是否有id重复的数据,通过sql语句检查,没有发现重复入库的问题

检查数据完整性:通过sql语句查询,多线程录入数据完整

测试结果

不同线程数测试:

总结

通过以上测试案列,同样是导入2000003  条数据,多线程耗时1.67分钟,单线程耗时5.75分钟。通过对不同线程数的测试,发现不是线程数越多越好,具体多少合适,网上有一个不成文的算法:

CPU核心数量*2 +2 个线程。

附:测试电脑配置



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
穷山恶水出刁民,绿水青山养文人(1)SpringBoot + Prometheus + Grafana 打造可视化监控一条龙!SpringBoot + Flyway,自动化实现数据库版本控制SpringBoot四大核心组件,你知道几个?别再用 if 校验参数了,太Low!这才是专业的 SpringBoot 参数校验方式!对话 Spring 大神:Spring 生态系统的新时代来了!Spring Boot + Filter 实现 Gzip 压缩超大 json 对象,传输耗时大大减少Hiring | Executive Assistant to Chief & Deputy Chief of StaffChina Strengthens Cyber Violence Policing After Teacher’s Death这样做优化,实现 0.059s 启动一个SpringBoot项目!SpringBoot 3.0正式发布,有这几个新变化!【庭院种菜】自家菜地,别用这种有机肥!非常哇塞的 Spring Boot 性能优化长文这16个有用的 SpringBoot 扩展接口,居然还有人不知道?SpringBoot 接口数据加解密技巧,so easy!SpringBoot+Prometheus+Grafana 实现自定义监控Another ‘Three-Body’ Animation Wins Praise From Sci-Fi Fans​Retell Lecture / Summarize Spoken Text 究竟如何练习SpringBoot + MDC 实现全链路调用日志跟踪SpringBoot 官方推荐,连接池,太快了!美股SPAC|Exela Technologies Inc.的欧洲业务将通过与 SPAC的合并上市美股SPAC|日本SPAC Pono Capital Three, Inc. 申请 1 亿美元 IPO,目标颠覆性技术实测 RTX 4090,性能爆表?Execution《电锯人》电锯恶魔:血浆涂装+尸山地台的超狂野造型!SpringBoot 接口加密解密,新姿势!Logitech Pro Y-U0031 Tenkeyless Wired Gaming KeyboardOut with the old, in with the new. JuniorCoach is here for you毛泽东是第一个与官国决裂的人李克强内部讲话(有待核实)快速定位SpringBoot接口超时问题的神器!SpringBoot 整合 Groovy 脚本,实现动态编程全职妈妈招惹谁了?SpringBoot+ElasticSearch 实现模糊查询,批量CRUD,排序,分页,高亮SpringBoot超大文件上传,实现秒传九大投行|Credit Suisse Securities Research Spring Program正在进行中!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。