91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

SpringBoot利用ThreadPoolTaskExecutor批量插入百萬級數(shù)據(jù)實測!

jf_ro2CN3Fa ? 來源:CSDN ? 作者:CSDN ? 2022-11-16 10:38 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群


前言

  • 開發(fā)目的: 提高百萬級數(shù)據(jù)插入效率。
  • 采取方案: 利用ThreadPoolTaskExecutor多線程批量插入。
  • 采用技術: springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序,支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

具體實現(xiàn)細節(jié)

application-dev.properties添加線程池配置信息

> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序,支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能
>
> * 項目地址:
> * 視頻教程:

# 異步線程配置
# 配置核心線程數(shù)
async.executor.thread.core_pool_size = 30
# 配置最大線程數(shù)
async.executor.thread.max_pool_size = 30
# 配置隊列大小
async.executor.thread.queue_capacity = 99988
# 配置線程池中的線程的名稱前綴
async.executor.thread.name.prefix = async-importDB-

spring容器注入線程池bean對象

@Configuration

@EnableAsync

@Slf4j

publicclassExecutorConfig{
@Value("${async.executor.thread.core_pool_size}")
privateintcorePoolSize;
@Value("${async.executor.thread.max_pool_size}")
privateintmaxPoolSize;
@Value("${async.executor.thread.queue_capacity}")
privateintqueueCapacity;
@Value("${async.executor.thread.name.prefix}")
privateStringnamePrefix;

@Bean(name="asyncServiceExecutor")
publicExecutorasyncServiceExecutor(){
log.warn("startasyncServiceExecutor");
//在這里修改
ThreadPoolTaskExecutorexecutor=newVisiableThreadPoolTaskExecutor();
//配置核心線程數(shù)
executor.setCorePoolSize(corePoolSize);
//配置最大線程數(shù)
executor.setMaxPoolSize(maxPoolSize);
//配置隊列大小
executor.setQueueCapacity(queueCapacity);
//配置線程池中的線程的名稱前綴
executor.setThreadNamePrefix(namePrefix);
// rejection-policy:當pool已經(jīng)達到max size的時候,如何處理新任務
// CALLER_RUNS:不在新線程中執(zhí)行任務,而是有調用者所在的線程來執(zhí)行
executor.setRejectedExecutionHandler(newThreadPoolExecutor.CallerRunsPolicy());
//執(zhí)行初始化
executor.initialize();
returnexecutor;
}
}

創(chuàng)建異步線程 業(yè)務類

@Service
@Slf4j
publicclassAsyncServiceImplimplementsAsyncService{
@Override
@Async("asyncServiceExecutor")
publicvoidexecuteAsync(ListlogOutputResults,LogOutputResultMapperlogOutputResultMapper,CountDownLatchcountDownLatch){
try{
log.warn("startexecuteAsync");
//異步線程要做的事情
logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
log.warn("endexecuteAsync");
}finally{
countDownLatch.countDown();//很關鍵,無論上面程序是否異常必須執(zhí)行countDown,否則await無法釋放
}
}
}

創(chuàng)建多線程批量插入具體業(yè)務方法

@Override
publicinttestMultiThread(){
ListlogOutputResults=getTestData();
//測試每100條數(shù)據(jù)插入開一個線程
List>lists=ConvertHandler.splitList(logOutputResults,100);
CountDownLatchcountDownLatch=newCountDownLatch(lists.size());
for(ListlistSub:lists){
asyncService.executeAsync(listSub,logOutputResultMapper,countDownLatch);
}
try{
countDownLatch.await();//保證之前的所有的線程都執(zhí)行完成,才會走下面的;
//這樣就可以在下面拿到所有線程執(zhí)行完的集合結果
}catch(Exceptione){
log.error("阻塞異常:"+e.getMessage());
}
returnlogOutputResults.size();
}

模擬2000003 條數(shù)據(jù)進行測試

4fc16cce-6555-11ed-8abf-dac502259ad0.png

多線程 測試 2000003 耗時如下:耗時1.67分鐘

4fe0a918-6555-11ed-8abf-dac502259ad0.png4fe8a71c-6555-11ed-8abf-dac502259ad0.png

本次開啟30個線程,截圖如下:

5003382a-6555-11ed-8abf-dac502259ad0.png

單線程測試2000003 耗時如下:耗時5.75分鐘

502a55e0-6555-11ed-8abf-dac502259ad0.png504a0548-6555-11ed-8abf-dac502259ad0.png

檢查多線程入庫的數(shù)據(jù),檢查是否存在重復入庫的問題:

根據(jù)id分組,查看是否有id重復的數(shù)據(jù),通過sql語句檢查,沒有發(fā)現(xiàn)重復入庫的問題

506e5010-6555-11ed-8abf-dac502259ad0.png

檢查數(shù)據(jù)完整性:通過sql語句查詢,多線程錄入數(shù)據(jù)完整

50798f48-6555-11ed-8abf-dac502259ad0.png

測試結果

不同線程數(shù)測試:

508bc816-6555-11ed-8abf-dac502259ad0.png50969b9c-6555-11ed-8abf-dac502259ad0.png

總結

通過以上測試案列,同樣是導入2000003 條數(shù)據(jù),多線程耗時1.67分鐘,單線程耗時5.75分鐘。通過對不同線程數(shù)的測試,發(fā)現(xiàn)不是線程數(shù)越多越好,具體多少合適,網(wǎng)上有一個不成文的算法

CPU核心數(shù)量*2 +2 個線程。

附:測試電腦配置

50c32c2a-6555-11ed-8abf-dac502259ad0.png

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • SQL
    SQL
    +關注

    關注

    1

    文章

    791

    瀏覽量

    46729
  • 多線程
    +關注

    關注

    0

    文章

    279

    瀏覽量

    21045
  • spring
    +關注

    關注

    0

    文章

    341

    瀏覽量

    15944
  • SpringBoot
    +關注

    關注

    0

    文章

    177

    瀏覽量

    693

原文標題:性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百萬級數(shù)據(jù)實測!

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    電機如何區(qū)分級數(shù)

    電機級數(shù)是電機設計中的重要參數(shù),直接關系到電機的轉速、扭矩和功率特性。理解電機級數(shù)的區(qū)分方法,不僅有助于正確選型,還能為設備匹配和故障診斷提供依據(jù)。本文將從原理、識別方法和應用場景三個維度系統(tǒng)解析電機級數(shù)的核心知識。
    的頭像 發(fā)表于 03-12 16:47 ?20次閱讀
    電機如何區(qū)分<b class='flag-5'>級數(shù)</b>

    中軟國際中標國際金融巨頭千萬級數(shù)據(jù)平臺建設項目

    近年來,中軟國際金融業(yè)務集團持續(xù)深化港澳及海外市場的布局,不斷拓展國際合作。近期,公司成功中標某頭部國際信用卡清算機構的千萬級數(shù)據(jù)平臺建設項目,不僅是中軟國際與該金融機構的首次深度攜手,也標志著其在外資金融客戶軟硬件集成與數(shù)據(jù)解決方案開發(fā)實施服務方面實現(xiàn)重要突破。
    的頭像 發(fā)表于 03-04 16:12 ?651次閱讀

    固件燒錄速度實測:JTAG比UART快6.8倍

    批量生產(chǎn)場景中,固件燒錄效率直接影響產(chǎn)線節(jié)拍與交付能力。如何選擇最優(yōu)燒錄方式?本文以ZLG致遠電子MR6450系列核心板為例,通過實測數(shù)據(jù)為您解析。MR6450核心板MR6450是ZLG致遠電子
    的頭像 發(fā)表于 01-27 11:34 ?294次閱讀
    固件燒錄速度<b class='flag-5'>實測</b>:JTAG比UART快6.8倍

    超聲波風速傳感器硬核評測:精度 / 響應速度 / 功耗數(shù)據(jù)實測

    級超聲波風速傳感器,圍繞精度、響應速度、功耗三大核心指標展開實測,用真實數(shù)據(jù)為電子發(fā)燒友、工程師提供選型參考。 一、測試準備:標準設備與環(huán)境搭建 1. 測試對象 選取市面主流工業(yè)級超聲波風速傳感器(型號:RS-CFS-FX
    的頭像 發(fā)表于 01-17 16:59 ?176次閱讀
    超聲波風速傳感器硬核評測:精度 / 響應速度 / 功耗<b class='flag-5'>數(shù)據(jù)實測</b>

    某化工企業(yè)實測:30 天部署采集系統(tǒng),數(shù)據(jù)同步零延遲

    數(shù)據(jù)采集是化工企業(yè)數(shù)字化轉型的關鍵第一步,這套30天部署、零延遲運行的實測方案,以高可靠性提供可復制路徑。當設備數(shù)據(jù)實現(xiàn)“即時感知、分析、應用”,化工生產(chǎn)的安全與效率將實現(xiàn)質的飛躍。
    的頭像 發(fā)表于 12-26 10:30 ?333次閱讀
    某化工企業(yè)<b class='flag-5'>實測</b>:30 天部署采集系統(tǒng),<b class='flag-5'>數(shù)據(jù)</b>同步零延遲

    如何使用SpringBoot、Vue2.0、MySQL開發(fā)一套云診所系統(tǒng)?

    SpringBoot是Java領域非常流行的快速開發(fā)框架,提供了豐富的生態(tài)和自動化配置,適合構建微服務和單體應用。 它可以很好地處理業(yè)務邏輯、數(shù)據(jù)持久化、安全性(Spring Security)和API接口
    的頭像 發(fā)表于 11-27 16:02 ?299次閱讀
    如何使用<b class='flag-5'>SpringBoot</b>、Vue2.0、MySQL開發(fā)一套云診所系統(tǒng)?

    10G通信信號衰減難題破解:沃虎片式網(wǎng)絡變壓器實測案例

    數(shù)據(jù)顯示:插入損耗從傳統(tǒng)產(chǎn)品的0.8dB降至0.48dB,衰減幅度降低40%,50米傳輸后信號完整性仍保持在標準范圍內;批量生產(chǎn)的一致性偏差控制在±3%,成品率提升至95%以上。關鍵原因在于自動化
    發(fā)表于 11-27 10:09

    Flutter 移動端開發(fā):集成淘寶 API 實現(xiàn)商品數(shù)據(jù)實時展示 APP

    在電商蓬勃發(fā)展的當下,移動端購物成為主流趨勢。對于開發(fā)者而言,利用 Flutter 構建一個能夠實時展示淘寶商品數(shù)據(jù)的 APP,既能滿足用戶便捷獲取商品信息的需求,也能為電商業(yè)務拓展新的渠道
    的頭像 發(fā)表于 11-13 09:36 ?382次閱讀

    醫(yī)院隨訪管理系統(tǒng)源碼,三級隨訪系統(tǒng)源碼,Java+Springboot,Vue,Ant-Design+MySQL5

    Java版隨訪系統(tǒng)源碼,醫(yī)院隨訪管理系統(tǒng)源碼,三級隨訪系統(tǒng)源碼,B/S前后端分離架構,自主版權,落地案例。 技術框架:Java+Springboot,Vue,Ant-Design+MySQL5 開發(fā)
    的頭像 發(fā)表于 11-08 14:48 ?559次閱讀
    醫(yī)院隨訪管理系統(tǒng)源碼,三級隨訪系統(tǒng)源碼,Java+<b class='flag-5'>Springboot</b>,Vue,Ant-Design+MySQL5

    偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎設施平臺

    偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎設施平臺,平臺集成了電源和冷卻產(chǎn)品、計算能力和服務,專為AI和高性能計算而設計,幫助數(shù)據(jù)中心運營商將部署速度提升高達30%,大幅降低風險,輕松應對電力、散熱和規(guī)模難題。
    的頭像 發(fā)表于 10-23 15:08 ?807次閱讀

    掌握NFC標簽批量讀取,輕松提升數(shù)據(jù)采集效率!

    NFC批量讀取技術解決傳統(tǒng)單點讀取效率低、成本高、易出錯等問題,實現(xiàn)高效、自動化數(shù)據(jù)采集。
    的頭像 發(fā)表于 09-23 16:11 ?561次閱讀
    掌握NFC標簽<b class='flag-5'>批量</b>讀取,輕松提升<b class='flag-5'>數(shù)據(jù)</b>采集效率!

    RK3506開發(fā)板Xenomai內核RT-Linux實時性系統(tǒng)適配教程與性能實測,實測僅7μs穩(wěn)定延時

    本文基于觸覺智能RK3506核心板/開發(fā)板,介紹Xenomai內核RT-Linux實時性系統(tǒng)適配,并附性能實測。簡介與實測數(shù)據(jù)Xenomai簡介XEnomai是一個實時子系統(tǒng),可與Linux內核緊密集成,為應用程序提供可預測的響
    的頭像 發(fā)表于 09-18 14:21 ?1426次閱讀
    RK3506開發(fā)板Xenomai內核RT-Linux實時性系統(tǒng)適配教程與性能<b class='flag-5'>實測</b>,<b class='flag-5'>實測</b>僅7μs穩(wěn)定延時

    積分球儀器數(shù)據(jù)實測

    儀器儀表
    jf_90915507
    發(fā)布于 :2025年08月07日 10:20:58

    復雜裝備研發(fā)設計中利用數(shù)據(jù)實現(xiàn)大規(guī)模個性化定制

    在復雜裝備研發(fā)設計中,利用數(shù)據(jù)實現(xiàn)大規(guī)模個性化定制已成為提升企業(yè)競爭力、滿足多樣化市場需求的關鍵路徑。其核心在于通過數(shù)據(jù)驅動的個性化需求識別、模塊化設計、柔性生產(chǎn)、智能決策及閉環(huán)反饋,實現(xiàn)高標準滿足
    的頭像 發(fā)表于 08-06 17:17 ?726次閱讀

    樹莓派5 + Hailo AI加速器:工業(yè)級數(shù)數(shù)據(jù)處理實戰(zhàn),打通SQLite與機器學習全鏈路

    本文討論了在工業(yè)自動化背景下,開發(fā)者利用樹莓派5和HailoAI加速器進行工業(yè)級數(shù)數(shù)據(jù)處理實戰(zhàn),打通SQLite與機器學習全鏈路時遇到的問題及解決方案。關鍵要點包括:1.開發(fā)者需求:構建能從
    的頭像 發(fā)表于 03-25 09:22 ?1239次閱讀
    樹莓派5 + Hailo AI加速器:工業(yè)<b class='flag-5'>級數(shù)</b>值<b class='flag-5'>數(shù)據(jù)</b>處理實戰(zhàn),打通SQLite與機器學習全鏈路