91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

高性能緩存設(shè)計(jì):如何解決緩存?zhèn)喂蚕韱栴}

京東云 ? 來源:jf_75140285 ? 作者:jf_75140285 ? 2025-07-01 15:01 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在多核高并發(fā)場景下,緩存?zhèn)喂蚕恚‵alse Sharing) 是導(dǎo)致性能驟降的“隱形殺手”。當(dāng)不同線程頻繁修改同一緩存行(Cache Line)中的獨(dú)立變量時(shí),CPU緩存一致性協(xié)議會(huì)強(qiáng)制同步整個(gè)緩存行,引發(fā)無效化風(fēng)暴,使看似無關(guān)的變量操作拖慢整體效率。本文從緩存結(jié)構(gòu)原理出發(fā),通過實(shí)驗(yàn)代碼復(fù)現(xiàn)偽共享問題(耗時(shí)從3709ms優(yōu)化至473ms),解析其底層機(jī)制;同時(shí)深入剖析高性能緩存庫 Caffeine 如何通過 內(nèi)存填充技術(shù)(120字節(jié)占位變量)隔離關(guān)鍵字段,以及 JDK 1.8 的 @Contended 注解如何以“空間換時(shí)間”策略高效解決偽共享問題,揭示緩存一致性優(yōu)化的核心思想與實(shí)踐價(jià)值,為開發(fā)者提供性能調(diào)優(yōu)的關(guān)鍵思路。

偽共享

偽共享(False sharing)是一種會(huì)導(dǎo)致性能下降的使用模式,最常見于現(xiàn)代多處理器CPU緩存中。當(dāng)不同線程頻繁修改同一緩存行(Cache Line)中不同變量時(shí),由于CPU緩存一致性協(xié)議(如MESI)會(huì)強(qiáng)制同步整個(gè)緩存行,導(dǎo)致線程間無實(shí)際數(shù)據(jù)競爭的邏輯變量被迫觸發(fā)緩存行無效化(Invalidation),引發(fā)頻繁的內(nèi)存訪問和性能下降。盡管這些變量在代碼層面彼此獨(dú)立,但因物理內(nèi)存布局相鄰,共享同一緩存行,造成“虛假競爭”,需通過內(nèi)存填充或字段隔離使其獨(dú)占緩存行解決。

接下來我們討論并驗(yàn)證在 CPU 緩存中是如何發(fā)生偽共享問題的,首先我們需要先介紹一下 CPU 的緩存結(jié)構(gòu),如下圖所示:

wKgZPGhiYXSAWBAQAAKTcpGKIOw367.png

CPU Cache 通常分為大小不等的三級緩存,分別為 L1 Cache、L2 Cache、L3 Cache,越靠近 CPU 的緩存,速度越快,容量也越小。CPU Cache 實(shí)際上由很多個(gè)緩存行 Cache Line 組成,通常它的大小為 64 字節(jié)(或 128 字節(jié)),是 CPU 從內(nèi)存中 讀取數(shù)據(jù)的基本單位,如果訪問一個(gè) long[] 數(shù)組,當(dāng)其中一個(gè)值被加載到緩存中時(shí),它會(huì)額外加載另外 7 個(gè)元素到緩存中。那么我們考慮這樣一種情況,CPU 的兩個(gè)核心分別訪問和修改統(tǒng)一緩存行中的數(shù)據(jù),如下圖所示:

wKgZO2hiYXWAX1oFAAI12kQOkt8607.png

核心 1 不斷地訪問和更新值 X,核心 2 則不斷地訪問和更新值 Y,事實(shí)上每當(dāng)有核心對某一緩存行中的數(shù)據(jù)進(jìn)行修改時(shí),都會(huì)導(dǎo)致其他核心的緩存行失效,從而導(dǎo)致其他核心需要重新加載緩存行數(shù)據(jù),進(jìn)而導(dǎo)致性能下降,這也就是我們上文中所說的緩存?zhèn)喂蚕韱栴}。接下來我們用一段代碼來驗(yàn)證下緩存?zhèn)喂蚕韱栴}造成的性能損失,如下所示:

public class TestFalseSharing {

    static class Pointer {
        // 兩個(gè) volatile 變量,保證可見性
        volatile long x;
        volatile long y;

        @Override
        public String toString() {
            return "x=" + x + ", y=" + y;
        }
    }

    @Test
    public void testFalseSharing() throws InterruptedException {
        Pointer pointer = new Pointer();

        // 啟動(dòng)兩個(gè)線程,分別對 x 和 y 進(jìn)行自增 1億 次的操作
        long start = System.currentTimeMillis();
        Thread t1 = new Thread(() -> {
            for (int i = 0; i < 100_000_000; i++) {
                pointer.x++;
            }
        });
        Thread t2 = new Thread(() -?> {
            for (int i = 0; i < 100_000_000; i++) {
                pointer.y++;
            }
        });

        t1.start();
        t2.start();
        t1.join();
        t2.join();

        System.out.println(System.currentTimeMillis() - start);
        System.out.println(pointer);
    }

}

這種情況下會(huì)發(fā)生緩存的偽共享,x 和 y 被加載到同一緩存行中,當(dāng)其中一個(gè)值被修改時(shí),會(huì)使另一個(gè)核心中的該緩存行失效并重新加載,代碼執(zhí)行實(shí)際耗時(shí)為 3709ms。如果我們將 x 變量后再添加上 7 個(gè) long 型的元素,使得變量 x 和變量 y 分配到不同的緩存行中,那么理論上性能將得到提升,我們實(shí)驗(yàn)一下:

public class TestFalseSharing {

    static class Pointer {
        volatile long x;
        long p1, p2, p3, p4, p5, p6, p7;
        volatile long y;

        @Override
        public String toString() {
            return "x=" + x + ", y=" + y;
        }
    }

    @Test
    public void testFalseSharing() throws InterruptedException {
        // ...
    }

}

本次任務(wù)執(zhí)行耗時(shí)為 473ms,性能得到了極大的提升?,F(xiàn)在我們已經(jīng)清楚的了解了緩存?zhèn)喂蚕韱栴},接下來我們討論下在 Caffeine 中是如何解決緩存?zhèn)喂蚕韱栴}的。

Caffeine 對緩存?zhèn)喂蚕韱栴}的解決方案

在 緩存之美:萬文詳解 Caffeine 實(shí)現(xiàn)原理 中我們提到過,負(fù)責(zé)記錄寫后任務(wù)的 WriterBuffer 數(shù)據(jù)結(jié)構(gòu)的類繼承關(guān)系如下所示:

wKgZPGhiYXaAPMq1AArX0SqWOsQ148.png

如圖中標(biāo)紅的類所示,它們都是用來解決偽共享問題的,我們以 BaseMpscLinkedArrayQueuePad1 為例來看下它的實(shí)現(xiàn):

abstract class BaseMpscLinkedArrayQueuePad1 extends AbstractQueue {
    byte p000, p001, p002, p003, p004, p005, p006, p007;
    byte p008, p009, p010, p011, p012, p013, p014, p015;
    byte p016, p017, p018, p019, p020, p021, p022, p023;
    byte p024, p025, p026, p027, p028, p029, p030, p031;
    byte p032, p033, p034, p035, p036, p037, p038, p039;
    byte p040, p041, p042, p043, p044, p045, p046, p047;
    byte p048, p049, p050, p051, p052, p053, p054, p055;
    byte p056, p057, p058, p059, p060, p061, p062, p063;
    byte p064, p065, p066, p067, p068, p069, p070, p071;
    byte p072, p073, p074, p075, p076, p077, p078, p079;
    byte p080, p081, p082, p083, p084, p085, p086, p087;
    byte p088, p089, p090, p091, p092, p093, p094, p095;
    byte p096, p097, p098, p099, p100, p101, p102, p103;
    byte p104, p105, p106, p107, p108, p109, p110, p111;
    byte p112, p113, p114, p115, p116, p117, p118, p119;
}

abstract class BaseMpscLinkedArrayQueueProducerFields extends BaseMpscLinkedArrayQueuePad1 {
    // 生產(chǎn)者操作索引(并不對應(yīng)緩沖區(qū) producerBuffer 中索引位置)
    protected long producerIndex;
}

可以發(fā)現(xiàn)在這個(gè)類中定義了 120 個(gè)字節(jié)變量,這樣緩存行大小不論是 64 字節(jié)還是 128 字節(jié),都能保證字段間的隔離。如圖中所示 AbstractQueue 和 BaseMpscLinkedArrayQueueProducerFields 中的變量一定會(huì) 被分配到不同的緩存行 中。同理,借助 BaseMpscLinkedArrayQueuePad2 中的 120 個(gè)字節(jié)變量,BaseMpscLinkedArrayQueueProducerFields 和 BaseMpscLinkedArrayQueueConsumerFields 中的變量也會(huì)被分配到不同的緩存行中,這樣就避免了緩存的偽共享問題。

其實(shí)除了 Caffeine 中有解決緩存?zhèn)喂蚕韱栴}的方案外,在 JDK 1.8 中引入了 @Contended 注解,它也可以解決緩存?zhèn)喂蚕韱栴},如下所示為它在 ConcurrentHashMap 中的應(yīng)用:

public class ConcurrentHashMap extends AbstractMap
        implements ConcurrentMap, Serializable {
    // ...
    
    @sun.misc.Contended
    static final class CounterCell {
        volatile long value;

        CounterCell(long x) {
            value = x;
        }
    }
}

其中的內(nèi)部類 CounterCell 被標(biāo)記了 @sun.misc.Contended 注解,表示該類中的字段會(huì)與其他類的字段相隔離,如果類中有多個(gè)字段,實(shí)際上該類中的變量間是不隔離的,這些字段可能被分配到同一緩存行中。因?yàn)?CounterCell 中只有一個(gè)字段,所以它會(huì)被被分配到一個(gè)緩存行中,剩余緩存行容量被空白內(nèi)存填充,本質(zhì)上也是一種以空間換時(shí)間的策略。這樣其他變量的變更就不會(huì)影響到 CounterCell 中的變量了,從而避免了緩存?zhèn)喂蚕韱栴}。

這個(gè)注解不僅能標(biāo)記在類上,還能標(biāo)記在字段上,拿我們的的代碼來舉例:

public class TestFalseSharing {

    static class Pointer {
        @Contended("cacheLine1")
        volatile long x;
        //        long p1, p2, p3, p4, p5, p6, p7;
        @Contended("cacheLine2")
        volatile long y;

        @Override
        public String toString() {
            return "x=" + x + ", y=" + y;
        }
    }
    
    @Test
    public void testFalseSharing() throws InterruptedException {
        // ...
    }

}

它可以指定內(nèi)容來 定義多個(gè)字段間的隔離關(guān)系。我們使用注解將這兩個(gè)字段定義在兩個(gè)不同的緩存行中,執(zhí)行結(jié)果耗時(shí)與顯示聲明字段占位耗時(shí)相差不大,為 520ms。另外需要注意的是,要想使注解 Contended 生效,需要添加 JVM 參數(shù) -XX:-RestrictContended。

再談偽共享

避免偽共享的主要方法是代碼檢查,而且偽共享可能不太容易被識別出來,因?yàn)橹挥性诰€程訪問的是不同且碰巧在主存中相鄰的全局變量時(shí)才會(huì)出現(xiàn)偽共享問題,線程的局部存儲或者局部變量不會(huì)是偽共享的來源。此外,解決偽共享問題的本質(zhì)是以空間換時(shí)間,所以并不適用于在大范圍內(nèi)解決該問題,否則會(huì)造成大量的內(nèi)存浪費(fèi)。

巨人的肩膀

維基百科 - 偽共享

小林coding - 2.3 如何寫出讓 CPU 跑得更快的代碼

知乎 - 雜談 什么是偽共享(false sharing)

博客園 - CPU Cache 與緩存行

博客園 - 偽共享(false sharing),并發(fā)編程無聲的性能殺手

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    11275

    瀏覽量

    224916
  • 緩存
    +關(guān)注

    關(guān)注

    1

    文章

    248

    瀏覽量

    27757
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    探秘DS2731:緩存內(nèi)存電池備份管理IC的卓越性能與應(yīng)用

    探秘DS2731:緩存內(nèi)存電池備份管理IC的卓越性能與應(yīng)用 在電子設(shè)備的設(shè)計(jì)中,電源管理是一個(gè)至關(guān)重要的環(huán)節(jié),尤其是對于需要可靠備份電源的應(yīng)用場景。今天,我們就來深入探討一款功能強(qiáng)大的緩存內(nèi)存電池
    的頭像 發(fā)表于 02-24 16:40 ?299次閱讀

    DRAM緩存真有那么重要嗎?天碩工業(yè)級SSD固態(tài)硬盤實(shí)測告訴你答案!

    在國產(chǎn)固態(tài)硬盤推薦榜中,推薦五花八門,很多用戶疑惑DRAM 緩存 SSD 值得買嗎?不同方案的國產(chǎn) SSD 性能對比差距到底有多大?價(jià)格差距不小,性能也各說各的好。要弄清兩者的實(shí)際差異,先看國產(chǎn) SSD
    的頭像 發(fā)表于 01-19 16:49 ?262次閱讀

    C語言的緩沖區(qū)(緩存)詳解

    緩沖區(qū)又稱為緩存,它是內(nèi)存空間的一部分。也就是說,在內(nèi)存空間中預(yù)留了一定的存儲空間,這些存儲空間用來緩沖輸入或輸出的數(shù)據(jù),這部分預(yù)留的空間就叫做緩沖區(qū)。   緩沖區(qū)根據(jù)其對應(yīng)的是輸入設(shè)備還是輸出設(shè)備
    發(fā)表于 01-14 07:30

    數(shù)據(jù)全復(fù)用高性能池化層設(shè)計(jì)思路分享

    大家好,本團(tuán)隊(duì)此次分享的內(nèi)容為可實(shí)現(xiàn)數(shù)據(jù)全復(fù)用高性能池化層設(shè)計(jì)思路,核心部分主要由以下3個(gè)部分組成; 1.SRAM讀取模塊;——池化使用的存儲為SRAM 基于SRAM讀與寫時(shí)序,約束池化模塊讀與寫
    發(fā)表于 10-29 07:10

    串口DMA發(fā)送有緩存嗎?

    串口DMA發(fā)送有緩存嗎, 我是從ringbuffer取出來,放到申請的緩存里,啟動(dòng)串口DMA發(fā)送,然后就釋放了。暫時(shí)沒發(fā)現(xiàn)什么問題。 用的drv_usart.c是這個(gè)版本
    發(fā)表于 10-10 06:14

    Redis緩存的經(jīng)典問題和解決方案

    用戶瘋狂查詢數(shù)據(jù)庫中不存在的數(shù)據(jù),每次查詢都繞過緩存直接打到數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫壓力驟增。
    的頭像 發(fā)表于 08-20 16:24 ?773次閱讀

    緩存之美:萬文詳解 Caffeine 實(shí)現(xiàn)原理(上)

    用于統(tǒng)計(jì)元素訪問頻率的 Count-Min Sketch 數(shù)據(jù)結(jié)構(gòu)、理解內(nèi)存屏障和如何避免緩存共享問題、MPSC 多線程設(shè)計(jì)模式、高性能緩存
    的頭像 發(fā)表于 08-05 14:49 ?699次閱讀
    <b class='flag-5'>緩存</b>之美:萬文詳解 Caffeine 實(shí)現(xiàn)原理(上)

    本地緩存 Caffeine 中的時(shí)間輪(TimeWheel)是什么?

    我們詳細(xì)介紹了 Caffeine 緩存添加元素和讀取元素的流程,并詳細(xì)解析了配置固定元素?cái)?shù)量驅(qū)逐策略的實(shí)現(xiàn)原理。在本文中我們將主要介紹 配置元素過期時(shí)間策略的實(shí)現(xiàn)原理 ,補(bǔ)全 Caffeine
    的頭像 發(fā)表于 08-05 14:48 ?609次閱讀
    本地<b class='flag-5'>緩存</b> Caffeine 中的時(shí)間輪(TimeWheel)是什么?

    harmony-utils之CacheUtil,緩存工具類

    harmony-utils之CacheUtil,緩存工具類
    的頭像 發(fā)表于 07-04 16:36 ?492次閱讀

    請問如何在C++中使用NPU上的模型緩存

    無法確定如何在 C++ 中的 NPU 上使用模型緩存
    發(fā)表于 06-24 07:25

    HarmonyOS5云服務(wù)技術(shù)分享--云緩存快速上手指南

    連接失敗 五、總結(jié) 通過本文,相信大家對AGC云緩存的接入已有了全面認(rèn)識。無論是Node.js的輕量級方案,還是Java中的三種靈活選擇,都能幫助業(yè)務(wù)快速實(shí)現(xiàn)高性能緩存。如果在實(shí)踐中遇到問題,記得回看
    發(fā)表于 05-22 18:37

    MCU緩存設(shè)計(jì)

    MCU 設(shè)計(jì)通過優(yōu)化指令與數(shù)據(jù)的訪問效率,顯著提升系統(tǒng)性能并降低功耗,其核心架構(gòu)與實(shí)現(xiàn)策略如下: 一、緩存類型與結(jié)構(gòu) 指令緩存(I-Cache)與數(shù)據(jù)緩存(D-Cache)? I-Ca
    的頭像 發(fā)表于 05-07 15:29 ?1107次閱讀

    Nginx緩存配置詳解

    Nginx 是一個(gè)功能強(qiáng)大的 Web 服務(wù)器和反向代理服務(wù)器,它可以用于實(shí)現(xiàn)靜態(tài)內(nèi)容的緩存,緩存可以分為客戶端緩存和服務(wù)端緩存。
    的頭像 發(fā)表于 05-07 14:03 ?1244次閱讀
    Nginx<b class='flag-5'>緩存</b>配置詳解

    高速SSD存儲系統(tǒng)中數(shù)據(jù)緩存控制器整體頂層設(shè)計(jì)

    數(shù)據(jù)緩存控制器主要實(shí)現(xiàn)了對大量突發(fā)數(shù)據(jù)的緩存、AXI4接口與AXI4-Stream接口之間的轉(zhuǎn)換和NVMe命令的生成等功能。這里主要介紹相關(guān)開發(fā)流程。
    的頭像 發(fā)表于 04-14 10:46 ?777次閱讀
    高速SSD存儲系統(tǒng)中數(shù)據(jù)<b class='flag-5'>緩存</b>控制器整體頂層設(shè)計(jì)

    nginx中強(qiáng)緩存和協(xié)商緩存介紹

    強(qiáng)緩存直接告訴瀏覽器:在緩存過期前,無需與服務(wù)器通信,直接使用本地緩存。
    的頭像 發(fā)表于 04-01 16:01 ?972次閱讀