OpenCAPI 和 CXL 將發(fā)布聯(lián)合公告，表示這兩個集團(tuán)將聯(lián)手，OpenCAPI 標(biāo)準(zhǔn)和財團(tuán)的資產(chǎn)將轉(zhuǎn)移到 CXL 財團(tuán)。通過這種集成，CXL 將成為主導(dǎo)的 CPU 到設(shè)備互連標(biāo)準(zhǔn)，因為幾乎所有主要制造商現(xiàn)在都支持該標(biāo)準(zhǔn)，而競爭標(biāo)準(zhǔn)已經(jīng)退出競爭并被 CXL 吸收。

　　比CXL 面世還早的OpenCAPI 是緩存一致 CPU 互連的早期標(biāo)準(zhǔn)之一。該標(biāo)準(zhǔn)由 AMD、Xilinx 和 IBM 等公司提供支持，是 IBM 現(xiàn)有的相干加速器處理器接口 （Coherent Accelerator Processor Interface ：CAPI） 技術(shù)的擴(kuò)展，向業(yè)界其他公司開放，并將其控制在行業(yè)聯(lián)盟之下。在過去六年中，OpenCAPI 的使用量不大，最引人注目的是在 IBM 的 POWER9 處理器系列中實現(xiàn)。與類似的 CPU 到設(shè)備互連標(biāo)準(zhǔn)一樣，OpenCAPI 本質(zhì)上是現(xiàn)有高速 I/O 標(biāo)準(zhǔn)之上的應(yīng)用程序擴(kuò)展，添加了緩存一致性和更快（更低延遲）訪問模式等內(nèi)容，以便 CPU 和加速器可以更多地協(xié)同工作盡管它們的物理分解很緊密。

　　但是，作為解決這個問題的幾個競爭標(biāo)準(zhǔn)之一，OpenCAPI 從未在業(yè)界引起轟動。作為一個誕生于IBM 的標(biāo)準(zhǔn)，在推進(jìn)過程中，IBM 在服務(wù)器領(lǐng)域的份額一直在下降，但I(xiàn)BM 扔起是其最大的用戶。甚至像 AMD 這樣的新興聯(lián)盟成員也最終跳過了這項技術(shù)，例如利用他們自己的 Infinity Fabric 架構(gòu)來實現(xiàn) AMD 服務(wù)器 CPU/GPU 連接。這使得 OpenCAPI 沒有強(qiáng)大的擁護(hù)者——也沒有龐大的用戶群來推動事情的發(fā)展。

　　最終，為了制造商和客戶的利益，更廣泛的行業(yè)希望在單一互連標(biāo)準(zhǔn)背后進(jìn)行整合，這將互連戰(zhàn)爭推向了高潮。隨著 Compute Express Link （CXL） 迅速成為明顯的贏家，OpenCAPI 聯(lián)盟退出并被 CXL 吸收。 根據(jù)擬議交易的條款——等待必要方的批準(zhǔn)——OpenCAPI 聯(lián)盟的資產(chǎn)和標(biāo)準(zhǔn)將轉(zhuǎn)移給 CXL 聯(lián)盟。這將包括來自 OpenCAPI 的所有相關(guān)技術(shù)，以及該組織鮮為人知的開放內(nèi)存接口 （OMI） 標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)允許通過 OpenCAPI 的物理總線將 DRAM 連接到系統(tǒng)。

　　本質(zhì)上，CXL 聯(lián)盟將吸收 OpenCAPI；雖然出于顯而易見的原因他們不會繼續(xù)開發(fā)，但轉(zhuǎn)移意味著 OpenCAPI 的任何有用技術(shù)都可以集成到 CXL 的未來版本中，從而加強(qiáng)整個生態(tài)系統(tǒng)。 隨著 OpenCAPI 兼并到 CXL，這使得英特爾支持的標(biāo)準(zhǔn)成為主導(dǎo)的互連標(biāo)準(zhǔn)——以及行業(yè)未來的事實標(biāo)準(zhǔn)。競爭的Gen-Z 標(biāo)準(zhǔn)在今年早些時候同樣被 CXL 吸收，而 CCIX 標(biāo)準(zhǔn)已被拋在后面，其主要支持者近年來加入了 CXL 聯(lián)盟。因此，即使第一批支持 CXL 的 CPU 還沒有發(fā)貨，在這一點上，CXL 已經(jīng)清除了障礙，可以說，成為從加速器 I/O （CXL.io） 到內(nèi)存擴(kuò)展的所有方面的唯一剩余服務(wù)器 CPU 互連標(biāo)準(zhǔn)通過 PCIe 總線。

　　在發(fā)布新聞稿中，雙方表示，計算行業(yè)正在經(jīng)歷重大變革。特定于應(yīng)用程序的硬件加速正變得司空見慣，新的內(nèi)存技術(shù)正在影響計算的經(jīng)濟(jì)性。為了滿足對開放架構(gòu)的需求，以允許全行業(yè)參與，OpenCAPI 聯(lián)盟 （OCC） 成立于 2016 年。定義的架構(gòu)允許任何微處理器連接到一致的用戶級加速器、高級存儲器，并且與處理器架構(gòu)。2021 年，OCC 宣布了開放內(nèi)存接口 （OMI）。OMI 是基于 OpenCAPI 的串行連接近存儲器接口，可為主存儲器提供低延遲和高帶寬連接。

　　2019 年，Compute Express Link （CXL） 聯(lián)盟成立，旨在為處理器、內(nèi)存擴(kuò)展和加速器提供行業(yè)支持的高速緩存一致性互連。2020 年，CXL 和 Gen-Z 聯(lián)盟宣布了在各自技術(shù)之間實施互操作性的計劃，并在 2022 年初，Gen-Z 將其規(guī)范和資產(chǎn)轉(zhuǎn)讓給了 CXL 聯(lián)盟。

　　秉承這一精神，OpenCAPI 宣布，OCC和CXL正在達(dá)成協(xié)議，如果各方批準(zhǔn)并同意，將把 OpenCAPI 和 OMI 規(guī)范以及 OpenCAPI 聯(lián)盟資產(chǎn)轉(zhuǎn)讓給 CXL 聯(lián)盟。

　　“我們很高興看到業(yè)界圍繞一個推動開放式創(chuàng)新并利用 OpenCAPI 和開放式內(nèi)存接口提供一致互連和低延遲、接近內(nèi)存接口的價值的組織聚集在一起。我們預(yù)計這將為行業(yè)帶來最佳的業(yè)務(wù)成果，因為一個整體和財團(tuán)的成員。”O(jiān)penCAPI 聯(lián)盟主席Bob Szabo指出。 “我們很高興有機(jī)會將行業(yè)重點放在一個組織下的規(guī)范上。這是我們共同成員共同努力推進(jìn)標(biāo)準(zhǔn)高速相干互連/結(jié)構(gòu)以造福行業(yè)的正確時機(jī)。 OCC 資產(chǎn)的分配將允許 CXL 聯(lián)盟自由使用 OCC 已經(jīng)通過 OpenCAPI/OMI 開發(fā)的內(nèi)容?！盋XL 聯(lián)盟主席 Siamak Tavallaei補(bǔ)充說。

　　前情提要：CXL 吸收 GEN-Z

　　在2021年11月，CXL 宣布，將吸收GEN-Z標(biāo)準(zhǔn)共同發(fā)展。 在 IT 行業(yè)中，相互競爭的團(tuán)體為了共同利益和各地系統(tǒng)的改進(jìn)而共同努力，這是一個司空見慣的事情，CXL 聯(lián)盟吸收了 Gen-Z 聯(lián)盟也是如此。 資料顯示，制造商 AMD、架構(gòu)設(shè)計公司ARM、兩家服務(wù)器供應(yīng)商戴爾和 HPE、內(nèi)存制造商美光和 FPGA 專家賽靈思自 2016 年以來一直在開發(fā) Gen-Z，以便通過協(xié)議處理器、PCI- Express 內(nèi)存和加速器進(jìn)行通信。

　　然而，Gen-Z 聯(lián)盟缺少兩個重要的名字：英特爾和英偉達(dá)。

　　雖然英偉達(dá)最終在 2020 年 8 月加入該聯(lián)盟。但英特爾推出了相互競爭的互連 Compute Express Link （CXL），改聯(lián)盟的支持者有阿里巴巴、思科、戴爾 EMC、Facebook、谷歌、HPE、華為和微軟。 當(dāng) AMD、ARM、IBM、Nvidia 和 Xilinx 于 2019 年夏末加入Gen-Z聯(lián)盟時，我們能明顯察覺到它們將面臨困難時期。兩個財團(tuán)隨后相互合作——但自 2020 年 5 月以來沒有發(fā)布任何新聞稿，Gen-Z也沉默了?，F(xiàn)在，Gen-Z 想要完全停止自己的開發(fā)，將這個領(lǐng)域留給 CXL。

　　從CXL支持者提供的消息可以看到，GenZ的做法是希望將所有規(guī)格和資產(chǎn)轉(zhuǎn)移到CXL聯(lián)盟，但這仍需要各方的同意。值得一提的是，在CXL吸收Gen-Z的時候，行業(yè)內(nèi)仍有 CCIX 和 OpenCAPI與之競爭，但行業(yè)正在朝著 CXL 方向發(fā)展。現(xiàn)在吸收了OpenCAPI之后，只剩下CCIX最后一個在堅持。 AMD 的 Infinity Fabric 專門用于將其自己的 Eypc 處理器與 Instinct 加速器耦合，就像 Nvidia 的 NV-Link 與 IBM 的 Power CPU 及其自己的 GPU 加速器（如 A100）一樣。

　　英特爾即將推出的用于服務(wù)器的處理器系列 Sapphire Rapids 是第一代能夠處理 CXL，它在第一次迭代中基于 PCI Express 5.0，但希望快速切換到 PCIe 6.0 以獲得更高的傳輸速率。AMD 緊隨其后的是 CPU 系列 Epyc 7004，別名 Genoa。三星已經(jīng)宣布 CXL 內(nèi)存擴(kuò)展器為 PCIe DRAM。 從某種角度看，再現(xiàn)上世紀(jì)80年代末和90年代初的總線大戰(zhàn)會很有趣。供應(yīng)商之間為爭奪他們所控制的標(biāo)準(zhǔn)而進(jìn)行的斗爭最終導(dǎo)致了PCI-X和PCI-Express總線的創(chuàng)建，這些總線以及分支InfiniBand interconnect在服務(wù)器領(lǐng)域占據(jù)了20年的主導(dǎo)地位，以及分支InfiniBand interconnect，它最初是作為一個通用的交換結(jié)構(gòu)來連接高帶寬和低延遲的所有東西。這可能要比其他情況下花費(fèi)更長的時間——改寫歷史是很困難的。

　　CXL 將如何改變數(shù)據(jù)中心

　　據(jù)The Register報道，Compute Express Link （CXL） 有可能從根本上改變系統(tǒng)和數(shù)據(jù)中心的構(gòu)建和運(yùn)營方式。經(jīng)過 190 多家公司的多年聯(lián)合開發(fā)，開放標(biāo)準(zhǔn)幾乎已準(zhǔn)備好迎接黃金時間。

　　對于那些不熟悉的人，CXL 定義了一個通用的、緩存一致的接口，用于連接 CPU、內(nèi)存、加速器和其他外圍設(shè)備。在接受The Register采訪的時候，CXL 董事長兼英特爾技術(shù)計劃總監(jiān) Jim Pappas表示，該標(biāo)準(zhǔn)對數(shù)據(jù)中心的影響是廣泛的。

　　因此，第一批 CXL 兼容系統(tǒng)預(yù)計將在今年晚些時候與英特爾的 Sapphire Rapids Xeon Scalables 和 AMD 的 Genoa 第四代 Epycs 一起推出，我們詢問了Pappas，問他預(yù)計 CXL 將如何在短期內(nèi)改變行業(yè)。 根據(jù) Pappas 的說法，CXL 的首批實現(xiàn)之一可能涉及系統(tǒng)內(nèi)存。他解釋說，到目前為止，只有兩種方法可以將更多內(nèi)存附加到加速器上。要么添加更多 DDR 內(nèi)存通道以支持更多模塊，要么必須將其直接集成到加速器或 CPU 封裝中。

　　“你不能將內(nèi)存放在 PCIe 總線上，”但使用 CXL，你可以，Pappas 說?！癈XL 是為加速器設(shè)計的，但它也被設(shè)計為具有內(nèi)存接口。我們從一開始就知道這可以用作內(nèi)存的不同端口?！?無需使用更多或更大的內(nèi)存模塊填充系統(tǒng)，而是可以通過使用 PCIe 和 CXL 通用接口的卡安裝額外的內(nèi)存。并且由于 CXL 2.0 規(guī)范中引入的簡單交換系統(tǒng)，包括內(nèi)存在內(nèi)的資源可以被多個系統(tǒng)同時池化和訪問。

　　重要的是要注意，在這種配置中，只有資源本身而不是內(nèi)存的內(nèi)容在主機(jī)之間共享，Pappas 強(qiáng)調(diào)。“每個內(nèi)存區(qū)域最多屬于一個相干域。我們不是要共享內(nèi)存；這變得更加復(fù)雜?！?另一個用例涉及分層內(nèi)存架構(gòu)，其中系統(tǒng)利用封裝上的高帶寬內(nèi)存、直接連接到 CPU 的相當(dāng)大的快速 DDR5 內(nèi)存池，以及通過 CXL 模塊連接的更大的慢速內(nèi)存池。

　　根據(jù) Pappas 的說法，內(nèi)存池和分層內(nèi)存對數(shù)據(jù)中心和云運(yùn)營商有影響?！霸瓶蛻裘媾R的最大問題是他們的第一大支出是內(nèi)存。他們大約 50%的設(shè)備支出用于內(nèi)存，”他說。 通過池化這些內(nèi)存，Pappas 認(rèn)為運(yùn)營商可以通過減少閑置的內(nèi)存量來實現(xiàn)巨大的成本節(jié)約。Pappas 說，由于池化或分層內(nèi)存的行為與連接到 CPU 的系統(tǒng)內(nèi)存沒有任何不同，因此無需修改應(yīng)用程序即可利用這些技術(shù)。如果應(yīng)用程序“要求更多內(nèi)存，那么現(xiàn)在基本上是無限供應(yīng)”。

　　這項技術(shù)也不是理論上的。內(nèi)存池和分層內(nèi)存是 CXL 初創(chuàng)公司 Tanzanite Silicon Solutions 在今年五月被 Marvell Technologies 收購之前正在研究的幾項技術(shù)之一。Marvell 認(rèn)為，該技術(shù)將證明對實現(xiàn)真正可組合的基礎(chǔ)設(shè)施至關(guān)重要，而到目前為止，這些基礎(chǔ)設(shè)施在很大程度上僅限于計算和存儲。

　　Pappas 還希望 CXL 通過在 CPU、AI 加速器和/或 GPU 之間建立比目前通過 PCIe 實現(xiàn)的更密切的關(guān)系，從而使 AI/ML 工作負(fù)載受益。

　　在基本層面上，CPU 與外圍設(shè)備（如 GPU）交互的方式是通過 PCIe 總線來回發(fā)送加載/存儲指令。CXL 消除了這個瓶頸，使指令能夠在加速器和主機(jī)之間進(jìn)行流式傳輸。 “這與雙處理器系統(tǒng)中發(fā)生的情況非常相似，其中高速緩存在處理器之間保持一致。我們正在將其擴(kuò)展到加速器，”Pappas說。

　　將這種緩存一致性擴(kuò)展到 CPU 以外的加速器絕非易事或新想法。

　　他告訴我們，英特爾和其他公司過去曾嘗試過為加速器開發(fā)標(biāo)準(zhǔn)化互連，但都失敗了。部分問題是與這些互連相關(guān)的復(fù)雜性在組件之間共享，這使得將它們擴(kuò)展到第三方非常困難?！爱?dāng)我們在英特爾嘗試這樣做時，它非常復(fù)雜，幾乎沒有人，基本上沒有人能夠真正讓它發(fā)揮作用，”Pappas透露。他認(rèn)為，對于 CXL，基本上所有的復(fù)雜性都包含在主機(jī) CPU 中。

　　這種不對稱的復(fù)雜性并非沒有權(quán)衡，但 Pappas 認(rèn)為它們非常值得。這些以應(yīng)用程序親和性的形式出現(xiàn)，特別是哪個加速器獲得對緩存或內(nèi)存的優(yōu)先訪問權(quán)，哪個必須扮演次要角色。 Pappas 聲稱，這在一定程度上得到了緩解，因為客戶通常會知道加速器將訪問哪些內(nèi)存區(qū)域與主機(jī)訪問的內(nèi)存區(qū)域。用戶將能夠通過在 BIOS 中設(shè)置偏差來適應(yīng)。

　　CXL 標(biāo)準(zhǔn)還沒有完成。CXL 聯(lián)盟預(yù)計將在今年晚些時候發(fā)布 3.0 規(guī)范。 該更新包括從每秒 32 千兆傳輸?shù)?64 的提升，符合計劃向 PCIe 6.0 的遷移，以及對許多新的內(nèi)存使用模型的支持，Pappas 表示。該規(guī)范還介紹了一種以非對稱方式實施 CXL 互連技術(shù)的途徑。此功能將允許 GPU 或 NIC 等設(shè)備直接與其他 CXL 設(shè)備交互，從而完全消除 CPU 作為瓶頸。

　　“這將非常重要，因為您可以獲得多個需要持續(xù)運(yùn)行的加速器，”他說。

　　最后，該規(guī)范暗示了引入多級交換的 CXL 結(jié)構(gòu)。

　　CXL 網(wǎng)絡(luò)結(jié)構(gòu)將是將技術(shù)擴(kuò)展到機(jī)架級別之外的關(guān)鍵。并且有理由相信這可能會出現(xiàn)在 Gen-Z之后的 3.0 版本中——他們在去年底將其相干記憶結(jié)構(gòu)資產(chǎn)捐贈給 CXL 聯(lián)盟。 盡管 CXL 對于數(shù)據(jù)中心的未來可能令人興奮，但不要指望它會在一夜之間取得成功。該技術(shù)還處于起步階段，預(yù)計將在今年晚些時候推出第一代兼容系統(tǒng)。 Pappas 預(yù)計配備 CXL 的系統(tǒng)將分階段推出，分層內(nèi)存和內(nèi)存池可能是第一個主流用例。 “明年，第一輪系統(tǒng)將主要用于概念驗證，”他說?！罢f實話，沒有人會采用從未嘗試過的新技術(shù)?！?在概念驗證之后，Pappas 預(yù)計在該技術(shù)最終開始在生產(chǎn)環(huán)境中出現(xiàn)之前，至少還要進(jìn)行一年的實驗性部署。

　　關(guān)于CXL的一些基礎(chǔ)知識

　　作為一種開放式互連新標(biāo)準(zhǔn)，CXL面向 CPU 和專用加速器的密集型工作負(fù)載，這些負(fù)載都需要在主機(jī)和設(shè)備之間實現(xiàn)高效穩(wěn)定的存儲器訪問。

　　PCI Express （PCIe） 已經(jīng)存在多年，最近完成的 PCIe 基礎(chǔ)規(guī)范 5.0 版本現(xiàn)在能夠以高達(dá) 32GT/s 的速度實現(xiàn) CPU 和外設(shè)的互連。然而，在具有大型共享內(nèi)存池和許多需要高帶寬設(shè)備的環(huán)境中，PCIe 受到了一些限制。PCIe 沒有指定支持一致性的機(jī)制，并且不能高效地管理隔離的內(nèi)存池，因為每個 PCIe 層級都要共享一個 64 位地址空間。此外，PCIe 鏈路的延遲可能過高，無法高效管理系統(tǒng)中多個設(shè)備的共享內(nèi)存。

　　CXL 標(biāo)準(zhǔn)通過提供利用 PCIe 5.0 物理層和電氣元件的接口來消除其中一些限制，同時提供極低延遲路徑，用于主機(jī)處理器和需要共享內(nèi)存資源的設(shè)備（如加速器和內(nèi)存擴(kuò)展器）之間進(jìn)行內(nèi)存訪問和一致緩存。支持的 CXL 標(biāo)準(zhǔn)模式主要圍繞采用 x16 通道配置并以 32GT/s 運(yùn)行的 PCIe 5.0 PHY（表 1）。x8 和 x4 通道配置也支持 32GT/s，以支持分叉。任何比 x4 通道窄或比 32GT/s 慢的模式都被稱為降級模式，這類模式在目標(biāo)應(yīng)用中顯然不常見。雖然 CXL 可以為許多應(yīng)用帶來立竿見影的性能優(yōu)勢，但是某些設(shè)備不需要與主機(jī)進(jìn)行密切交互，而是主要需要在處理大型數(shù)據(jù)對象或連續(xù)流時發(fā)出工作提交和完成事件的信號。對于此類設(shè)備，在加速接口使用 PCIe 就很合適，而 CXL 沒有明顯優(yōu)勢。 CXL 標(biāo)準(zhǔn)定義了 3 個協(xié)議，這些協(xié)議在通過標(biāo)準(zhǔn) PCIe 5.0 PHY 以 32 GT/s 傳輸之前一起動態(tài)復(fù)用： CXL.io 協(xié)議本質(zhì)上是經(jīng)過一定改進(jìn)的 PCIe 5.0 協(xié)議，用于初始化、鏈接、設(shè)備發(fā)現(xiàn)和列舉以及寄存器訪問。它為 I/O 設(shè)備提供了非一致的加載/存儲接口。

　　CXL.cache 協(xié)議定義了主機(jī)和設(shè)備之間的交互，允許連接的 CXL 設(shè)備使用請求和響應(yīng)方法以極低的延遲高效地緩存主機(jī)內(nèi)存。

　　CXL.mem 協(xié)議提供了主機(jī)處理器，可以使用加載和存儲命令訪問設(shè)備連接的內(nèi)存，此時主機(jī) CPU 充當(dāng)主設(shè)備，CXL 設(shè)備充當(dāng)從屬設(shè)備，并且可以支持易失性和持久性存儲器架構(gòu)。

　　三個協(xié)議產(chǎn)生的數(shù)據(jù)都通過仲裁和多路復(fù)用 （ARB/MUX） 模塊一起動態(tài)復(fù)用，然后被移交到 PCIe 5.0 PHY，進(jìn)而以 32GT/s 的速度進(jìn)行傳輸。ARB/MUX 在 CXL 鏈路層（CXL.io 和 CXL.cache/mem）發(fā)出的請求之間進(jìn)行仲裁，并根據(jù)仲裁結(jié)果復(fù)用數(shù)據(jù)，仲裁結(jié)果使用加權(quán)循環(huán)仲裁，權(quán)重由主機(jī)設(shè)置。ARB/MUX 還處理鏈路層發(fā)出的功耗狀態(tài)轉(zhuǎn)換請求，向物理層創(chuàng)建實現(xiàn)有序降耗操作的單個請求。

　　CXL 通過固定寬度的 528 位微片傳輸數(shù)據(jù)，該微片由四個 16 字節(jié)時隙組成，并添加了兩個字節(jié) CRC：（4 x 16 + 2 = 66 字節(jié)= 528 位）。插槽采用多種格式定義，可專用于 CXL.cache 協(xié)議或 CXL.mem 協(xié)議。片頭定義了插槽格式，并攜帶允許事務(wù)層將數(shù)據(jù)正確路由到預(yù)期協(xié)議的信息。 由于 CXL 使用 PCIe 5.0 PHY 和電氣元件，它可以有效地插入到任何可以通過 Flex Bus 使用 PCIe 5.0 的系統(tǒng)中。Flex Bus 是一個靈活的高速端口，可以靜態(tài)配置為支持 PCIe 或 CXL。圖 2 舉例顯示了 Flex Bus 鏈路。這種方法使 CXL 系統(tǒng)能夠利用 PCIe 重定時器；但是，目前 CXL 僅定義為直連 CPU 鏈路，因此無法利用 PCIe 交換機(jī)。隨著標(biāo)準(zhǔn)的逐步完善，交換功能可能會被添加到標(biāo)準(zhǔn)中；如果是這樣，則需要創(chuàng)建新的 CXL 交換機(jī)。