"

結(jié)合京東科技 '雙碳' 的技術發(fā)展方向，京東在數(shù)據(jù)中心領域的持續(xù)創(chuàng)新，與英特爾合作，打造 '綠色' 算力技術。將整機柜供電的總線電壓提高到 54V，有效降低了電源全鏈路損耗，改善了數(shù)據(jù)中心能效。結(jié)合在氣流優(yōu)化、液冷散熱等方面的技術改進，以及第四代英特爾 至強 可擴展處理器帶來的更高能耗比，我們推出了綠色的高密度算力整機柜方案，打造了可持續(xù)的數(shù)據(jù)中心典范。我們也和英特爾將技術成果標準化，幫助更多企業(yè)構(gòu)建綠色的高密度算力基礎設施。

——陳國峰

京東科技京東云事業(yè)部

硬件架構(gòu)負責人

"

//概 述 //

在綠色可持續(xù)發(fā)展成為社會共識的今天，推進數(shù)據(jù)中心的節(jié)能減排已經(jīng)成為重要趨勢。作為中國大規(guī)模云數(shù)據(jù)中心的重要運營者，京東與英特爾在綠色數(shù)據(jù)中心發(fā)展方面已經(jīng)開展了深度合作，包括采用第四代英特爾 至強 可擴展處理器提升性能/能耗比，采用模塊化服務器設計實現(xiàn)更加高效的散熱設計，發(fā)布了從數(shù)據(jù)中心級到微處理器級的冷板液冷整體解決方案等，有效地提升了數(shù)據(jù)中心的整體能效，降低數(shù)據(jù)中心碳排放量。

在供電方面，京東還推出了大功率高利用率整機柜液冷服務器設計，該服務器搭載了第四代英特爾 至強 可擴展處理器，通過將整機柜供電的總線電壓從 12V 提高到 54V，降低整機柜服務器內(nèi)部的連接阻抗和導電阻抗，從而大幅降低了電源輸出端到終端設備的全鏈路傳輸損耗，達到了提高數(shù)據(jù)中心用電效率、改善總體擁有成本 (TCO) 和降低碳排放的目的。

//背景：打造高密度、綠色節(jié)能的數(shù)據(jù)中心成為重要趨勢 //

數(shù)據(jù)中心規(guī)?？焖贁U大帶來的能耗問題在全世界都倍受關注，提升數(shù)據(jù)中心能效，推動綠色數(shù)據(jù)中心建設已成為數(shù)據(jù)中心未來可持續(xù)發(fā)展的必然趨勢。對于京東而言，隨著業(yè)務的持續(xù)快速發(fā)展，人工智能 (AI)、云原生、計算機視覺等技術得到了快速應用，對于計算、存儲、網(wǎng)絡等基礎資源的需求出現(xiàn)了爆發(fā)式增長。為滿足這些需求，京東加大了在數(shù)據(jù)中心方面的投資，這在支撐業(yè)務快速增長的同時，也帶來了不容小視的能耗問題。

為了滿足日益增長的算力需求，同時降低能耗，京東希望能夠解決以下挑戰(zhàn)，從而持續(xù)改善機架式服務器的空間利用率與功率密度：

12V 總線電壓設計的損耗較高：在過去幾代機架式服務器中，12V 供電是服務器電源最常見的中間總線電壓設計。然而，由于電纜、連接器和 PCB 中存在的不可避免的損耗，該總線電壓設計會降低傳輸至負載的功率，從而嚴重影響系統(tǒng)功效。特別是在新一代服務器的功率已經(jīng)遠超前代產(chǎn)品的背景下，12V 的總線電壓對于供電效率的制約已經(jīng)愈發(fā)明顯。 功率瓶頸導致機柜空間浪費：隨著多種部件功耗提升，機柜總功率顯著增加，既有的供電系統(tǒng)難以滿足如此高功率的供電需求，導致數(shù)據(jù)中心必須減少機柜的服務器部署數(shù)量，以應對功率方面的限制，這導致了約三分之二的空間閑置。 傳統(tǒng)冷卻方式的效率不足：傳統(tǒng)數(shù)據(jù)中心多采用空氣作為冷卻介質(zhì)，這種方式較為成熟且應用廣泛，但是缺陷也相當明顯：當數(shù)據(jù)中心部署了高密度的服務器時，由于房間水平的空氣循環(huán)，傳統(tǒng)的空氣冷卻系統(tǒng)無法在垂直機架陣列的 IT 設備入口處提供均勻溫度的空氣；此外，空氣冷卻系統(tǒng)效率相對較低，特別是在機架中的高密度服務器運行時，滿足散熱需求的空氣冷卻系統(tǒng)的總功率常會達到 100kW 以上，這在經(jīng)濟性、供電、噪音等方面都會帶來巨大的困擾。 提升服務器的算力能效比：多樣化的應用負載意味著數(shù)據(jù)中心需要提供多元化算力，以支持上層應用使用更優(yōu)架構(gòu)完成每項任務。只有提升服務器的算力能效比，并更加靈活地調(diào)用服務器的算力資源，才能有助于降低特定任務的能耗。 //解決方案：京東云綠色數(shù)據(jù)中心高密度算力方案 //

京東云綠色數(shù)據(jù)中心高密度服務器的典型模塊如圖 1 所示，由標準電源、前 IO 模組、液冷模組、內(nèi)置 PCIe 模組、風扇模組、電源轉(zhuǎn)換模組、后 IO 模組等構(gòu)成。

圖 1. 京東云綠色數(shù)據(jù)中心高密度服務器的模塊化設計

與集中式電源架構(gòu)中的 12V 總線電壓設計相比，54V 總線電壓通過減少機架中的傳導損耗，能夠在更高的機架功率下提供更好的整體機架效率。特別是當機架功率密度增加時，54V 供電的優(yōu)勢在機架總功率效率上更加明顯。

京東云綠色數(shù)據(jù)中心高密度算力方案采用了天樞機架式機柜，該機柜支持兩種電源模式，即中央模式和分布式模式，中央電源模式為 54V 高功率支持模式。兩條電源線提供給電源架，輸出功率為 54V。54V 電源通過機架式機柜后面垂直放置的電源母線提供給每個服務器節(jié)點。圖 2 顯示了天樞機架式機柜的電源架布局，即 12 個電源單元 (PSU) 插入電源模塊，這些 PSU 的 54V 輸出并聯(lián)連接，并通過垂直銅母線提供給每個服務器節(jié)點。與母線相連的服務器內(nèi)部設計有 54V 至 12V 電源轉(zhuǎn)換模塊，可將 54V 電源轉(zhuǎn)換為 12V 電源，用于主板。

圖 2. 天樞機架式機柜電源架布局

京東采用的 54V 電源 PSU 為鈦金牌高效率電源模塊，能夠通過高能源轉(zhuǎn)換效率節(jié)省能源。此外，京東 54V 轉(zhuǎn) 12V 電源模組采用成熟 54V VR 方案，多組并聯(lián)，最大功率達 2100W，實現(xiàn)了可插拔、高效率、高功率密度。

京東還部署了從數(shù)據(jù)中心級到微處理器級的冷板液冷整體解決方案，在冷卻液分配單元 (CDU)、工作液、歧管、服務器等方面進行了針對性的創(chuàng)新設計。該方案組建冷卻液回路，利用 CDU 分配冷卻液。在通過冷板收集計算節(jié)點的熱量后，冷卻液不斷流向另一個冷的 CPU，并通過另一個連接器離開服務器冷板管道，實現(xiàn)液冷計算節(jié)點的液冷循環(huán)。

圖 3. 京東服務器冷板液冷方案

為了進一步提高數(shù)據(jù)中心在計算、存儲、網(wǎng)絡層面的基礎資源供給能力，推動數(shù)據(jù)中心節(jié)能減排，京東云綠色數(shù)據(jù)中心高密度算力方案采用了第四代英特爾 至強 可擴展處理器。第四代英特爾 至強 可擴展處理器通過創(chuàng)新架構(gòu)增加了每個時鐘周期的指令，每個插槽多達 56 個核心，支持 8 通道 DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過 PCIe 5.0（80 個通道）實現(xiàn)了更高的 PCIe 帶寬提升。除了釋放第四代英特爾 至強 可擴展處理器的基礎算力優(yōu)勢之外，京東還靈活應用處理器集成的英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT 等高級硬件能力，提升數(shù)據(jù)中心面向多種負載的能效。

//收益：顯著改善供電效率，助力節(jié)能減排 //

得益于更加高效的供電、冷卻設計，京東云綠色數(shù)據(jù)中心高密度算力方案在節(jié)能減排方面實現(xiàn)了如下收益：

銅排效率改善 3.8%，銅排損耗減少 770W¹

京東機柜最大負載測試數(shù)據(jù)顯示，相較于 12V 總線電壓設計相比，采用 54V 總線電壓的整機柜銅排效率從 96% 提升到 99.86%，最大損耗從 800 W 降低到約 30 W，損耗大幅降低² 。

54V 轉(zhuǎn) 12V 模組效率達到 97.7%³

服務器兼容 54V 集中供電的整機柜和 12V 的 CRPS 供電的服務器，54V 轉(zhuǎn) 12V 模組效率達到 97.7%。

節(jié)省數(shù)據(jù)中心 TCO

新的 54V 機架部署將增加資本成本，但投資的增加將通過每年節(jié)省的電能來補償，按 21KW 機架功率計算，每年可節(jié)約用電 8500 千瓦時，節(jié)約用電成本約 6000 元；按部署 500 個機架計算，在 5 年的生命周期內(nèi)，可節(jié)省高達 1500 萬元的電力⁴ 。

降低碳排放

該方案單個機柜每年可減少多達 87 噸的二氧化碳排放。部署 500 個機柜，在 5 年的生命周期內(nèi)，總共可以減少 21750 噸二氧化碳排放⁵ 。除此之外，天樞機架支持與液冷兼容，如今京東數(shù)據(jù)中心的液冷機架解決方案已實現(xiàn) 1.1 的 PUE。同時，與傳統(tǒng)機架相比，全機柜液冷在服務器部署中節(jié)省了大量運輸。據(jù)估計，如果機架以全柜交付的方式交付，1000 個服務器節(jié)點的二氧化碳排放量可以減少 5.3 噸⁶ 。

//展 望 //

在現(xiàn)代化的高密度數(shù)據(jù)中心，整體功耗的不斷提升為散熱效率、節(jié)能減排、以及運營成本帶來了極大挑戰(zhàn)，這也加重了企業(yè)尋找創(chuàng)新的數(shù)據(jù)中心供電、冷卻解決方案的壓力。通過在整機柜中采用 54V 總線電壓設計，以及全機柜液冷方案，京東能夠顯著降低服務器供電損耗，提升電源鏈路效率，降低碳排放，助力打造高性能、高密度、可持續(xù)的綠色數(shù)據(jù)中心。

除了供電、冷卻方面的節(jié)能減排措施之外，第四代英特爾 至強 可擴展處理器等新一代硬件將有助于提升性能密度與能效，助力降低服務器在多種負載下的能效。展望未來，英特爾正在與京東等業(yè)界上下游生態(tài)伙伴合作，圍繞電源設計、冷卻技術等構(gòu)建行業(yè)標準，降低實施成本，結(jié)合中國市場特點，以助力提升能效、降低 PUE，進而推動先進綠色數(shù)據(jù)中心建設，實現(xiàn)綠色節(jié)能發(fā)展。

實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex

性能測試結(jié)果基于配置信息中顯示的日期進行測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產(chǎn)品或組件是絕對安全的。

具體成本和結(jié)果可能不同。

英特爾技術可能需要啟用硬件、軟件或激活服務。

英特爾未做出任何明示和默示的保證，包括但不限于，關于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。

英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。