三星SOCAMM2

一款基于LPDDR的新型服務(wù)器內(nèi)存模組，適用于下一代AI數(shù)據(jù)中心

隨著人工智能在全球范圍內(nèi)加速普及，數(shù)據(jù)中心的計(jì)算工作負(fù)載正經(jīng)歷爆炸式增長。隨著大規(guī)模模型訓(xùn)練向持續(xù)推理的轉(zhuǎn)變，挑戰(zhàn)不再僅僅局限于性能一一能效對于維持下一代人工智能基礎(chǔ)設(shè)施的運(yùn)行也變得至關(guān)重要。這一轉(zhuǎn)變推動(dòng)了對低功耗內(nèi)存解決方案的需求，這些解決方案既能支持持續(xù)的人工智能工作負(fù)載，又能降低功耗。

順應(yīng)這一趨勢，三星開發(fā)了SOCAMM2(小型壓縮附加內(nèi)存模組) 一一一款基于LPDDR的服務(wù)器內(nèi)存模組，專為AI數(shù)據(jù)中心設(shè)計(jì)，目前已向客戶提供樣品。SOCAMM2結(jié)合了LPDDR技術(shù)的優(yōu)勢與模塊化、可拆卸設(shè)計(jì)，可提供更高帶寬、更佳能效和更靈活的系統(tǒng)集成，從而幫助AI服務(wù)器實(shí)現(xiàn)更高效率與可擴(kuò)展性。

SOCAMM2被關(guān)注的技術(shù)優(yōu)勢

基于三星最新的LPDDR5XDRAM，SOCAMM2融合了LPDDR的低功耗特性與模塊化架構(gòu)的優(yōu)勢，為數(shù)據(jù)中心提供了更豐富的內(nèi)存選擇。

雖然基于DDR的服務(wù)器模組(如RDIMM，即寄存式雙列直插內(nèi)存模組)仍是高容量通用服務(wù)器的主流方案，但SOCAMM2作為互補(bǔ)選擇，面向需要快速響應(yīng)與高能效的下一代AI加速服務(wù)器進(jìn)行了優(yōu)化。相較傳統(tǒng)RDIMM，SOCAMM2的帶寬可提升至兩倍以上，功耗可降低55%以上，并在高強(qiáng)度AI工作負(fù)載下保持穩(wěn)定的高吞吐量表現(xiàn)。

投入使用SOCAMM2

給客戶帶來的利益

SOCAMM2的架構(gòu)創(chuàng)新使客戶能夠以更高的效率、靈活性和可靠性運(yùn)行AI服務(wù)器。

其可拆卸設(shè)計(jì)簡化了系統(tǒng)維護(hù)和生命周期管理。與傳統(tǒng)的焊接式LPDDR解決方案不同，SOCAMM2無需對主板進(jìn)行任何修改即可輕松升級或更換內(nèi)存，從而幫助系統(tǒng)管理員最大限度減少停機(jī)時(shí)間，并顯著降低總體擁有成本(TCO)。

此外，SOCAMM2更高的能效表現(xiàn)使AI服務(wù)器部署中的散熱管理更加便捷高效，有助于數(shù)據(jù)中心維持熱穩(wěn)定性并降低冷卻需求一一這對于高密度AI環(huán)境至關(guān)重要。

最后，相較于RDIMM的垂直布局，SOCAMM2采用水平布局進(jìn)一步提升了系統(tǒng)空間利用率，使散熱器布局與氣流設(shè)計(jì)更具靈活性，從而更順暢地與CPU和加速器集成，同時(shí)保持與風(fēng)冷和液冷系統(tǒng)的兼容性。

與NVIDIA 和 JEDEC

標(biāo)準(zhǔn)化組織緊密合作

三星正在擴(kuò)大其與全球AI產(chǎn)業(yè)伙伴的合作，以加速基于LPDDR的服務(wù)器解決方案的普及，并應(yīng)對服務(wù)器市場日益增長的低功耗內(nèi)存需求。特別是，三星正與NVIDIA密切合作，通過持續(xù)的技術(shù)合作，優(yōu)化SOCAMM2以適配NVIDIA加速的基礎(chǔ)設(shè)施，確保其能夠提供下一代推理平臺所需的高響應(yīng)性與能效。

NVIDIA也強(qiáng)調(diào)了這種合作關(guān)系：“隨著人工智能工作負(fù)載從訓(xùn)練轉(zhuǎn)向用于復(fù)雜推理和物理人工智能應(yīng)用的快速推理，下一代數(shù)據(jù)中心需要兼具高性能和卓越能效的內(nèi)存解決方案，”NVIDIA高性能計(jì)算和人工智能基礎(chǔ)設(shè)施解決方案高級總監(jiān)DionHarris表示?！拔覀兣c三星的持續(xù)技術(shù)合作旨在優(yōu)化SOCAMM2等內(nèi)存解決方案，以提供人工智能基礎(chǔ)設(shè)施所必需的高響應(yīng)速度與能效?！?/p>

隨著SOCAMM2作為下一代人工智能系統(tǒng)的低功耗、高帶寬解決方案日益普及，業(yè)界已正式開展基于LPDDR的服務(wù)器模塊標(biāo)準(zhǔn)化工作，并已進(jìn)入收尾階段。三星與主要合作伙伴共同參與了這項(xiàng)工作，致力于制定統(tǒng)一的設(shè)計(jì)準(zhǔn)則，并促進(jìn)未來人工智能平臺之間的無縫集成。

通過與更廣泛的人工智能生態(tài)系統(tǒng)持續(xù)合作，三星正推動(dòng)下一代人工智能基礎(chǔ)設(shè)施向低功耗、高帶寬內(nèi)存轉(zhuǎn)型。SOCAMM2是業(yè)界的一個(gè)重要里程碑一一它將LPDDR技術(shù)引I入主流服務(wù)器環(huán)境，并推動(dòng)向新興的超級芯片時(shí)代過渡。通過將LPDDR與模塊化架構(gòu)相結(jié)合，SOCAMM2為構(gòu)建更緊湊、更節(jié)能的人工智能系統(tǒng)提供了新的方向。

隨著人工智能工作負(fù)載的規(guī)模和復(fù)雜性不斷增長，三星將進(jìn)一步推進(jìn)其基于LPDDR的服務(wù)器內(nèi)存產(chǎn)品組合，以更好地支持下一代人工智能數(shù)據(jù)中心的發(fā)展。