NVIDIA 將率先為 AI 工廠引入采用光電一體封裝 (CPO) 的優(yōu)化以太網(wǎng)網(wǎng)絡(luò)，通過 NVIDIA Spectrum-X 以太網(wǎng)硅光技術(shù)，為 NVIDIA Rubin 平臺實(shí)現(xiàn)橫向擴(kuò)展 (scale-out)和跨區(qū)域擴(kuò)展 (scale-across) ，成為萬億參數(shù) AI 基礎(chǔ)設(shè)施的旗艦交換機(jī)。

本文探討了 Spectrum-X 以太網(wǎng)硅光技術(shù)在協(xié)議和硬件方面的關(guān)鍵優(yōu)化和創(chuàng)新，這些優(yōu)化和創(chuàng)新為十億瓦級 (Gigascale) AI 工廠實(shí)現(xiàn)節(jié)能、高效、可靠且彈性的 CPO 網(wǎng)絡(luò)。

專門面向AI的以太網(wǎng)如何在NVIDIA Rubin平臺上實(shí)現(xiàn)可擴(kuò)展的訓(xùn)練和推理

超低抖動(dòng)以太網(wǎng)網(wǎng)絡(luò)在擴(kuò)展 AI 工廠方面發(fā)揮著至關(guān)重要的作用，因?yàn)樗纱_保在整個(gè)基礎(chǔ)設(shè)施中進(jìn)行一致且可靠的數(shù)據(jù)傳輸。通過最大限度地減少抖動(dòng)，無論批量大小，AI 系統(tǒng)始終可以實(shí)現(xiàn)高效的 token 吞吐量，這對于處理各種要求苛刻的工作負(fù)載至關(guān)重要。同時(shí)支持在單個(gè) AI 工廠內(nèi)無縫實(shí)現(xiàn)多租戶，使多個(gè)用戶和應(yīng)用能夠同時(shí)運(yùn)行，而不會(huì)降低性能。

它還提高了基于混合專家模型 (MoE) 架構(gòu)的調(diào)度效率，實(shí)現(xiàn)更快的專家選擇并提高整體模型性能，如圖 1 所示。因此，AI 工廠能夠以更快的速度、更高的可靠性和可擴(kuò)展性運(yùn)行。

圖 1. 與通用以太網(wǎng)相比，NVIDIA Spectrum-X 以太網(wǎng)提供更低通信抖動(dòng)和更高的 NVIDIA 集合通信庫 (NCCL) 性能

Spectrum-X以太網(wǎng)硅光技術(shù)為AI工廠光互連實(shí)現(xiàn)技術(shù)創(chuàng)新

Spectrum-X 以太網(wǎng)硅光交換機(jī)通過光電一體封裝 (CPO) 的硅光引擎進(jìn)一步提高 AI 工廠的性能。

與可插拔互連方案相比，新封裝和低損耗光電通道將 1.6 Tb/s 端口功耗降低到五分之一。

與通用以太網(wǎng)方案相比，CPO 方案光電鏈路可將鏈路無閃斷的 AI 正常運(yùn)行時(shí)間延長 5 倍，賦能 AI 工作負(fù)載無中斷運(yùn)行。

網(wǎng)絡(luò)可靠性提高 10 倍，為任務(wù)關(guān)鍵型應(yīng)用提供出色的魯棒性。

借助這些創(chuàng)新，企業(yè)組織可以擴(kuò)展其 AI 基礎(chǔ)設(shè)施并提高每瓦性能，支持更大的工作負(fù)載，同時(shí)保持更佳能效、可靠性和網(wǎng)絡(luò)穩(wěn)定性。

Spectrum-X 以太網(wǎng) Photonics 是全球首款完全集成 512 個(gè) 200G 通道的光電一體封裝硅光交換機(jī)系統(tǒng)。其采用的表面法線 I/O (surface-normal input/output) 可拆式光纖連接器技術(shù)先進(jìn)，提高了 AI 工廠高性能以太網(wǎng)交換機(jī)的組裝和可擴(kuò)展性。通過在最后階段使用精密機(jī)械操作的全自動(dòng)光纖連接流程，制造商可以更大限度地提高產(chǎn)量和吞吐量，簡化大規(guī)模部署。

表面法線 I/O 架構(gòu)能夠在不增加交換機(jī)封裝物理尺寸的情況下擴(kuò)展光端口。這對于高基數(shù)交換機(jī)尤其有利，因?yàn)榻粨Q機(jī)需要在緊湊的空間內(nèi)進(jìn)行大量連接，以支持龐大的 AI 工作負(fù)載。

兼容回流焊接 (solder-reflow) 光引擎也是一項(xiàng)突破，可與現(xiàn)代測試和組裝工具無縫集成。這種兼容性可在貼到交換芯片之前對光學(xué)組件進(jìn)行全面篩查，確保僅使用已知良好的引擎，從而實(shí)現(xiàn) 100% 良率保障。該流程受益于拾放 (pick-and-place) 自動(dòng)化和全面的預(yù)組裝測試，共同為這些先進(jìn)的交換機(jī)系統(tǒng)提供了高效的制造途徑。

在四芯片交換機(jī)架構(gòu)中集成 shuffle 機(jī)制是另一項(xiàng)關(guān)鍵創(chuàng)新，可在單個(gè)集群內(nèi)實(shí)現(xiàn) GPU 的扁平化和高效擴(kuò)展。這種拓?fù)湎藗鹘y(tǒng)方案中額外交換層引起的延遲，隨著集群的增長保持極佳性能。SN6800 交換機(jī)可通過 512 個(gè) 800 Gb/s 端口或 2048 個(gè) 200 Gb/s 端口提供 409.6 Tb/s 的總帶寬，利用其集成的光纖 shuffle 和光電一體封裝的硅光技術(shù)建立空間高效和節(jié)能高效的以太網(wǎng)解決方案。這些綜合創(chuàng)新為 AI 工廠創(chuàng)建了強(qiáng)大、可擴(kuò)展的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，助力新一代 AI 應(yīng)用。

AI工廠網(wǎng)絡(luò)創(chuàng)新的下一步發(fā)展方向

這種全面的協(xié)同設(shè)計(jì)方法 (包括芯片、系統(tǒng)、軟件和 AI 模型) 有助于開發(fā)可擴(kuò)展、高性能的 AI 工廠。Spectrum-X 以太網(wǎng)硅光交換機(jī)可為 AI 工廠提供超低抖動(dòng)網(wǎng)絡(luò)，從而提高速度、可靠性和可擴(kuò)展性，為新一代應(yīng)用建立強(qiáng)大的基礎(chǔ)設(shè)施。有關(guān)更多信息，請參閱NVIDIA 硅光技術(shù)頁面。

關(guān)于作者

Ashkan Seyedi 是產(chǎn)品營銷總監(jiān)，致力于為 AI 和高性能計(jì)算開發(fā)高帶寬、高效的光互連產(chǎn)品。他曾就職于英特爾和慧與。Ashkan 在哥倫比亞大學(xué)擁有電氣和計(jì)算機(jī)工程雙學(xué)士學(xué)位，并在南加州大學(xué)獲得博士學(xué)位，從事光子晶體設(shè)備、高速納米線光探測器、高效白光 LED 和太陽能電池的研究。

查看 Ashkan Seyedi 所有文章