電子發(fā)燒友網(wǎng)綜合報道，隨著大語言模型（LLM）參數(shù)規(guī)模突破萬億級，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)（如NVL、TPUv4、SiP-Ring）逐漸暴露出瓶頸。

傳統(tǒng)方案依賴昂貴的交換機（如NVIDIA的NVLink Switch）或光學(xué)電路（如TPUv4的OCS），其成本隨集群規(guī)模呈指數(shù)級增長。例如，NVLink Switch單臺成本高達數(shù)萬美元，且僅支持單節(jié)點級擴展（如DGX H100集群最多8-GPU互聯(lián)）。TPUv4雖采用光學(xué)環(huán)形網(wǎng)絡(luò)，但其OCS交換機需定制化光纖布線，限制了跨Pod級擴展能力。

由于拓撲限制，單個GPU故障可能引發(fā)級聯(lián)失效。以SiP-Ring為例，其靜態(tài)環(huán)形拓撲要求所有節(jié)點嚴格同步，若某一節(jié)點故障，整個TP組需重新初始化，導(dǎo)致GPU浪費率高達37%（TP-64場景）。NVL架構(gòu)中，單節(jié)點故障甚至?xí)袛嗳?a href="http://m.makelele.cn/v/tag/1301/" target="_blank">通信，迫使作業(yè)暫停重試。

跨ToR（Top of Rack）通信也成為網(wǎng)絡(luò)架構(gòu)的性能瓶頸。研究顯示，GPT-3訓(xùn)練任務(wù)中35%的通信流量為跨機架傳輸，導(dǎo)致網(wǎng)絡(luò)擁塞，帶寬利用率不足40%。傳統(tǒng)Fat-Tree拓撲雖支持高帶寬，但其樹狀結(jié)構(gòu)易在核心層形成熱點，限制了大規(guī)模并行效率。

為了解決這些問題，最近，曦智科技聯(lián)合北京大學(xué)、階躍星辰的研究團隊提出了一種以光交換（OCS）模組為中心的高帶寬域架構(gòu)InfiniteHBD。InfinitePOD通過無交換機架構(gòu)設(shè)計 、動態(tài)拓撲編排算法和光通信技術(shù)優(yōu)化 ，系統(tǒng)性解決了現(xiàn)有的問題。

InfinitePOD采用分布式節(jié)點直連網(wǎng)絡(luò)，每個GPU節(jié)點配備QSFP-DD OCSTrx光模塊（51.2Tbps帶寬），通過預(yù)定義光纖鏈路實現(xiàn)跨ToR的3跳內(nèi)直連?？梢允∪Ｓ媒粨Q機，僅使用標(biāo)準化光模塊，單節(jié)點互連成本下降60%。

同時物理層支持任意規(guī)模集群互聯(lián)，實驗驗證可擴展至65536 GPU，遠超NVL（16384 GPU）和TPUv4（單Pod級）。在拓撲靈活性上，通過軟件動態(tài)配置通信組，支持K-Hop Ring（環(huán)形）和K-Hop Line（線性）等拓撲，適配TP、DP、PP等不同并行策略。

InfinitePOD采用了兩階段部署機制，首先是物理層預(yù)定義，在部署階段規(guī)劃節(jié)點間3跳光纖連接，形成Rail-Optimized拓撲，減少跨機架流量；在運行時動態(tài)編排，基于圖切割算法（Graph Partitioning）和貪心策略，實時調(diào)整通信組拓撲。

容錯機制上，當(dāng)GPU故障時，編排算法自動重構(gòu)通信路徑，僅隔離故障節(jié)點而不影響全局。實驗表明，在TP-64場景下，GPU浪費率從NVL的24%降至11%，作業(yè)中斷概率降低72%。

在光通信技術(shù)上，InfinitePOD采用QSFP-DD OCSTrx光模塊，光模塊基于曦智科技硅光子技術(shù)的分布式光交換dOCS，將基于馬赫曾德（MZI，Mach-Zehnder Interferometer）交換矩陣的光交換芯片集成到商用QSFP-DD 800Gbps光電轉(zhuǎn)換模組中，大幅簡化了器件結(jié)構(gòu)的同時，有效提升了器件集成度，從而降低了成本和功耗，顯著提升了InfiniteHBD的性價比和系統(tǒng)可擴展性。

同時采用Rail-Optimized拓撲，針對機架間通信優(yōu)化，通過3跳內(nèi)光纖直連實現(xiàn)流量局部化 ，AllReduce帶寬利用率提升至77.26%，接近理論極限。

InfinitePOD的核心價值在于將光通信技術(shù)與分布式架構(gòu)深度融合 ，通過“硬件簡化+軟件智能”的設(shè)計理念，重新定義了高帶寬數(shù)據(jù)中心網(wǎng)絡(luò)。盡管當(dāng)前方案仍需解決長距離光信號衰減和模塊功耗問題，但其開創(chuàng)性的設(shè)計已為下一代數(shù)據(jù)中心網(wǎng)絡(luò)指明方向——去中心化、軟硬協(xié)同、極致擴展 。