來源：半導(dǎo)體行業(yè)觀察 翻譯自Timothy Prickett Morgan

如今，眾所周知的是，用于連接分布式系統(tǒng)的交換機(jī)并不是網(wǎng)絡(luò)中最昂貴的部分，而光收發(fā)器和光纖電纜才是成本的主要部分。由于這一點，以及光學(xué)元件運行時溫度高且經(jīng)常發(fā)生故障，人們除非必要，否則不會使用光學(xué)元件。

因此，我們有了銅纜，越來越多地直接從交換機(jī) ASIC 及其連接的設(shè)備驅(qū)動，用于短距離傳輸，以及光纜用于長距離傳輸，這些設(shè)備是為 AI 和 HPC 系統(tǒng)提供 1000、10000 或 100000 臺設(shè)備所必需的。早在 5 月份，當(dāng)Broadcom 推出其“Thor 2”網(wǎng)絡(luò)接口卡芯片時，以及在 Nvidia 于 3 月份推出GB200 NVL72 機(jī)架式系統(tǒng)之后，我們就曾打趣過這個問題，在可以的時候使用銅纜，在必須的時候使用光纜。Broadcom 和 Nvidia 都會告訴你，機(jī)器的經(jīng)濟(jì)性和可靠性取決于這種方法。

GB200 NVL72 系統(tǒng)將這一原則發(fā)揮到了極致。該系統(tǒng)使用 5184 條大銅纜將 72 個“Blackwell”GPU 捆綁在一起，形成一個全對全共享內(nèi)存配置，NVL72 系統(tǒng)核心的九臺 NVLink Switch 4 交換機(jī)中的 200 Gb/秒 SerDes 可以通過銅線直接驅(qū)動每個 Blackwell GPU 上的 1.8 TB/秒 NVLink 5 端口，無需重定時器，當(dāng)然也不需要長途數(shù)據(jù)中心網(wǎng)絡(luò)中使用的光收發(fā)器。

據(jù) Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛介紹，與使用光收發(fā)器和重定時器相比，這種方法非常有效，可節(jié)省約 20 千瓦的電力，將機(jī)架功耗從原來的 120 千瓦降至 100 千瓦。(黃仁勛最初給出的規(guī)格說明稱，NVL72 的功率為 120 千瓦，但現(xiàn)在的規(guī)格表顯示，如果使用全銅互連，機(jī)架級節(jié)點的功率為 100 千瓦。我們認(rèn)為，他在講話時未使用光學(xué)器件，因此節(jié)省了 20 千瓦的功率。)

無論如何，這張 NVL72 節(jié)點的圖片足以讓您想在商品市場上購買銅：

Ayar Labs 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官馬克·韋德 (Mark Wade) 卻不相信這些，該公司發(fā)明了名為 TeraPHY 的光學(xué) I/O 芯片以及用于驅(qū)動該芯片的名為 SuperNova 的外部激光光源。

“我認(rèn)為銅纜已經(jīng)不起作用了，”韋德在本周的人工智能硬件峰會上發(fā)表主題演講之前向The Next Platform解釋道?！澳壳皼]有一家公司在應(yīng)用層面真正實現(xiàn)了顯著的經(jīng)濟(jì)產(chǎn)出。問題不在于銅纜何時失效，光學(xué)器件何時成本持平并變得可靠。銅纜已經(jīng)無法以經(jīng)濟(jì)的方式支持人工智能工作負(fù)載。是的，投資者資助的淘金熱已經(jīng)持續(xù)了兩年，這確實推動了玩家硬件的所有利潤。但銅纜已經(jīng)無法支持高效、經(jīng)濟(jì)、高性能的人工智能工作負(fù)載系統(tǒng)。該行業(yè)實際上正在努力擺脫技術(shù)已經(jīng)失敗的困境，硬件制造商需要大幅提高這些系統(tǒng)的成本效益吞吐量。否則，我們都將走向互聯(lián)網(wǎng)式的危機(jī)。”

顯然，這些話非常有說服力，尤其是考慮到 Nvidia、AMD、臺灣半導(dǎo)體制造公司、SK 海力士、三星、美光科技等 GPU 加速器供應(yīng)鏈各部分的訂單量和實力。但請聽聽韋德的說法，因為他將提出一個有趣的案例。

Ayar Labs 顯然有既得利益，可以迫使公司轉(zhuǎn)向封裝在 GPU 上的光學(xué) I/O 以及將它們互連的交換機(jī)，為了證明這一點，該公司構(gòu)建了一個系統(tǒng)架構(gòu)模擬器，該模擬器不僅關(guān)注各種技術(shù)的進(jìn)給和速度，還關(guān)注它們在 chewing on和 generating tokens方面的盈利能力。

現(xiàn)在，Wade 承認(rèn)，這個用 Python 編寫且尚未命名的模擬器并不是“周期精確的 RTL 模擬器”(cycle accurate RTL simulator)，但表示它的設(shè)計旨在整合一大堆關(guān)鍵組件的規(guī)格——GPU 速度和饋送、HBM 內(nèi)存和容量、封裝外 I/O、網(wǎng)絡(luò)、CPU 主機(jī)、GPU 的 DRAM 擴(kuò)展內(nèi)存等等——并預(yù)測各種 AI 基礎(chǔ)模型的性能以及處理每個token的相對成本。

AI 系統(tǒng)架構(gòu)模擬器關(guān)注三個性能指標(biāo)，而不僅僅是大多數(shù)人談?wù)摰膬蓚€。它們是吞吐量和交互性，每個人都對此著迷，但也將處理的盈利能力納入考量。提醒一下：

顯然，Ayar Labs 認(rèn)為 AI 集群節(jié)點的所有關(guān)鍵元素——CPU、GPU、擴(kuò)展 DRAM 內(nèi)存以及用于連接 GPU 的節(jié)點內(nèi)擴(kuò)展交換——都應(yīng)該使用光學(xué)而不是電互連，具體來說，AI 服務(wù)器應(yīng)該使用由其 SuperNova 激光器泵浦(pumped )的 TeraPHY 設(shè)備。

但在我們開始進(jìn)行系統(tǒng)架構(gòu)比較之前，Wade 為他的論點添加了另一個層次，區(qū)分了三種不同類型的 AI 應(yīng)用領(lǐng)域：

第一種是批處理( batch processing)，其中查詢組被捆綁在一起并一起處理，就像五十年前的大型機(jī)事務(wù)更新一樣。(好吧，就像大型機(jī)在今天的夜班期間所做的大量工作一樣。)批處理級別需要每秒 25 個tokens或更少的交互級別。人機(jī)交互(我們習(xí)慣于以生成文本或圖像的 API 形式公開的應(yīng)用程序)需要以每秒 25 到 50 個tokens的速度運行。而機(jī)器對機(jī)器代理應(yīng)用程序的圣杯，其中各種 AI 以高速相互通信以解決特定問題 - 需要每秒 50 個tokens以上的交互率(interactivity rates)。

后一種應(yīng)用在使用電氣互連的經(jīng)濟(jì)實惠的系統(tǒng)上很難實現(xiàn)，正如 Ayar Labs 模擬器所示。公平地說，像 Nvidia 這樣的公司之所以如此粗暴地使用電氣互連和銅線，是因為個別光學(xué)元件的可靠性和成本問題仍需要解決。

但 Wade 表示，這些問題正在得到解決，而且其 TeraPHY 和 SuperNova 組合可以與 2026 年及以后推出的 GPU 一代相交叉。

話雖如此，讓我們來看看 Blackwell GPU 的饋送和速度，以及Nvidia 2026 年路線圖上的未來“Rubin”GPU 以及 2027 年內(nèi)存升級，可能會采用當(dāng)前的電氣/銅線方式和假設(shè)的光纖/光纖方式進(jìn)行架構(gòu)。看一下這個：

Nvidia GB200 節(jié)點有一個“Grace”CG100 Arm CPU 和一對 Blackwell GB100 GPU 加速器，因此顯示的計算容量是規(guī)格表上的一半。看起來 GB200 將獲得 192 GB 的 HBM 容量和 8 TB/秒的完整帶寬，而 HGX B100 和 HGX B200 卡將獲得容量僅為 180 GB 的 Blackwell。至少目前如此。擴(kuò)展電氣 I/O 來自每個 Blackwell 芯片上的 NVLink 5 控制器，該控制器有 18 個端口，運行速度為 224 Gb/秒，為 Blackwell GPU 提供 900 GB/秒的總傳輸和接收帶寬(總計 1.8 TB/秒)。

Wade 對 Rubin GPU 的外觀做了一些假設(shè)，我們認(rèn)為它很有可能由四個通過 NVLink 6-C2C SerDes 互連的受限光罩(reticle-limited) GPU 芯片組成，就像 Blackwell 是兩個通過 NVLink 5-C2C SerDes 互連的受限光罩 GPU 一樣。我們知道 Rubin HBM 內(nèi)存將提升至 288 GB，我們和 Wade 都預(yù)計 Rubin 設(shè)備中的帶寬將提升至每臺設(shè)備約 10 TB/秒。(2027 年，Rubin Ultra kicker 中的帶寬可能會進(jìn)一步提升至 12 TB/秒。)可以合理地假設(shè) NVLink 6 端口將再次將電氣互連的性能提高一倍，達(dá)到單向 1.8 TB/秒，這可能是通過將每個端口的信號量增加一倍來實現(xiàn)的。

Ayar Labs 模擬器用 TeraPHY 光纖鏈路替換 NVLink 6-C2C，這樣，每個方向的帶寬將增加 5.7 倍，達(dá)到 5 TB/秒。模擬器還假設(shè)，與機(jī)架式 Blackwell 系統(tǒng)中使用的 NVSwitch 4 ASIC 相比，NVSwitch 5 芯片在 Rubin 一代中的性能將翻倍，而 Nvidia 將再次直接從 NVSwitch 5 芯片中驅(qū)動電信號。如果您通過 Ayar Labs AI 系統(tǒng)架構(gòu)模擬器運行這兩個假設(shè)的 Nvidia 場景，并測量吞吐量和盈利能力(在互聯(lián)網(wǎng)時代我們稱之為每 SWaP 的美元，SWaP 是空間、瓦特和功率的縮寫)，在一系列交互中，您會得到這張漂亮的圖表：

正如您所看到的，在具有電信號的 64 GPU 系統(tǒng)中，從 Blackwell 轉(zhuǎn)移到 Rubin 并沒有真正在一定交互水平的吞吐量方面產(chǎn)生太大的變化，并且每瓦特每單位工作成本也不會有太大變化。看起來，對于給定的工作單位，Rubin 的成本將與 Blackwell 相同，至少對于 Wade 所做的假設(shè)而言是如此。(考慮到現(xiàn)在在 AI 領(lǐng)域的高層，時間就是金錢，這對我們來說是合理的。)

現(xiàn)在事情會變得有趣起來。讓我們看看 OpenAI 的 GPT-4 大型語言模型如何在 Ayar Labs 模擬器中針對不同規(guī)模的不同 Nvidia GPU 在盈利能力與交互性方面對運行推理進(jìn)行對比：

這張圖表非常有趣。

首先，它表明八路 Hopper H100 節(jié)點對于批量 GenAI 來說是可以接受的，并且?guī)缀鯚o法進(jìn)行人機(jī)對話。有了 32 個 GH200 超級芯片集群(配備 141 GB HBM3E 內(nèi)存)，批量 GenAI 的成本大大降低，性能相對于較小的 H100 節(jié)點也有了很大的提高。配備 64 個 GPU 的 GB200 節(jié)點開始真正彎曲曲線，但在 64 個 GPU 的情況下，GB200 和未來的 GR200 之間的差異并不明顯。

但是，看看當(dāng) Rubin 推出光學(xué) I/O 而不是電氣 NVLink 端口和電氣 NVSwitch 端口時會發(fā)生什么，并且機(jī)器擴(kuò)展到 256 個連貫的 GPU，這在銅纜中是不可能的，因為您無法將那么多 GPU 彼此靠近以進(jìn)行互連。機(jī)器對機(jī)器的多模型處理不僅成為可能。(再次，我們將指出：不要將機(jī)器聯(lián)網(wǎng)…… TeraPHY 確實如此。)假設(shè)的 Rubin GPU 的盈利能力和吞吐量相互作用的曲線在使用光學(xué) I/O 時要好得多。

這張圖表表明了一些事情：Ayar Labs 正在試圖讓 Nvidia 收購它，或者試圖讓 Nvidia 使用其 OIO 芯片，或者嘗試過但失敗了，并利用這個故事試圖讓 AMD 收購它。英特爾現(xiàn)在連一杯咖啡都買不起。

現(xiàn)在，讓我們來看看 OpenAI 在 2026 年左右推出的最先進(jìn)的 GPT 模型，我們假設(shè)它將被稱為 GPT-6，但為了安全起見，Wade 將其稱為 GPT-X。

隨著 2026 年 GPT-X 的推出，該模型的復(fù)雜度將翻倍，達(dá)到 32 個不同的模型(稱為專家模型)，而 Wade 預(yù)計模型的層數(shù)將從 GPT-4 的 120 層增加到 128 層。(我們認(rèn)為層數(shù)可能會更高，可能高達(dá) 192 層;我們拭目以待)。標(biāo)記序列長度將保持穩(wěn)定，輸入為 32k，輸出為 8K，文本嵌入的模型維數(shù)將翻倍，達(dá)到 20,480。

如下所示，現(xiàn)有的 Hopper 和 Blackwell 配置從 8 個 GPU 擴(kuò)展到 64 個 GPU，所有機(jī)器都被推入批量性能領(lǐng)域，只有采用銅 NVLink 互連的 Rubin 機(jī)架式機(jī)器才能進(jìn)入人機(jī)領(lǐng)域。但是，借助節(jié)點內(nèi)和節(jié)點間的光學(xué) I/O 以及擴(kuò)展到 256 個 Rubin GPU，Nvidia 可以構(gòu)建一臺可以擴(kuò)展到人機(jī)和機(jī)器對機(jī)器領(lǐng)域的推理機(jī)，同時在交互性和成本方面提供可接受的改進(jìn)。

該圖表是 Ayar Labs、Eliyan、Avicena、Lightmatter 和 Celestial AI 等公司的廣告。我們強(qiáng)烈懷疑 Rubin 會將 NVLink 轉(zhuǎn)移到光學(xué)互連，坦率地說，考慮到Nvidia 多年前所做的原型設(shè)計以及 Nvidia 已經(jīng)與 Ayar Labs 以及很可能與上面提到的其他一些公司合作的工作，我們已經(jīng)預(yù)料到這樣的機(jī)器了。

NVLink 只是一種協(xié)議，現(xiàn)在或許是時候?qū)⑵滢D(zhuǎn)移到光學(xué)傳輸中了。我們迫不及待地想看看 Nvidia 會在這里做些什么。在機(jī)架中塞入更多 GPU 并將功率密度提高到 200 千瓦或人們談?wù)摰寞偪竦?500 千瓦可能不是答案。光學(xué)互連會將這個鐵芯稍微隔開一點，也許足以防止光學(xué)器件出現(xiàn)不良行為。