任何單個(gè)GPU、XPU或其他AI加速器都無(wú)法滿足AI工作負(fù)載的巨大計(jì)算需求。為了滿足這一需求，需要成千上萬(wàn)個(gè)，甚至不久的將來(lái)可能需要數(shù)十萬(wàn)個(gè)這樣的加速器協(xié)同工作，共同分擔(dān)處理負(fù)載。

以Llama3為例，僅預(yù)訓(xùn)練階段就需要超過700TB的內(nèi)存和16,000個(gè)加速器。與其他AI模型一樣，其處理參數(shù)預(yù)計(jì)每四到六個(gè)月就會(huì)翻一番。

這種大規(guī)模并行處理和持續(xù)增長(zhǎng)給支撐AI集群的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)了巨大的壓力，更具體地說，給集群內(nèi)部所有加速器之間的數(shù)據(jù)傳輸通道（即互連）帶來(lái)了巨大的壓力。

為了滿足更大規(guī)模AI集群對(duì)更高帶寬和更低延遲互連的需求，超以太網(wǎng)和超加速器鏈路（UALink）等新興標(biāo)準(zhǔn)應(yīng)運(yùn)而生。我們最近率先發(fā)布的超以太網(wǎng)和UALink IP解決方案，將支持大規(guī)模AI集群的橫向和縱向擴(kuò)展。

AI基礎(chǔ)結(jié)構(gòu)的橫向和縱向擴(kuò)展

為了滿足現(xiàn)代工作負(fù)載日益增長(zhǎng)的計(jì)算需求，AI集群需要同時(shí)進(jìn)行橫向擴(kuò)展（通過網(wǎng)絡(luò)結(jié)構(gòu)）和縱向擴(kuò)展（在機(jī)架內(nèi)）。

超以太網(wǎng)解決了橫向擴(kuò)展問題，通過提供高性能、與供應(yīng)商無(wú)關(guān)的鏈路，它能夠?qū)⒍噙_(dá)百萬(wàn)級(jí)的節(jié)點(diǎn)連接成一個(gè)龐大的AI網(wǎng)絡(luò)。UALink解決了縱向擴(kuò)展問題，通過提供高速、低延遲的鏈路，可將一千個(gè)以上的AI加速器連接在一起。

采用這些開放的行業(yè)標(biāo)準(zhǔn)協(xié)議，可以避免供應(yīng)商鎖定，并靈活擴(kuò)展處理性能和規(guī)模。這為構(gòu)建和升級(jí)超大規(guī)模數(shù)據(jù)中心及高性能計(jì)算（HPC）環(huán)境提供了靈活性，并保護(hù)了用戶的投資。

作為超級(jí)以太網(wǎng)聯(lián)盟（UEC）和UALink聯(lián)盟（UAC）的活躍成員，我們正在幫助塑造和推動(dòng)這些新興標(biāo)準(zhǔn)，以促進(jìn)下一代AI和HPC架構(gòu)的發(fā)展。

業(yè)界率先發(fā)布的超以太網(wǎng)和UALink IP解決方案

新思科技推出超以太網(wǎng)IP和UALink IP解決方案，以滿足高帶寬、低延遲互連的需求，這些解決方案提供了擴(kuò)展當(dāng)今和未來(lái)AI和HPC架構(gòu)所需的接口。

我們的超以太網(wǎng)IP解決方案基于經(jīng)驗(yàn)證的技術(shù)，能夠提供1.6 Tbps的驚人帶寬和超低延遲，可用于橫向擴(kuò)展大規(guī)模AI網(wǎng)絡(luò)。我們的UALink IP解決方案能夠提供每通道高達(dá)200 Gbps的傳輸速度，并支持內(nèi)存共享，可用于縱向擴(kuò)展加速器連接。

這兩種解決方案都基于我們先進(jìn)的以太網(wǎng)和PCIe IP（已成功助力客戶實(shí)現(xiàn)5,000多次流片），能有效降低采用超以太網(wǎng)和UALink互連開發(fā)新一代半導(dǎo)體、片上系統(tǒng)（SoC）及AI加速器的風(fēng)險(xiǎn)，并縮短產(chǎn)品上市時(shí)間。

新思科技處于AI和HPC設(shè)計(jì)創(chuàng)新的前沿，提供廣泛的高速接口IP組合。我們?yōu)镻CIe 7.0、1.6T以太網(wǎng)、CXL、HBM、UCIe以及最新的超以太網(wǎng)和UALink提供完整且安全的IP解決方案，進(jìn)而推動(dòng)AI和HPC在性能、可擴(kuò)展性、效率和互操作性等方面達(dá)到新的高度。