隨著近年來(lái)機(jī)器學(xué)習(xí)技術(shù)的不斷進(jìn)步，人工智能（AI）在圖像識(shí)別、自動(dòng)駕駛和生成式AI等領(lǐng)域均實(shí)現(xiàn)了顯著發(fā)展。之所以能取得這些進(jìn)展，這些進(jìn)步主要?dú)w功于能夠在日益復(fù)雜的數(shù)據(jù)集上訓(xùn)練大型模型，從而實(shí)現(xiàn)更佳的學(xué)習(xí)和泛化能力，并支持創(chuàng)建更大規(guī)模的模型。隨著數(shù)據(jù)集和模型規(guī)模的增長(zhǎng)，需要更強(qiáng)大、更優(yōu)化的計(jì)算集群來(lái)支持下一代人工智能。

依托25年來(lái)在交付硅驗(yàn)證的IP解決方案領(lǐng)域的豐富經(jīng)驗(yàn)，新思科技與英偉達(dá)及其N(xiāo)VLink生態(tài)系統(tǒng)合作，助力并加速定制化AI芯片的開(kāi)發(fā)。這項(xiàng)戰(zhàn)略合作將充分發(fā)揮新思科技在芯片IP方面的專(zhuān)長(zhǎng)，助力開(kāi)發(fā)定制化AI芯片，為旨在提供下一代變革性AI體驗(yàn)的先進(jìn)計(jì)算集群奠定基礎(chǔ)。

更大的數(shù)據(jù)集和日益龐大的AI模型帶來(lái)的算力挑戰(zhàn)

在大數(shù)據(jù)集上訓(xùn)練擁有超萬(wàn)億參數(shù)的模型需要大量計(jì)算資源，包括圖形處理單元（GPU）和張量處理單元（TPU）等專(zhuān)用加速器。

AI計(jì)算集群包含三個(gè)基本功能：

計(jì)算 - 使用處理器和專(zhuān)用加速器。

內(nèi)存 – 通過(guò)高帶寬內(nèi)存（HBM）或雙倍數(shù)據(jù)速率（DDR）內(nèi)存，使用虛擬內(nèi)存實(shí)現(xiàn)內(nèi)存語(yǔ)義的跨集群實(shí)現(xiàn)。

存儲(chǔ) – 基于的網(wǎng)絡(luò)接口卡（NIC），通過(guò)基于高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)（PCIe）訪問(wèn)固態(tài)硬盤(pán)（SSD），高效地將數(shù)據(jù)從存儲(chǔ)位置傳輸?shù)教幚砥骱图铀倨鳌?/p>

重定時(shí)器和交換機(jī)構(gòu)成了連接加速器和處理器的網(wǎng)絡(luò)結(jié)構(gòu)。為了增強(qiáng)集群的計(jì)算能力，有必要在所有功能和互連結(jié)構(gòu)中增加容量和帶寬。

為了開(kāi)發(fā)日益復(fù)雜的數(shù)萬(wàn)億參數(shù)模型，需要整個(gè)集群通過(guò)橫向和縱向擴(kuò)展網(wǎng)絡(luò)連接，作為一個(gè)統(tǒng)一的計(jì)算平臺(tái)。

▲圖1：一個(gè)代表性的計(jì)算集群，具有橫向和縱向擴(kuò)展的網(wǎng)絡(luò)。

基于標(biāo)準(zhǔn)的IP，打造真正互操作的計(jì)算集群

為了成功部署下一代計(jì)算集群，需要使用經(jīng)過(guò)硅驗(yàn)證、基于先進(jìn)工藝節(jié)點(diǎn)并能保證互操作性的互連結(jié)構(gòu)。標(biāo)準(zhǔn)化的互連結(jié)構(gòu)能夠支持不同廠商的設(shè)備在集群環(huán)境中實(shí)現(xiàn)互操作。

PCIe是針對(duì)處理器與加速器接口的成熟標(biāo)準(zhǔn)，可確保處理器、NIC、重定時(shí)器和交換機(jī)之間的互操作性。自1992年以來(lái)，PCI-SIG一直在為外設(shè)組件互連（PCI）解決方案指定標(biāo)準(zhǔn)，目前PCIe已演進(jìn)到第七代。PCIe 悠久的歷史和廣泛的部署確保 IP 解決方案能夠從前幾代芯片的開(kāi)發(fā)經(jīng)驗(yàn)中獲益。此外，在開(kāi)發(fā)包括處理器、重定時(shí)器、交換機(jī)、NIC和SSD的整個(gè)生態(tài)系統(tǒng)中，PCIe技術(shù)已積累了豐富的部署經(jīng)驗(yàn)。新思科技完整的PCIe 7.0 IP解決方案建立在超過(guò)3,000個(gè)PCIe設(shè)計(jì)經(jīng)驗(yàn)基礎(chǔ)上，于2024年6月推出，并得到了如英特爾、Rivos、Xconn、Microchip、Enfabrica和Kandou等生態(tài)系統(tǒng)合作伙伴的支持。

在云端部署訓(xùn)練的模型時(shí)，超大規(guī)模云服務(wù)商希望繼續(xù)在定制處理器上使用現(xiàn)有軟件，并與各類(lèi)加速器實(shí)現(xiàn)互聯(lián)。在英偉達(dá)AI工廠解決方案中，NVLink Fusion提供了另一種將處理器連接到GPU的方法。

▲圖2：下一代計(jì)算集群的組件和互連。

加速器的互連配置方式多種多樣，計(jì)算集群的效率會(huì)因不同的配置而異。縱向擴(kuò)展需要在集群中為虛擬內(nèi)存池提供內(nèi)存語(yǔ)義，而橫向擴(kuò)展則涉及將數(shù)萬(wàn)到數(shù)十萬(wàn)片的GPU通過(guò)多層交換和擁塞管理技術(shù)連接起來(lái)。相比于縱向擴(kuò)展，橫向擴(kuò)展更能容忍延遲，并且專(zhuān)為帶寬超額使用而設(shè)計(jì)，以適應(yīng) AI 模型數(shù)據(jù)并行操作。2024年12月，新思科技推出了超加速器鏈路（UALink）和超以太網(wǎng)解決方案，能夠高效連接加速器。這個(gè)解決方案基于經(jīng)過(guò)硅驗(yàn)證的224G PHY和超過(guò)2000個(gè)以太網(wǎng)設(shè)計(jì)，得到了AMD、Juniper和Tenstorrent的公開(kāi)支持。

萬(wàn)億參數(shù)模型需要大量?jī)?nèi)存和高數(shù)據(jù)速率以實(shí)現(xiàn)低延遲訪問(wèn)，因此需要增加內(nèi)存帶寬和總?cè)萘俊BM具有大容量和高帶寬特性。新思科技的HBM4 IP是第六代HBM技術(shù)，提供高達(dá)12 Gbps的引腳帶寬，使得整體接口帶寬超過(guò)3 TBps。

通過(guò)合封Multi-Die聚合技術(shù)，不僅可以克服先進(jìn)制造工藝的限制來(lái)提升計(jì)算吞吐量，還能借助新興的光電合封（CPO）技術(shù)促進(jìn)光互連結(jié)構(gòu)的集成。自2022年以來(lái)，新思科技一直在開(kāi)發(fā)線性電光（EO）接口，致力于打造節(jié)能的EO鏈路。通用芯粒互連技術(shù)（UCIe）標(biāo)準(zhǔn)為多供應(yīng)商互操作性提供了明確的路徑。在2023年與英特爾的合作中，新思科技成功演示了第一塊采用UCIe技術(shù)且基于芯粒的測(cè)試芯片。

多芯片集成（Multi-Die Integration）對(duì)散熱提出了諸多挑戰(zhàn)，可能影響對(duì)溫度敏感的光子元件，甚至導(dǎo)致熱失控。新思科技的Multi-Die綜合解決方案包括Die-to-Die IP、HBM IP等，可提供可靠且強(qiáng)壯的Multi-Die實(shí)現(xiàn)方案。

在關(guān)鍵互連領(lǐng)域（從處理器加速器接口到先進(jìn)的多芯片架構(gòu)和HBM），采用成熟且經(jīng)過(guò)廣泛驗(yàn)證的IP解決方案，可以降低定制設(shè)計(jì)和集成帶來(lái)的風(fēng)險(xiǎn)。預(yù)先驗(yàn)證的IP有助于簡(jiǎn)化設(shè)計(jì)和驗(yàn)證過(guò)程，加快開(kāi)發(fā)進(jìn)度，最終為一次流片成功鋪平道路，從而快速部署創(chuàng)新且可互操作的計(jì)算集群。