DPU芯片，跟之前的GPU、AI芯片最大的不同在于，DPU是集成多種領(lǐng)域加速于一體的集成加速平臺(tái)。如果說(shuō)GPU、AI加速芯片，是CPU+xPU單個(gè)異構(gòu)計(jì)算的分離趨勢(shì)，那么DPU的出現(xiàn)，則預(yù)示著，整個(gè)計(jì)算系統(tǒng)，在從單異構(gòu)的分離逐漸走向多異構(gòu)的融合。 當(dāng)然，DPU僅僅只是開(kāi)始，更加充分的融合，將在本文詳細(xì)分析和介紹。

01數(shù)據(jù)中心（相比終端）系統(tǒng)的特點(diǎn)

1.1 軟件業(yè)務(wù)和硬件平臺(tái)分離

數(shù)據(jù)中心軟件有一個(gè)非常重要的要求，就是高可用性（High Availability，HA）。比如通過(guò)負(fù)載均衡器實(shí)現(xiàn)后端服務(wù)的高可用，負(fù)載均衡器本身也是通過(guò)集群機(jī)制實(shí)現(xiàn)自身的高可用。底層的VM通過(guò)熱遷移實(shí)現(xiàn)高可用，容器則是通過(guò)在新的環(huán)境自動(dòng)拉起新實(shí)例來(lái)實(shí)現(xiàn)容器的高可用。

如果我們關(guān)注底層軟件和硬件，我們會(huì)發(fā)現(xiàn)，實(shí)際運(yùn)行的軟件（不考慮虛擬化部分，虛擬化實(shí)際上是介于軟件和硬件之間，通過(guò)軟硬件協(xié)同實(shí)現(xiàn)的虛擬化機(jī)制）和硬件實(shí)際上是完全脫離的：

軟件實(shí)體可以在不同的硬件平臺(tái)上運(yùn)行，可以實(shí)時(shí)遷移，上層的軟件以為軟件實(shí)體一直是高可用的，感受不到底層硬件的變化（硬件有可能磁盤(pán)故障、死機(jī)或者是更新服務(wù)器等）。

完整的單個(gè)硬件平臺(tái)通過(guò)虛擬化，可以靈活地切分成許多虛擬的硬件平臺(tái)，可以支持不同的軟件實(shí)體運(yùn)行。

1.2 單服務(wù)器的虛擬化、多系統(tǒng)、多租戶，全數(shù)據(jù)中心多集群系統(tǒng)交叉混合

我們之前講過(guò)，系統(tǒng)分為四類，跟智能終端系統(tǒng)相比，云和邊緣數(shù)據(jù)中心的系統(tǒng)最大特點(diǎn)是虛擬化和服務(wù)化，數(shù)據(jù)中心服務(wù)器和終端設(shè)備系統(tǒng)最大的區(qū)別在于：

首先，通過(guò)虛擬化實(shí)現(xiàn)多系統(tǒng)多租戶共存于單個(gè)硬件平臺(tái)。硬件平臺(tái)需要支持虛擬化和高擴(kuò)展性，提供多個(gè)個(gè)性化的虛擬硬件平臺(tái)。然后需要支持多個(gè)不同甚至迥異的軟件系統(tǒng)，運(yùn)行在各自獨(dú)立的虛擬硬件平臺(tái)上。

另一個(gè)，終端系統(tǒng)當(dāng)做單個(gè)系統(tǒng)的話，那么數(shù)據(jù)中心服務(wù)器則是多個(gè)系統(tǒng)混合運(yùn)行。這樣，我們可以把支持虛擬化多系統(tǒng)多租戶運(yùn)行的服務(wù)器運(yùn)行的系統(tǒng)定義為宏系統(tǒng)。

單個(gè)服務(wù)器是多系統(tǒng)多租戶運(yùn)行的宏系統(tǒng)，那么整個(gè)數(shù)據(jù)中心或多個(gè)數(shù)據(jù)中心連成一體的數(shù)以十萬(wàn)、甚至百萬(wàn)級(jí)服務(wù)器組成的超大型集群；其上運(yùn)行的系統(tǒng)，就完全變成了，不同租戶的多種集群系統(tǒng)混合交叉在一起，并行不悖運(yùn)行的超大型多宏系統(tǒng)。

1.3 物理硬件的一致性和虛擬“硬件”的多樣性

很多做硬件的同學(xué)，不由自主的，會(huì)很喜歡搞硬件“創(chuàng)新”。比如：

通過(guò)PCIe Switch，連接不同數(shù)量不同規(guī)格的CPU、GPU以及存儲(chǔ)盤(pán)、網(wǎng)卡等I/O設(shè)備，組成形態(tài)各異的多種類型的硬件服務(wù)器；

通過(guò)智能網(wǎng)卡、DPU等強(qiáng)大的能力，實(shí)現(xiàn)不同規(guī)格、不同性能的多計(jì)算節(jié)點(diǎn)的自由組合；

還有，通過(guò)TOR的功能增強(qiáng)，把許多DPU的工作放到TOR交換機(jī)，實(shí)現(xiàn)Smart TOR或者TOR-DPU的方式，來(lái)實(shí)現(xiàn)系統(tǒng)能力的增強(qiáng)；

其他各種硬件創(chuàng)新項(xiàng)目。

但我個(gè)人一直的觀點(diǎn)是：硬件需要盡可能的簡(jiǎn)單，通過(guò)軟件去實(shí)現(xiàn)各種復(fù)雜多樣性。比如，數(shù)據(jù)中心不宜有不同層次不同規(guī)格的服務(wù)器和網(wǎng)絡(luò)設(shè)備，而是極致簡(jiǎn)單清晰的就計(jì)算節(jié)點(diǎn)和網(wǎng)絡(luò)核心設(shè)備兩種物理設(shè)備類型：

計(jì)算節(jié)點(diǎn)，即服務(wù)器，核心功能是計(jì)算和各類數(shù)據(jù)的處理，其網(wǎng)絡(luò)功能，盡可能只體現(xiàn)在輸入輸出時(shí)的高性能網(wǎng)絡(luò)。

交換機(jī)，作為高效的網(wǎng)絡(luò)核心設(shè)備，專注網(wǎng)絡(luò)的相關(guān)處理，盡可能少地參與到用戶的計(jì)算，保持對(duì)用戶計(jì)算的透明。

在AWS的官網(wǎng)中介紹Nitro系統(tǒng)優(yōu)勢(shì)的時(shí)候，首先提到的就是“更快的創(chuàng)新”： Nitro System 將各種各樣的構(gòu)建基塊集合，且可按照不同方式進(jìn)行組合，從而讓我們能夠通過(guò)不斷擴(kuò)展的計(jì)算、存儲(chǔ)、內(nèi)存和網(wǎng)絡(luò)選項(xiàng)，靈活設(shè)計(jì)并快速交付 EC2 云服務(wù)器實(shí)例類型。 這項(xiàng)創(chuàng)新還促成了裸機(jī)實(shí)例，客戶可以在這些實(shí)例中使用自己的管理程序或不需要使用任何管理程序。 這句話的意思，我再給大家進(jìn)一步解釋一下：AWS首先通過(guò)Nitro系統(tǒng)可以完全抵消虛擬化的各種軟件開(kāi)銷，完全實(shí)現(xiàn)了虛擬化的硬件加速。然后可以非常方便的把一臺(tái)服務(wù)器的CPU資源、加速器資源、內(nèi)存資源、I/O資源以及其他各種資源完全的虛擬化，然后就可以隨意的重新組合，然后可以快速而高效的給用戶提供形態(tài)各異的虛擬機(jī)實(shí)例，實(shí)例類型如計(jì)算優(yōu)化型、內(nèi)存優(yōu)化型、存儲(chǔ)優(yōu)化型、網(wǎng)絡(luò)優(yōu)化型、GPU/FPGA/DSA加速優(yōu)化型等。 總結(jié)一下，站在云計(jì)算公司的視角，CSP希望的是盡可能簡(jiǎn)單的并且自己可以掌控一切的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，希望的是盡可能簡(jiǎn)單的、一致的服務(wù)器硬件規(guī)格（這樣，運(yùn)維才最簡(jiǎn)單并且系統(tǒng)的穩(wěn)定性才最高），然后通過(guò)（軟件的）虛擬化機(jī)制，實(shí)現(xiàn)多種多樣的（軟件）虛擬硬件平臺(tái)，來(lái)支撐VM和容器的運(yùn)行。

02數(shù)據(jù)中心處理器：

從合到分，再?gòu)姆值胶?/p>

2.1 再來(lái)學(xué)習(xí)一下馮諾依曼架構(gòu)

馮諾依曼架構(gòu)是經(jīng)典的計(jì)算架構(gòu)，從此架構(gòu)我們可以得到計(jì)算的三個(gè)主要的部件：計(jì)算單元、存儲(chǔ)單元，以及輸入輸出單元。

2.2 第一階段：CPU單一計(jì)算平臺(tái)

如上圖所示，綠色代表計(jì)算單元+存儲(chǔ)單元，這里的計(jì)算單元是CPU。為了簡(jiǎn)化系統(tǒng)分析，我們把存儲(chǔ)單元略去，默認(rèn)是跟隨計(jì)算單元。

2.3 第二階段：從合到分，CPU+其他計(jì)算芯片的異構(gòu)計(jì)算平臺(tái)

基于CPU的摩爾定律失效，CPU的性能提升很慢，每年只有不到3%，要想性能翻倍，需要20年以上。然而，對(duì)性能的需求，依然在不斷上升，因此，CPU+xPU的異構(gòu)計(jì)算逐漸走向舞臺(tái)的中央。

所有的xPU，包括GPU、AI-DSA等加速器無(wú)法單獨(dú)存在，需要有Host CPU，形成CPU+xPU的異構(gòu)計(jì)算的方式來(lái)實(shí)現(xiàn)完整的計(jì)算。 單個(gè)CPU+xPU異構(gòu)計(jì)算本身存在的問(wèn)題：

可加速部分占整個(gè)系統(tǒng)的比例有限，例如加速占比為80%，則加速最高不超過(guò)5倍；

數(shù)據(jù)在CPU和加速器之間來(lái)回搬運(yùn)的影響，加速比率打了折扣，有些場(chǎng)景綜合加速效果不明顯；

異構(gòu)加速顯式的引入新的實(shí)體，計(jì)算變成兩個(gè)或多個(gè)實(shí)體顯式的協(xié)作完成，增加了整個(gè)系統(tǒng)的復(fù)雜度；

雖然GPU相比CPU性能提升不少，但是相比DSA/ASIC的性能，還是有顯著的差距；而DSA/ASIC的問(wèn)題則在于，無(wú)法適應(yīng)復(fù)雜場(chǎng)景對(duì)業(yè)務(wù)靈活性的要求，導(dǎo)致大規(guī)模應(yīng)用成為巨大的門(mén)檻；

CPU+xPU架構(gòu)，是以CPU為中心，整個(gè)IO路徑很長(zhǎng)，IO成為性能的瓶頸。

如果把基于CPU+xPU的多個(gè)異構(gòu)計(jì)算整合起來(lái)，那會(huì)存在新的問(wèn)題：

本質(zhì)上，每一個(gè)CPU+xPU是一個(gè)個(gè)的孤島，不同xPU之間的通信會(huì)非常的麻煩，都需要CPU的參與，非常低效率低性能；

在服務(wù)器的物理空間里，通常只能加載一種類型的加速卡。不存在這么多的空間，可以加載如此多類型和數(shù)量的加速卡。站在服務(wù)器功耗約束的角度，這么多加速卡也不允許。

以CPU為中心的架構(gòu)，所有的xPU交互需要CPU的參與（P2P方式可以減輕一些CPU的壓力，但至少跨越2條總線交互依然是低效的，本質(zhì)問(wèn)題沒(méi)有解決）。CPU是整個(gè)系統(tǒng)的重中之重，隨著CPU的性能提升緩慢，CPU成為整個(gè)系統(tǒng)的瓶頸，拖累了整個(gè)系統(tǒng)整體性能的顯著提升。

2.4 第三階段：從分到合的起點(diǎn)：DPU+其他計(jì)算芯片的異構(gòu)計(jì)算平臺(tái)

我們?cè)賮?lái)看看以DPU為中心的架構(gòu)。 需要澄清一下：以CPU計(jì)算為中心的架構(gòu)，本質(zhì)上是以控制為中心；以DPU為中心的架構(gòu)，也不天然就等同于以數(shù)據(jù)為中心；如果DPU的架構(gòu)實(shí)現(xiàn)依然是傳統(tǒng)SOC，那么DPU本質(zhì)上仍然是以控制為中心。要想真正實(shí)現(xiàn)以數(shù)據(jù)為中心，整個(gè)系統(tǒng)架構(gòu)需要做大范圍調(diào)整。 我們來(lái)看看在以DPU為中心的多個(gè)異構(gòu)計(jì)算的混合狀態(tài)下，具體解決了哪些問(wèn)題？

有一種說(shuō)法，DPU是一個(gè)Switch，它不做具體的功能，只是連接了眾多的PU。那這樣的話，DPU實(shí)際上什么事情也沒(méi)干，這樣的DPU沒(méi)有意義。

大家對(duì)DPU形成共識(shí)的看法，DPU需要支持虛擬化、網(wǎng)絡(luò)、存儲(chǔ)和安全的加速處理。這樣的話，DPU本身完成了大量I/O數(shù)據(jù)的計(jì)算任務(wù)，減輕了CPU的負(fù)擔(dān)并且顯著的提升了整個(gè)系統(tǒng)的性能。

系統(tǒng)“分分合合”，DPU的出現(xiàn)，代表了計(jì)算在從分離逐漸走向合并，即把多個(gè)CPU+xPU的異構(gòu)加速逐漸整合成單個(gè)處理芯片，實(shí)現(xiàn)異構(gòu)計(jì)算的逐步整合。預(yù)示著服務(wù)器大芯片系統(tǒng)的發(fā)展，逐步從單CPU到CPU+xPU異構(gòu)計(jì)算的逐漸分解的階段，走向了把多個(gè)CPU+xPU持續(xù)整合到一起的逐漸合并的新階段。 DPU沒(méi)有解決哪些問(wèn)題？

計(jì)算任務(wù)，不僅僅包括I/O類任務(wù)處理，還可以是其他系統(tǒng)層，甚至可以是應(yīng)用層的計(jì)算任務(wù)。如果把DPU當(dāng)做綜合性的計(jì)算加速平臺(tái)，DPU可以繼續(xù)集成更多的加速功能。

DPU代替CPU，成為中心節(jié)點(diǎn)，“屠龍少年變成了惡龍”，CPU、GPU、其他xPU之間的通信依然很麻煩，依然是一個(gè)個(gè)孤島。

如果不更新整個(gè)系統(tǒng)的底層架構(gòu)，以DPU為中心的架構(gòu)，本質(zhì)上仍然是以控制為中心的計(jì)算，而不是以數(shù)據(jù)為中心的計(jì)算，依然無(wú)法達(dá)到整個(gè)數(shù)據(jù)吞吐量和計(jì)算量的數(shù)量級(jí)提升。

依然存在物理空間約束的問(wèn)題，服務(wù)器空間有限，特別是2U或1U的服務(wù)器，也需要足夠強(qiáng)勁的算力。而且隨著綠色數(shù)據(jù)中心的流行，對(duì)單臺(tái)服務(wù)器的功耗約束勢(shì)必越來(lái)越大。這個(gè)時(shí)候，各自獨(dú)立的CPU、GPU以及各類獨(dú)立加速器的問(wèn)題就是亟待解決的。

從以CPU為中心架構(gòu)，改成以DPU為中心的架構(gòu)。會(huì)使得DPU成為重中之重，成為系統(tǒng)的關(guān)鍵“瓶頸”，成為系統(tǒng)的不可承受之重。

2.5 第四階段：從分到合：更高效的融合計(jì)算平臺(tái)

在新的階段里，沒(méi)有所謂的核心節(jié)點(diǎn)，把CPU、GPU、DPU（DPU可以看做Multi-XPU的集合），集成到單芯片。這個(gè)眾多功能融合的芯片，就是我們一直提到的超異構(gòu)計(jì)算芯片（HPU，Hyper-heterogeneous Processing Unit）。 超異構(gòu)計(jì)算芯片HPU可以認(rèn)為是CPU+GPU+DPU的融合型芯片，但不能簡(jiǎn)單的看做三者的集成。HPU需要解耦CPU、GPU和DPU的功能，重構(gòu)整個(gè)系統(tǒng)，并且形成以數(shù)據(jù)為中心、數(shù)據(jù)流驅(qū)動(dòng)計(jì)算的新型架構(gòu)。 需要強(qiáng)調(diào)的是，超異構(gòu)融合芯片不能跟超融合的概念混為一談，超異構(gòu)芯片不等于云計(jì)算里經(jīng)常講的超融合：

超融合是為了把云計(jì)算IaaS服務(wù)的大集群再整合到小規(guī)模集群，這樣方便在私有云和企業(yè)云部署。

而超異構(gòu)融合芯片則強(qiáng)調(diào)系統(tǒng)棧的整體優(yōu)化，是把服務(wù)器上運(yùn)行的系統(tǒng)整體優(yōu)化到多種引擎混合的高效高性能的單芯片里。超異構(gòu)融合芯片既可以支持超融合，也可以支持不融合（即極致解構(gòu)并超多用戶超多系統(tǒng)共存）。

我們可以簡(jiǎn)單的把系統(tǒng)分為兩個(gè)平面：

控制和管理平面：仍然是運(yùn)行在CPU的軟件；

計(jì)算和數(shù)據(jù)平面：此刻，CPU、GPU、其他各類xPU，甚至包括I/O都可以看做是平等的各類計(jì)算引擎，他們完成各自擅長(zhǎng)的工作，并且充分交互，形成一個(gè)更加高效更加高性能的的一個(gè)整體的系統(tǒng)。

03大芯片融合的背景條件

3.1 條件1：90%以上的服務(wù)器系統(tǒng)相對(duì)輕量，單芯片可以容納

重量級(jí)場(chǎng)景，需要獨(dú)立的CPU、GPU和DPU三芯片，而輕量級(jí)場(chǎng)景則可以有獨(dú)立的單芯片融合方案，實(shí)現(xiàn)比傳統(tǒng)CPU芯片同等面積下，性能數(shù)量級(jí)提升的可能，可以覆蓋輕量級(jí)系統(tǒng)所需的算力和復(fù)雜度。 而輕量級(jí)場(chǎng)景所占的所有服務(wù)器的規(guī)模也能夠達(dá)到90%左右：

邊緣服務(wù)器。數(shù)據(jù)中心包括云數(shù)據(jù)中心和邊緣數(shù)據(jù)中心，據(jù)有關(guān)數(shù)據(jù)分析，未來(lái)，邊緣計(jì)算會(huì)占到整個(gè)數(shù)據(jù)中心規(guī)模的80%。

企業(yè)級(jí)服務(wù)器。企業(yè)云場(chǎng)景，需要支持虛擬化，但一般來(lái)說(shuō)不需要支持多租戶。服務(wù)器對(duì)算力的需求沒(méi)有云那么高。也屬于輕量級(jí)場(chǎng)景。

云數(shù)據(jù)中心服務(wù)器大體分為兩類，一類是重量級(jí)的業(yè)務(wù)服務(wù)器，一類是輕量級(jí)的存儲(chǔ)、其他各類資源池化服務(wù)器。這些資源池化服務(wù)的輕量級(jí)場(chǎng)景，都可以由超異構(gòu)單芯片覆蓋。

此外，獨(dú)立的超異構(gòu)融合芯片，也可以作為DPU的角色，和CPU、GPU配合來(lái)使用。

3.2 條件2：Chiplet技術(shù)成熟，使得單芯片可以覆蓋重量級(jí)場(chǎng)景

Chiplet技術(shù)提供了使系統(tǒng)規(guī)模立竿見(jiàn)影快速提升的可能，這樣，我們可以提供一個(gè)更大規(guī)模的超異構(gòu)融合芯片，來(lái)覆蓋各類重量級(jí)計(jì)算場(chǎng)景，用在典型的云計(jì)算業(yè)務(wù)計(jì)算服務(wù)器和異構(gòu)計(jì)算服務(wù)器場(chǎng)景。 從而，使得超異構(gòu)計(jì)算單芯片（單DIE芯片和多DIE組成的Chiplet芯片），可覆蓋云網(wǎng)邊端融合的所有復(fù)雜計(jì)算場(chǎng)景（復(fù)雜計(jì)算的顯著標(biāo)志為：虛擬化和服務(wù)化）。

04融合，大芯片的發(fā)展趨勢(shì)

4.1 案例：NVIDIA Bluefield DPU集成GPU

NVIDIA DPU roadmap NVIDIA DPU的Roadmap，NVIDIA計(jì)劃從Bluefield第四代開(kāi)始，把DPU和GPU兩者集成一個(gè)單芯片。 NVIDIA DPU和GPU集成了，也已經(jīng)有了獨(dú)立的Grace CPU。那么，在Chiplet技術(shù)已經(jīng)成熟的情況下，再把CPU集成進(jìn)來(lái)，構(gòu)成CPU+GPU+DPU的超異構(gòu)芯片，還會(huì)遠(yuǎn)嗎？（不遠(yuǎn)，因?yàn)樵?a href="http://m.makelele.cn/tags/自動(dòng)駕駛/" target="_blank">自動(dòng)駕駛端已經(jīng)有了。）

4.2 案例2：NVIDIA自動(dòng)駕駛Atlan超異構(gòu)融合芯片

圖 NVIDIA計(jì)劃2024年推出的自動(dòng)駕駛芯片Atlan NVIDIA在自動(dòng)駕駛領(lǐng)域的芯片發(fā)展，也基本上是2年一代產(chǎn)品。2024年要發(fā)布的Atlan芯片，則完全變成了集成ARM Neoverse系列的Grace CPU（NVIDIA數(shù)據(jù)中心CPU）、有可能是Hopper架構(gòu)的GPU（NVIDIA數(shù)據(jù)中心GPU）以及Bluefield DPU（NVIDIA數(shù)據(jù)中心DPU），可以單芯片達(dá)到1000 TOPS。 這樣，我們可以看到，在自動(dòng)駕駛領(lǐng)域，已經(jīng)實(shí)現(xiàn)了多種處理引擎混合的完全的超異構(gòu)融合芯片，Atlan使用的是數(shù)據(jù)中心相同的處理引擎架構(gòu)，可以無(wú)縫實(shí)現(xiàn)云邊端協(xié)同甚至融合。 從量變到質(zhì)變，Atlan隨著集成單元的增多，隨著性能需求的上升，隨著系統(tǒng)復(fù)雜度的上升而對(duì)芯片的通用靈活可編程能力要求上升，都需要全新的架構(gòu)，全新的整合重構(gòu)。

審核編輯 ：李倩