和娛樂圈的明星八卦一樣，IT行業(yè)里面的各種并購(gòu)也是非常有市場(chǎng)的。畢竟，像EMC，Cisco，Broadcom 這樣的公司都是一路并購(gòu)成長(zhǎng)起來的。最近比較熱門的應(yīng)該是Mellanox說自己準(zhǔn)備賣自己了。在25G/50G/100G市場(chǎng)上占據(jù)了69%的市場(chǎng)份額，2018年前三個(gè)季度，出貨了2.1M的網(wǎng)絡(luò)端口。[1] 這么好的標(biāo)的，一時(shí)各種傳聞都出來了。Xilinx[2]，Microsoft[3]，Intel[4]，估計(jì)還有Broadcom[5]都在準(zhǔn)備，以色列人的確有水平，已經(jīng)從5.5B到了6B。陳福陽(yáng)在華爾街籌錢的能力，估計(jì)還有大招。

Mellanox是個(gè)什么公司，一句話，就是目前RDMA技術(shù)的事實(shí)的技術(shù)定義者。雖然海有很多公司也有RDMA技術(shù)，但是在IB和Ethernet兩個(gè)市場(chǎng)都能夠呼風(fēng)喚雨，只有它了。

Remote DMA技術(shù)在Ethernet上的應(yīng)用不能不提微軟，目前微軟是目前在數(shù)據(jù)中心大規(guī)模部署RDMA的第一家HyperScale公司。微軟在2015/6/7/8年的Sigcomm [6]有大量的論文來講RDMA在數(shù)據(jù)中心的部署，很多人講微軟的風(fēng)格是自己做了100分，但是對(duì)外只講1分。因此可以想象Microsoft對(duì)于Mellanox準(zhǔn)備賣身的關(guān)注，自己的技術(shù)投入不能打水漂，不僅自己下手，而且鼓勵(lì)合作伙伴一起團(tuán)購(gòu)。

RDMA的技術(shù)是在一個(gè)有Mellanox主導(dǎo)的行業(yè)組織OFA[7]主導(dǎo)的。目前的成員如下圖，可以看到還是集中在HPC的專業(yè)領(lǐng)域。

OFA是2004年成立的工業(yè)組織，在整個(gè)HPC行業(yè)從Myrinet[8]轉(zhuǎn)換到IB的時(shí)候成立的。在2005年, Myrinet在TOP500的市場(chǎng)份額占到了28%，之后就一路下降，被IB替換掉了。對(duì)于誕生于HPC專業(yè)的領(lǐng)域，可用性一直是個(gè)大問題，HPC一切為了性能，不要虛擬化，不要通用操作系統(tǒng)和架構(gòu)，每臺(tái)超算恨不得自成一臺(tái)體系。大家看看Mellanox的Linux 驅(qū)動(dòng)的家族就知道這個(gè)有多復(fù)雜了。[7]

這路吐一個(gè)槽，作為Mellanox卡的資深用戶，我很早就自己畫了一份他們的OFED驅(qū)動(dòng)的加載流程，作為Mellanox，這么基本的文檔在2018年12月才發(fā)布，而且很多模塊沒有upstream，讓人無(wú)奈的是，到現(xiàn)在為止我還沒有找到卸載rdma_cm （ connection mangament ) 的有效方法。每次都需要重啟。

因此看到AWS說要發(fā)布他們的EFA的時(shí)候，覺得他們還是真有勇氣，但是仔細(xì)一看，原來和AWS的HPC業(yè)務(wù)緊密結(jié)合，而且利用了libfabric 的生態(tài)[8]

很明顯，libfabric在網(wǎng)路傳輸層和流行的HPC編程框架之間做了一個(gè)統(tǒng)一。更重要的是，對(duì)于原來OFA的功能定義做了一個(gè)大大減法。俺曾經(jīng)自己研究總結(jié)了Mellanox CX系列網(wǎng)卡的功能。大家可以自己看看這個(gè)復(fù)雜度。

對(duì)于像AWS這樣的Hyperscale公司也要部署RDMA，這個(gè)做法和之前的微軟有很大的不同。對(duì)于微軟，他們從40G開始規(guī)模部署RDMA，就是為了Azure的云環(huán)境的低延時(shí)網(wǎng)絡(luò)，目前微軟的網(wǎng)絡(luò)還是天下第一。[9]當(dāng)然微軟為了大規(guī)模部署RoCEv2的所作的各種流控算法以及應(yīng)用的優(yōu)化對(duì)于整個(gè)業(yè)界都是非常有用的，但是他們主要停留在傳統(tǒng)的網(wǎng)絡(luò)上面。

AWS則不同，對(duì)于低延時(shí)網(wǎng)絡(luò)來講，在2014年之前，大部分的場(chǎng)景就是SDS，太多的存儲(chǔ)startup公司，使用PCIE Flash和RDMA 網(wǎng)卡來構(gòu)建自己的分布式存儲(chǔ)系統(tǒng)，比較典型就是EMC收購(gòu)的ScaleI/O了。[10]

2014年之后，由于ALexnet的出色表現(xiàn)，RMDA和Nvidia有了深度合作，利用GPU Direct，在GPU集群中快速傳遞數(shù)據(jù)成了RDMA的另一個(gè)

大眾應(yīng)用。[11]

GPU+RDMA也是目前在TOP500部署量最大的應(yīng)用，因此可以很明確地看出AWS使用Nitro做EFA的目的了。

貌似只有一款機(jī)型部署了EFA。[12] 對(duì)于這個(gè)機(jī)型，定位很清楚，HPC和分布式機(jī)器學(xué)習(xí)的訓(xùn)練，因此功能實(shí)現(xiàn)也非常有目的，不要指望EFA會(huì)和Mellanox一樣功能強(qiáng)大。

因此，可以看出，傳統(tǒng)的Nitro芯片在升級(jí)了25G的Serdes之后，利用libfabric的生態(tài)實(shí)現(xiàn)了部分的RDMA的功能，可以滿足AWS上的HPC和ML的業(yè)務(wù)需求。這個(gè)和國(guó)內(nèi)的大廠的想法類似。

因此，對(duì)于未來RDMA在數(shù)據(jù)中心的使用場(chǎng)景，存儲(chǔ)和HPC是兩個(gè)比較明確的方向。對(duì)于存儲(chǔ)，如何和NVMe這樣的存儲(chǔ)介質(zhì)，以及NVMeoF和Cephover RDMA這樣的存儲(chǔ)后端結(jié)合是一個(gè)方向，在這個(gè)方向上，是不是要支持IB的編程框架并不重要。對(duì)于HPC的方向，則是如何和GPU這樣的計(jì)算引擎結(jié)合，簡(jiǎn)單數(shù)據(jù)傳輸?shù)难訒r(shí)，和上層的ML的框架緊密結(jié)合。

廣告時(shí)間： Xilinx在2018.1 中就推出了自己的RDMA的實(shí)現(xiàn)，目前主要關(guān)注在存儲(chǔ)應(yīng)用這個(gè)方向。[13]實(shí)現(xiàn)了對(duì)10G/25G/40G/100G的網(wǎng)絡(luò)速率的支持，在Vivado 2019.1中會(huì)在延時(shí)上有進(jìn)一步的提升，在512Byte上和標(biāo)準(zhǔn)的Mellanox類似，當(dāng)然我們也是兼容Mellanox。歡迎大家垂詢。

[1]https://www.businesswire.com/news/home/20181025005197/en/Mellanox-Ships-2.1-Million-Ethernet-Adapters-Quarters

[2]https://www.cnbc.com/2018/11/07/xilinx-working-with-barclays-to-buy-mellanox-possible-december-deal.html

[3]https://www.cbronline.com/news/microsoft-mellanox

[4]https://www.hpcwire.com/2019/01/30/intel-reportedly-in-6b-bid-for-mellanox/

[5]https://en.globes.co.il/en/article-mellanox-acquisition-fits-broadcom-like-a-glove-1001258241

[6]http://www.sigcomm.org/

[7]https://community.mellanox.com/s/article/mellanox-linux-driver-modules-relationship--mlnx-ofed-x

[8]https://ofiwg.github.io/libfabric/

[9]https://mspoweruser.com/report-microsoft-azure-beats-google-cloud-and-amazon-aws-in-network-performance/

[10]https://en.wikipedia.org/wiki/Dell_EMC_ScaleIO

[11]https://devblogs.nvidia.com/benchmarking-gpudirect-rdma-on-modern-server-platforms/

[12]https://aws.amazon.com/cn/ec2/instance-types/

[13]https://www.xilinx.com/products/intellectual-property/etrnic.html