在研發(fā)實(shí)驗(yàn)室構(gòu)建針對(duì)PCIe Gen5 x4企業(yè)級(jí)NVMe SSD的測(cè)試環(huán)境，或者針對(duì)Gen5 x16接口的企業(yè)級(jí)GPU, DPU/SmartNIC，AI板卡，或加速卡的測(cè)試環(huán)境，需要綜合考慮這些產(chǎn)品在企業(yè)級(jí)數(shù)據(jù)中心或者Internet網(wǎng)數(shù)據(jù)中心的實(shí)際使用環(huán)境。

企業(yè)級(jí)SSD和各類板卡除了可能直連PCIe Gen5 CPU外，大多數(shù)都需要連接PCIe Gen5 switch或者Retimer卡，所以構(gòu)建測(cè)試環(huán)境的時(shí)候就必須要考慮這些治具。

下面我們簡(jiǎn)要介紹一下構(gòu)建Gen5測(cè)試環(huán)境涉及的相關(guān)的產(chǎn)品和技術(shù)。

第一部分：PCIe Gen5 Switch卡

在目前市場(chǎng)上還幾乎買不到任何量產(chǎn)發(fā)布的PCIe Gen5 服務(wù)器和endpoint卡的情況下，SerialCables公司的PCIe Gen5 switch卡成為用戶搭建Gen5測(cè)試環(huán)境的唯一選擇。

該卡對(duì)于構(gòu)建PCIe Gen5測(cè)試環(huán)境具備兩重屬性：

1）對(duì)于測(cè)試RC端，例如CPU來(lái)講，它可以作為可靠的“EndPoint”，用來(lái)訓(xùn)練RC端的PCIe Gen5鏈路。

2）對(duì)于測(cè)試EP端，例如上述的SSD和各類板卡，它作為可靠的“RC”，用來(lái)訓(xùn)練EP端的PCIe Gen5鏈路。

下圖為SerialCables最新版本的Rev1.6的Gen5 switch卡圖片，目前國(guó)內(nèi)主流芯片公司基本都購(gòu)買該卡進(jìn)行Gen5 CPU或者板卡/SSD盤的測(cè)試。

該Gen5 switch卡提供上行Gen5 x16金手指，下行分成兩部分：插槽和MCIO接口。

1.頂部提供PCIe Gen 5x16插槽，提供非常好的信號(hào)質(zhì)量，可以用來(lái)測(cè)試各種Gen5板卡，如GPU/DPU。

下圖是采用該P(yáng)CIe Gen5 x16 switch卡測(cè)試圖形卡的示意圖。

該Gen5 Switch卡的頂部插槽信號(hào)輸出的眼圖質(zhì)量如下圖所示。

相比較來(lái)講，目前不少客戶在x86 Gen5 CPU服務(wù)器量產(chǎn)之前采用將插卡插入工作站/臺(tái)式機(jī)的PCIe Gen5 x16插槽的方式進(jìn)行測(cè)試，可能碰到很多問(wèn)題，除了CPU本身的問(wèn)題外，主板信號(hào)質(zhì)量也是一個(gè)很重要的因素，下面的眼圖是在號(hào)稱業(yè)內(nèi)最好的工作站主板廠商提供的Intel Z690主板芯片組的PCIe Gen5 x16插槽（直連CPU）獲得的眼圖。

2.Gen5 Switch卡左邊提供4個(gè)Gen5 x4 MCIO接口。通過(guò)各種MCIO轉(zhuǎn)接U.2, U.3, EDSFF的Gen5轉(zhuǎn)接線纜可以連接測(cè)試各類常見(jiàn)接口的PCIe Gen5 NVMe SSD。當(dāng)然這4個(gè)端口是動(dòng)態(tài)配置的，也就是說(shuō)，如果用戶自己定制或者購(gòu)買2*MCIO轉(zhuǎn)接1*x8插槽的轉(zhuǎn)接治具，或者4*MCIO轉(zhuǎn)接1*x16插槽，也可以用來(lái)分別測(cè)試Gen5 x8或者Gen5 x16的各種產(chǎn)品。

下圖展示了左側(cè)通過(guò)Gen5 MCIO/U.2 1x4線纜連接single port盤，以及通過(guò)Gen5 MCIO/U.2 2x2線纜連接dual port的圖片。頂部的插槽通過(guò)SerialCables Gen5 U.2/AIC轉(zhuǎn)接卡測(cè)試Gen5 U.2 single port盤。

目前SerialCables也推出了下行方向?yàn)?個(gè)QSFP-DD的Gen5 x16 switch卡， 主要是連接下行的Gen5 SSD擴(kuò)展測(cè)試盤柜使用，當(dāng)然也可以連接擴(kuò)展GPU等板卡的擴(kuò)展板。

綜上，SerialCables的PCIe Gen5卡板既可以插在主機(jī)PCIe Gen5 x16 插槽測(cè)試CPU的Gen5建鏈能力，也可以測(cè)試插在頂部的Gen5 x16 插槽的客戶的endpoint板卡，例如GPU, DPU, AI卡，加速卡等，或者左邊4個(gè)Gen5 x4 MCIO接口通過(guò)MCIO轉(zhuǎn)接U.2, U.3, EDSFF等線纜實(shí)現(xiàn)對(duì)于各類Gen5 x4 single port 盤和dual port SSD的測(cè)試。

Saniffer公司本周剛拍攝并且處理了Gen5 switch卡的演示視頻，展示了兩張Gen5 switch card對(duì)接協(xié)商成gen5 x16, 同時(shí)展示了switch card連接dual port SSD和single port ssd的端口以及熱插拔演示。演示環(huán)境參見(jiàn)下圖。

演示視頻包括下面幾個(gè)部分：

1.PCIe Gen5 x16 switch card實(shí)物介紹

2.實(shí)物連接主機(jī)、對(duì)接、連接dual port ssd和single port SSD

3.switch 卡內(nèi)置的管理MCU支持的CLI命令行介紹，具體命令列表參見(jiàn)下圖。

上述命令里面，對(duì)于測(cè)試SSD來(lái)講ssdrst可以用來(lái)發(fā)送300ms的PERST#讓待測(cè)SSD或者插卡強(qiáng)行復(fù)位，spread和clk配合可以用來(lái)測(cè)試盤的SRIS功能支持，iicwr和iicw分別用來(lái)針對(duì)SSD通過(guò)iic/smbus總線進(jìn)行讀取和寫入操作。Showport可以用來(lái)檢查上、下行的鏈路訓(xùn)練狀態(tài)是否符合預(yù)期。

另外，SerialCables 的Gen5 switch卡使用Broadcom PEX89000 Gen5交換芯片，年底即將量產(chǎn)發(fā)布的基于Broadcom B0版本芯片的switch卡內(nèi)置了SerialTek 的PCIe Gen5協(xié)議抓包功能，可以實(shí)現(xiàn)對(duì)于初始化階段碰到的各種PCIe 底層問(wèn)題進(jìn)行抓包分析，具體介紹可以聯(lián)系Saniffer公司或者訪問(wèn)www.saniffer.com官網(wǎng)下載的“PCIe Gen 4&5總線協(xié)議和NVMe SSD測(cè)試技術(shù)和工具白皮書”，參照2.8章節(jié)獲得更多信息。

第二部分：PCIe Gen5 Retimer卡

目前業(yè)界正在開(kāi)發(fā)中的PCIe Gen5服務(wù)器出于成本考慮會(huì)使用Retimer卡，所以，對(duì)于Gen5 SSD或者各種板卡在實(shí)驗(yàn)室測(cè)試的時(shí)候也需要構(gòu)建這類測(cè)試環(huán)境進(jìn)行提前測(cè)試，主要是要測(cè)試信號(hào)以及兼容性問(wèn)題等方面是否有問(wèn)題，以便可以提前進(jìn)行問(wèn)題修復(fù)。

注意：

1）Retimer處理到協(xié)議層，其原理是串接在PCIe Gen5鏈路中間，將從CPU過(guò)來(lái)的差分信號(hào)串并轉(zhuǎn)化后，進(jìn)入retimer然后重新生成這些信號(hào)再轉(zhuǎn)發(fā)出去到endpoint插卡或者PCIe背板，也就是說(shuō)retimer通過(guò)這種方式實(shí)現(xiàn)了對(duì)于較弱的信號(hào)增強(qiáng)。

2）Retimer除了上下行分別連接CPU和endpoint板卡或者盤之外，有的場(chǎng)景出于PCIe endpoint擴(kuò)展的需要，也會(huì)在下行方向先連接PCIe Gen5 switch然后即可連接多個(gè)endpoint。我們使用SerialTek Gen5 x16協(xié)議分析儀抓取的Gen5 CPU -> Gen5 retimer 卡 -> Gen5 x16 switch以及Gen5 CPU-> Gen5 retimer 卡 -> Gen5 x16 400GE網(wǎng)卡的trace文件，對(duì)于PCIe Gen5協(xié)議底層Retimer和switch或者網(wǎng)卡加電PCIe初始化流程感興趣的朋友可以聯(lián)系我們索取該trace文件和解碼軟件。

上圖的Gen5 retimer是最常用的Retimer，比較適合用各類Gen5 x16板卡測(cè)試，金手指上行連接CPU，頂部插槽用來(lái)插入待測(cè)的Gen 5x16 板卡。

當(dāng)然，如果是Gen5 x4 SSD或者x8 EDSFF SSD，需要借助SerialCables 公司的Gen5 U.2/AIC轉(zhuǎn)接卡，或者E3.S/AIC，E1/AIC轉(zhuǎn)接卡實(shí)現(xiàn)插入頂部插槽的目標(biāo)。參見(jiàn)下圖。

當(dāng)然， SerialCable也計(jì)劃推出類似于上述第二種Gen5 switch卡的Retimer型號(hào)，提供2個(gè)QSFP-DD接口，用來(lái)將Gen5 CPU信號(hào)擴(kuò)展到Gen5 盤柜或者擴(kuò)展板使用。

第三部分：PCIe Gen5 各類轉(zhuǎn)接卡和延長(zhǎng)線

受制于現(xiàn)實(shí)測(cè)試環(huán)境的限制，在研發(fā)、測(cè)試階段，經(jīng)常需要在各類接口之間互相轉(zhuǎn)接，或者將某些接口，例如Gen5 x16 CEM插槽，Gen5 x4 U.2等進(jìn)行延長(zhǎng)，以便連接比較大的Gen5驗(yàn)證板，或者將EP板卡/SSD放入溫箱測(cè)試。在PCIe Gen5時(shí)代，這些轉(zhuǎn)接或者延長(zhǎng)的需求變得問(wèn)題重重。我們平時(shí)看到實(shí)驗(yàn)室碰到的大量問(wèn)題都和采用了劣質(zhì)的轉(zhuǎn)接卡和延長(zhǎng)線有關(guān)。對(duì)于Gen4或者Gen5信號(hào)質(zhì)量，國(guó)內(nèi)常用電商平臺(tái)買到的基本都不合格，這浪費(fèi)了研發(fā)、測(cè)試工程師大量的時(shí)間。

限于篇幅，我們本文僅介紹一下常用的Gen5 x16延長(zhǎng)線的一些基本信息，其它各種接口的轉(zhuǎn)接卡和延長(zhǎng)線，請(qǐng)直接聯(lián)系Saniffer或者到官方網(wǎng)站www.saniffer.com下載Saniffer PCIe Gen5 adapter, cable, switch and retimer cards quick guide_rev1.0文檔，下面是一個(gè)簡(jiǎn)要目錄供參考。

1. GEN5 ADAPTERS 轉(zhuǎn)接卡

1.1 PCIe GEN5 U.2 ADAPTERS

1.2 PCIe GEN5 U.3 ADAPTERS

1.3 PCIe GEN5 EDSFF ADAPTERS

1.4 PCIe GEN5 OTHER ADAPTERS

2. GEN5 CABLES 轉(zhuǎn)接線和延長(zhǎng)線

2.1 GEN5 MCIO CABLES

2.2 GEN5 EDSFF CABLES

2.3 GEN5 U.2 CABLES

2.4 GEN5 SlimSAS CABLES

2.5 GEN5 PCIE CEM CABLES

3. GEN5 SWITCH卡

4. GEN5 RETIMER卡

下面是開(kāi)發(fā)各類PCIe Gen5 x16芯片和控制器經(jīng)常要用到的延長(zhǎng)線，尤其是早期開(kāi)發(fā)階段原型卡尺寸較大無(wú)法插入主機(jī)，那么這個(gè)時(shí)候必須采用Gen5延長(zhǎng)線延長(zhǎng)出來(lái)。

PCI-E X16 Gen 5 164P 延長(zhǎng)電纜

小型 PCB 公連接器

卓越的信號(hào)完整性性能

阻抗：85+/-10% 歐姆

FEXT 和 NEXT 功率總和：40dB 高達(dá) 25GHz

符合 PCIe 至 CEM

堅(jiān)固的機(jī)械結(jié)構(gòu)

彎曲支撐

提供靈活的版本

電纜長(zhǎng)度：支持延長(zhǎng)線長(zhǎng)度0.4M, 0.5M, 0.7M, 1M

Gen5 延長(zhǎng)電纜的典型性能

先進(jìn)的crosstalk串?dāng)_抑制技術(shù)支持 xtalk 的功率總和小于 40dB 到 25GHz

阻抗控制在 85ohm+/-7ohm，反射<-10dB 最高 20GHz

先進(jìn)的 Twinax 電纜和 PCB 設(shè)計(jì)技術(shù)支持 4.5dB/m 的 IL

在 16GHz 時(shí)最大損耗 6dB，以支持高達(dá) 1.0m/40 英寸的延伸范圍 Max

審核編輯：郭婷