引言

在涉及Xilinx Zynq UltraScale+ MPSoC的項目中，實現(xiàn)設(shè)備間高速、低延遲的數(shù)據(jù)傳輸往往是核心需求之一。PCIe（尤其PS側(cè)）結(jié)合DMA（直接內(nèi)存訪問）正是滿足這類需求的理想技術(shù)方案。

在近期支持的客戶項目中，其核心需求在于：在一款PCB單板上，集成兩顆Zynq MPSoC器件，并利用其PS側(cè)的PCIe控制器，直接構(gòu)建點對點DMA數(shù)據(jù)傳輸鏈路，從而避免引入額外的PCIe交換芯片。為了驗證該方案的可行性并積累經(jīng)驗，我們使用兩塊ZCU102開發(fā)板成功搭建并測試了一個工作Demo。

這篇文章將聚焦這一實戰(zhàn)過程，手把手帶你完成：環(huán)境搭建、硬件配置、驅(qū)動移植、系統(tǒng)編譯到最終的上板測試驗證，目標(biāo)是幫你快速在你的MPSoC項目上實現(xiàn)類似的高速DMA互連！

一、實戰(zhàn)準(zhǔn)備：軟硬件環(huán)境搭建

1.1硬件準(zhǔn)備

開發(fā)板：兩塊Xilinx ZCU102開發(fā)板。

連接線：一根PCIe公對公延長線纜。

角色分配

板卡1：配置為RC（Root Complex）。

板卡2：配置為EP（Endpoint）。

物理連接：將兩塊板的PS側(cè)PCIe插槽通過延長線纜直接相連（如下圖所示）。

1.2 軟件準(zhǔn)備

軟件版本

Vivado：2021.2（用于硬件設(shè)計和比特流生成）。

PetaLinux：2021.2（用于嵌入式Linux系統(tǒng)構(gòu)建）。

1.3 驅(qū)動準(zhǔn)備

（Xilinx PCIe Root and EndPoint - Xilinx Wiki - Confluence[1]）我們需對其進行交叉編譯以生成適用于ARM64架構(gòu)的內(nèi)核模塊（.ko）。

注：

[1]https://xilinx-wiki.atlassian.net/wiki/spaces/A/pages/85983409/Xilinx+PCIe+Root+and+EndPoint（復(fù)制到瀏覽器打開）

二、詳細(xì)實現(xiàn)過程拆解

2.1 硬件設(shè)計（RC端配置-Vivado）

① 創(chuàng)建block design后，添加“Zynq Ultrascale+ MPSoC” IP。

② 運行Block automation，進行基礎(chǔ)配置。

③ 注意將自動生成的“maxihpm0_fpd_aclk”和“maxihpm1_fpd_aclk”與“pl_clk0”連線，否則會導(dǎo)致后面validate不通過。

④ Vivado通常已自動分配管腳，默認(rèn)模式為RC，使用GT Lane 0。在“IO Configuration”的頁面可以看到，PCIE默認(rèn)配置為Gen2 x1，其他GT Lane分別配置給DP/USB3.0/SATA。本實驗使用默認(rèn)配置。

⑤ PCIE高級配置，勾選“Switch To Advanced Mode”。

確保Class Code值設(shè)置為0x060400（代表PCI-to-PCI Bridge）。如果使用錯誤的類代碼，Linux在枚舉時可能導(dǎo)致BAR分配失??！其余高級配置一般可用默認(rèn)值。

⑥ 配置完成后，按照“Generate Output Products” ->“Create HDL Wrapper”->“Generate Bitstream”的流程。成功生成比特流后，導(dǎo)出.xsa文件，用于PetaLinux系統(tǒng)構(gòu)建。

2.2 構(gòu)建Linux系統(tǒng)（RC端-Petalinux）

① petalinux工程創(chuàng)建

petalinux-create --type project -s xilinx-zcu102-v2021.2-final.bsp -n zcu102_rc

② 導(dǎo)入硬件描述（.xsa）

petalinux-config -- get-hw-description = （path of zcu102_rc.xsa）

③ 配置Linux內(nèi)核

petalinux-config -c kernel

由于內(nèi)核配置中默認(rèn)開啟了ps PCIe的DMA，為了避免后面安裝外部驅(qū)動時沖突，這里需要去掉Xilinx PS PCIe DMA support的默認(rèn)勾選。

④ 編譯工程

petalinux-build

⑤ 打包文件

petalinux-package --boot --fsbl zynqMP_fsbl --u-boot u-boot.elf --force

生成BOOT.BIN、image.ub、boot.scr等關(guān)鍵啟動文件。將上述生成的啟動文件復(fù)制到SD卡的boot分區(qū)。

2.3 編譯移植PS PCIE DMA驅(qū)動（RC端）

① 獲取并修改驅(qū)動源碼：從Xilinx Wiki獲取驅(qū)動源碼。由于官方提供的驅(qū)動源碼是在X86 host上編譯執(zhí)行的，還需要將其修改為可在ARM上執(zhí)行的ko文件，即交叉編譯。

② 修改Makefile，將KERNEL_DIR指定為本地內(nèi)核代碼所在路徑。內(nèi)核路徑示例（請根據(jù)實際路徑修改）：

/home/your_user_name/petalinux_pro/peta_2021/zcu102_rc/build/tmp/work/zynqmp_generic-xilinx-linux/linux-xlnx/5.10+gitAUTOINC+568989d441-r0/linux-zynqmp_generic-standard-build。

③ 在驅(qū)動源碼目錄執(zhí)行make命令，成功編譯后會生成ps_PCIe_dma.ko內(nèi)核模塊文件。

④ 將編譯生成的ko文件、apps路徑下的simple_test應(yīng)用文件以及petalinux打包好的Boot.bin、image.ub和boot.scr都拷貝至SD。

2.4 硬件準(zhǔn)備（EP端）

① vivado配置（類似RC，但關(guān)鍵點不同）

a.在IO configuration中明確將PCIe模式設(shè)置為Endpoint。

b.關(guān)鍵修改，將Device ID修改為“0XA808”。此值必須與驅(qū)動源碼中ZYNQMP_DMA_DEVID1定義的預(yù)期設(shè)備ID嚴(yán)格匹配，否則驅(qū)動無法正常運行。

② 生成并導(dǎo)出硬件設(shè)計。

③ 創(chuàng)建EP端Boot文件，在vitis中：基于導(dǎo)出的.xsa文件新建Vitis平臺工程。創(chuàng)建一個簡單的Hello World應(yīng)用程序工程（僅用于加載運行基本固件）。將其復(fù)制到EP板SD卡。

2.5上板實測

① 上電啟動：

將準(zhǔn)備好的SD卡（含boot文件）分別插入兩塊ZCU102。

兩塊板均設(shè)置為SD卡啟動模式。

連接RC板的串口到主機終端（如PuTTY或minicom）。

② EP枚舉觀察（RC串口輸出）：

給兩塊板上電。

在RC板的串口終端中，你應(yīng)該能看到類似XXX：PCI host bridge /PCIe@fd0e0000 ranges：和XXX：PCIe：Link up的日志信息，這表明PCIe鏈路已成功建立并枚舉到EP設(shè)備。

③ 加載驅(qū)動（RC端命令）：

在RC板的Linux命令行中，進入存放驅(qū)動的目錄。

執(zhí)行：insmod ps_pcie_dma.ko

檢查設(shè)備節(jié)點：成功加載后，/dev/PCIe（例如/dev/ps_pcie_epdma0)等設(shè)備節(jié)點應(yīng)被創(chuàng)建。

④ 運行DMA測試程序（RC端命令）：

執(zhí)行命令進行傳輸測試（以下僅為示例命令，具體參數(shù)需看程序說明）：./simple_test

⑤ 測試結(jié)果解讀：

程序運行后，終端會打印傳輸?shù)乃俣葦?shù)據(jù)。

在我們的測試中（Gen2 x1鏈路）：

RC -> EP（寫入EP內(nèi)存）：傳輸4MB數(shù)據(jù)，平均速度約為372MB/s。

EP -> RC（寫入RC內(nèi)存）：傳輸4MB數(shù)據(jù)，平均速度約為378MB/s。

本文詳細(xì)展示了如何利用兩塊Xilinx Zynq UltraScale+ MPSoC ZCU102開發(fā)板，通過配置其PS側(cè)PCIe控制器分別作為RC和EP，最終實現(xiàn)了兩者之間基于DMA驅(qū)動的高速數(shù)據(jù)互傳功能。該方案驗證了在MPSoC設(shè)計中直接利用片上PCIe資源構(gòu)建高速點對點鏈路的可行性。

關(guān)于安富利

安富利是全球領(lǐng)先的技術(shù)分銷商和解決方案提供商，在過去一個多世紀(jì)里一直秉持初心，致力于滿足客戶不斷變化的需求。通過遍布全球的專業(yè)化和區(qū)域化業(yè)務(wù)覆蓋，安富利可在產(chǎn)品生命周期的每個階段為客戶和供應(yīng)商提供支持。安富利能夠幫助各種類型的公司適應(yīng)不斷變化的市場環(huán)境，在產(chǎn)品開發(fā)過程中加快設(shè)計和供應(yīng)速度。安富利在整個技術(shù)價值鏈中處于中心位置，這種獨特的地位和視角讓其成為了值得信賴的合作伙伴，能夠幫助客戶解決復(fù)雜的設(shè)計和供應(yīng)鏈難題，從而更快地實現(xiàn)營收。