本人調(diào)試是將DSP作為RC端，FPGA作為EP端，且下文是對(duì)DSP代碼的講解。本人調(diào)試參考代碼是D: ipdk_C6678_1_1_2_6packages idrvexampleProjectsPCIE_exampleProject。本文所指的PCIE手冊(cè)為TI公司C6678的pcie技術(shù)手冊(cè)，全名為 KeyStone Architecture Peripheral Component Interconnect Express (PCIe).pdf

（1）outbound和inbound的理解：

哪一端發(fā)起請(qǐng)求哪一端就是outbound。一端是outbound，另一端就是inbound。

對(duì)于outbound來(lái)說(shuō)，可以發(fā)出寫(xiě)請(qǐng)求和讀請(qǐng)求。當(dāng)作為RC端的DSP對(duì)0X60000000發(fā)起寫(xiě)請(qǐng)求時(shí)，RC發(fā)出outbound的寫(xiě)請(qǐng)求，將數(shù)據(jù)傳送給作為EP端的FPGA。當(dāng)作為RC端的DSP對(duì)0X60000000發(fā)起讀請(qǐng)求時(shí)，RC發(fā)出outbound的讀請(qǐng)求，作為EP端的FPGA先收到讀請(qǐng)求然后將數(shù)據(jù)發(fā)給RC端的DSP。

錯(cuò)誤理解：簡(jiǎn)單地將數(shù)據(jù)出去理解為outbound，數(shù)據(jù)進(jìn)去理解為inbound。

DSP存在PCIE_DATA 0x60000000~0x6FFFFFFF這段地址。在這段地址中寫(xiě)數(shù)據(jù)會(huì)觸發(fā)outbound寫(xiě)機(jī)制，在這段地址中讀數(shù)據(jù)會(huì)觸發(fā)outbound讀機(jī)制。0x60000000該地址在outbound轉(zhuǎn)換機(jī)制中為DSP內(nèi)部總線地址。

（2）對(duì)EP端（遠(yuǎn)程配置空間）BUS_MS和MEM_SP的配置

RC端對(duì)EP發(fā)出outbound寫(xiě)時(shí)，RC端的DSP必須把作為EP端FPGA的BUS_MS和MEM_SP置為1，否則EP端無(wú)法收到數(shù)據(jù)。BUS_MS為設(shè)置總線控制權(quán)，MEM_SP為設(shè)置存儲(chǔ)器訪問(wèn)權(quán)限，具體可見(jiàn)pcie手冊(cè)3-63頁(yè)。

（3）對(duì)EP端（遠(yuǎn)程配置空間）BAR的配置

本地配置空間地址 0x21801000，遠(yuǎn)程配置空間地址 0x21802000，見(jiàn)pcie手冊(cè)45頁(yè)。

在PCIE手冊(cè)中沒(méi)有關(guān)于remote configuration space中具體的寄存器介紹。但是其和local configuration space中寄存器順序是一樣的，只是偏移量將0x1000改成了0x2000。

從偏移地址上可以看出BAR0和BAR0_MASK地址是一樣的。在DSP端，當(dāng)DBI=1時(shí)，此時(shí)寫(xiě)入的值為bar的范圍大小(bar_mask)。當(dāng)DBI=0時(shí)，此時(shí)寫(xiě)入的值為bar的地址(bar)。（DBI在CMD_STSTUS中，DBI默認(rèn)值為0）詳細(xì)寄存器見(jiàn)pcie手冊(cè)的3.2、3.3、3.4章節(jié)的寄存器，同時(shí)偏移量也可見(jiàn)FPGA的pcie gen3手冊(cè)。

RC端無(wú)法配置EP端bar mask的大小，只能配置bar的地址。RC端配置的bar基地址會(huì)因?yàn)镋P端配置的bar大小而改變。例如：bar_mask=8MB，那么配置的bar地址的0~22會(huì)置為0。

配置遠(yuǎn)程EP端bar0的具體代碼如下圖所示。在TLP過(guò)濾中，bar接收到的數(shù)據(jù)包頭中存在type這一標(biāo)志位。type=0對(duì)應(yīng)于EP的configuration space，type=1對(duì)應(yīng)于RC的configuration space。故選擇對(duì)type0Bar32bitIdx進(jìn)行配置。idx選擇0表示配置bar0。DBI默認(rèn)為0，直接將數(shù)值寫(xiě)入bar0，即為bar0的地址。

（4）DSP作RC端，F(xiàn)PGA作EP端時(shí)inbound和outbound地址轉(zhuǎn)換

詳細(xì)的地址轉(zhuǎn)換過(guò)程可見(jiàn)pcie手冊(cè)2.7節(jié)。

首先需要說(shuō)明的是inbound和outbound機(jī)制是DSP獨(dú)有的，F(xiàn)PGA側(cè)不存在inbound和outbound機(jī)制。實(shí)際上，在PCIE通信鏈路中的數(shù)據(jù)幀中不僅包含發(fā)送的數(shù)據(jù)，還包含PCIE地址，數(shù)據(jù)類型和數(shù)據(jù)長(zhǎng)度等。由于DSP存在inbound和outbound機(jī)制，故不需要人為的依據(jù)PCIE通信的規(guī)范去組幀和解幀，只需配置好inbound和outbound機(jī)制所需的寄存器。

下面根據(jù)代碼具體解釋一下inbound和outbound的轉(zhuǎn)換計(jì)算過(guò)程。

(a) outbound配置如下所示：

由Pcie_getMemSpaceRange (handle, &pcieBase, NULL))函數(shù)可以得到pcieBase的地址為0x60000000，此地址即為內(nèi)部總線地址。關(guān)于此地址的詳細(xì)介紹可以見(jiàn)本位第一章節(jié)。

內(nèi)部總線地址=0x60000000

OB_SIZE= pcie_OB_SIZE_8MB=3

OB_OFFSET_HI= PCIE_OB_HI_ADDR_M=0

PCIE_OB_REGION_M=0 對(duì)應(yīng)于下面的index0，即使用outbound的region 0。

OB_OFFSET_INDEX0= PCIE_OB_LO_ADDR_M=0x70000000

注：第一個(gè)參數(shù)為PCIE手冊(cè)中所用參數(shù)名，第二個(gè)參數(shù)為樣例代碼中所用參數(shù)名。

OB_SIZE=3，故取內(nèi)部總線地址0x60000000的[27:23]位，即index=0

PCIe基地址=OB_OFFSETn_HI+OB_OFFSETn_INDEXn[31:23]

=0+0x70000000[32:23]

PCIe總地址=PCIe基地址+內(nèi)部總線地址[22:0]

=0x70000000[32:23]+ 0x60000000[22:0]

=0X70000000

即傳到PCIE鏈路中的地址為0x70000000，可以看到的是由于OB_SIZE為8M(因?yàn)?M=810241024=2^23 所以取0-22位 ) ，所以要是一次性傳輸?shù)臄?shù)據(jù)量超過(guò)8M的話，要么多次傳輸，要么再加個(gè)region傳輸。

而這個(gè)0x70000000又正好是本文第三章給遠(yuǎn)程FPGA配置bar0的地址，故FPGA可以收到DSP發(fā)送的數(shù)據(jù)。

(b) inbound配置如下所示：

指定bar1的地址為0x90000000，且為32位bar。

將bar1綁定給inbound機(jī)制，且使用region 0

pcieConvert_CoreLocal2GlobalAddr（）作用是將本地地址轉(zhuǎn)換為全局地址。在6678中一共有8個(gè)核，對(duì)于核0來(lái)說(shuō)L2 SRAM本地起始地址為0x00800000，L2 SRAM全局起始地址為0x10800000，兩者差值為0x10000000。

IB_START1_HI = PCIE_IB_HI_ADDR_M=0

IB_START1_LO = PCIE_IB_LO_ADDR_M=0x90000000

IB_OFFSET1 = dstBuf.buf的全局地址

注：第一個(gè)參數(shù)為PCIE手冊(cè)中所用參數(shù)名，第二個(gè)參數(shù)為樣例代碼中所用參數(shù)名。

PCIe地址偏移量=PCIe地址 -（IB_STARTn_HI：IB_STARTn_LO）

= PCIe地址 – 0x90000000

內(nèi)部總線地址=IB_OFFSETn+ PCIe地址偏移量

= dstBuf.buf的全局地址+ PCIe地址 – 0x90000000

我們將內(nèi)部總線設(shè)為dstBuf.buf的全局地址，即將從FPGA側(cè)收到的數(shù)據(jù)存放在dstBuf.buf中。由此我們可以計(jì)算出PCIE地址：

dstBuf.buf的全局地址= dstBuf.buf的全局地址+ PCIe地址 – 0x90000000

PCIe地址=0x90000000

FPGA側(cè)將這里計(jì)算出來(lái)的PCIE地址用在發(fā)送數(shù)據(jù)時(shí)的組幀過(guò)程里，DSP側(cè)就可以從dstBuf.buf這個(gè)變量地址里讀到FPGA側(cè)發(fā)過(guò)來(lái)的數(shù)據(jù)。

編輯：黃飛

?