在介紹NVMe SSD的讀IO處理流程之前，需要往下一層到達(dá)PCIe層。無(wú)論是NVMe的命令本身，還是要傳輸?shù)臄?shù)據(jù)，最終都會(huì)被封裝成為T(mén)LP包進(jìn)行傳輸。AIC、U.2以及M.2等形態(tài)的NVMe SSD也都是借助PCIe插槽與host進(jìn)行交互的。

PCI Express Layered Model

上圖就詳細(xì)說(shuō)明了PCIe 協(xié)議中每層的內(nèi)容。后文中我們會(huì)通過(guò)一個(gè)trace記錄，結(jié)合NVMe記錄和TLP包信息對(duì)NVMe的讀I/O進(jìn)行解讀。

NVMe協(xié)議通過(guò)下圖描述了一個(gè)完整的命令處理流程：

本文使用的是《NVM ExpressTM Revision 1.2a》（以下簡(jiǎn)稱(chēng)“NVMe協(xié)議”），嚴(yán)謹(jǐn)起見(jiàn)，在此注明版本，需要說(shuō)明的是不同的NVMe協(xié)議版本在讀操作中沒(méi)有本質(zhì)的不同，也不會(huì)影響到本文的描述。

本文介紹的是NVMe over PCIe的讀I/O，不涉及NVMe over Fabrics或者其他網(wǎng)絡(luò)傳輸。

為了更好的理解上圖中命令處理過(guò)程的細(xì)節(jié)，我們總結(jié)如下：

1. 一個(gè)I/O命令執(zhí)行過(guò)程中，host和SSD是兩個(gè)主角。讀I/O也就是host發(fā)起讀請(qǐng)求，SSD響應(yīng)請(qǐng)求，并且將數(shù)據(jù)寫(xiě)到host指定的內(nèi)存地址上的過(guò)程。

2. Submission Queue 和Completion Queue是host內(nèi)存中的兩個(gè)隊(duì)列，host通過(guò)Submission Queue告知SSD的Controller要處理的命令，Controller通過(guò)Completion Queue告知Host已經(jīng)被處理完畢的命令以及這些命令執(zhí)行的狀態(tài)。需要補(bǔ)充的是， NVMe的命令分為Admin Command和NVM Command，Admin Command執(zhí)行一些SSD管控操作，比如Namespace管理和固件升級(jí)等，系統(tǒng)中只有一對(duì)Admin Submission Queue和Admin Completion Queue；NVM Command用于執(zhí)行讀寫(xiě)等I/O命令，可以有多對(duì)I/O Submission Queue和I/O Completion Queue。

常見(jiàn)的形式如上圖，服務(wù)器CPU每個(gè)核都會(huì)綁定一個(gè)I/O Submission Queue 和一個(gè)I/O Completion Queue，另一方面，隊(duì)列上限也不能超過(guò)Controller的處理能力。

3. Submission Queue Tail Doorbell和Completion Queue Head Doorbell，這是兩個(gè)Controller Registers中的字段，會(huì)映射在host內(nèi)存中。host通過(guò)更新Submission Queue Tail Doorbell映射的內(nèi)存上的記錄，就可以達(dá)到告知SSD有新的命令需要處理，同樣，在命令執(zhí)行尾聲，host也是通過(guò)更新Completion Queue head Doorbell映射的內(nèi)存上的信息而實(shí)現(xiàn)告知SSD命令已經(jīng)執(zhí)行完畢。

4. 至于SSD要把數(shù)據(jù)往內(nèi)存哪段地址上寫(xiě)，怎么寫(xiě)，就要靠PRP或者SGL，下文也會(huì)對(duì)此解讀。

前文介紹了一些概念和部分操作細(xì)節(jié)，接下來(lái)是更為形象和深入的解讀。在此我們還要借助協(xié)議分析儀，分析儀的職責(zé)是將host和SSD傳輸?shù)?和1翻譯成人話(huà)，借助支持NVMe協(xié)議的分析儀，我們獲得了一條讀I/O的Trace記錄，如下圖（每行信息記錄都可以進(jìn)一步展開(kāi)看到相應(yīng)的TLP包和DLLP包的信息）：

分析儀可以對(duì)host和SSD之間傳輸?shù)臄?shù)據(jù)進(jìn)行解析，并按照PCIe和NVMe的規(guī)范進(jìn)行展示。有了這張圖，我們就可以更為直觀的看到每一步host和SSD都做了什么。接下來(lái)就開(kāi)始了。首先是這條命令執(zhí)行過(guò)程信息的概覽。

可以看出，這次我們使用的設(shè)備是一個(gè)3.2TB的PBlaze5 916 NVMe SSD（以下簡(jiǎn)稱(chēng)為“PBlaze5”）。host從SSD上讀出了1024dwords（4KiB）數(shù)據(jù)，這段數(shù)據(jù)在SSD上起始地址（SLBA）是0x8，一共8個(gè)LBA（NLB=0x7，這一參數(shù)為0‘s based value）。數(shù)據(jù)將從SSD傳輸?shù)?xFEB84000（PRP1）這個(gè)地址上，最終這個(gè)操作成功了（SC為Successful Completion）。

名詞&概念

SLBA（Starting LBA）：數(shù)據(jù)在SSD上的起始地址，這里的值是0x8。

NLB（Number of Logical Blocks）：讀取數(shù)據(jù)的blocks數(shù)，這里的值是0x7，需要指出的是這是一個(gè)0’s based value，所以最終傳的是8個(gè)block。

NSID（Namespace Identifier）：指明了此次讀操作的namespace id，這里值為0x1。

命令信息被存放在ID為0x004C的Submission Queue（SQID）中，SSD處理完畢的信息會(huì)存放在ID為0x004C的Completion Queue（CQID）中。此外，這條記錄還標(biāo)注出了SSD在服務(wù)器上的ID（Device ID）等信息。

第一步：host準(zhǔn)備一條命令，并將之加入到內(nèi)存中的Submission Queue中。這步屬于host自身的行為，還沒(méi)有開(kāi)始和SSD交換數(shù)據(jù)。

第二步：host告知SSD有新的待處理。這步操作包含很多細(xì)節(jié)，前文說(shuō)過(guò)，SQyTDBL（Submission Queue y Tail Doorbell）是Controller Registers信息，映射在host的BAR 0空間中，其具體的地址是0xC6421260，這步中，host更新了這個(gè)地址中的值，將Submission Queue中有新紀(jì)錄的信息告知了SSD。

上圖展示了host更新SQyTDBL的細(xì)節(jié)。第一行是NVMe協(xié)議層面的內(nèi)容，下面則是具體的TLP包信息和ACK信息。到這SSD終于知道了有新的需求。

第三步。SSD取Command。從上文可知，命令具體內(nèi)容被存放在Submission Queue中，SSD也知道了有新的命令需要處理，這里SSD首先發(fā)起一個(gè)Memory Read的請(qǐng)求。

host把命令內(nèi)容信息通過(guò)另一個(gè)TLP包返回給SSD。一個(gè)Submission Queue記錄是64byte，所以，可以看到一共傳輸了16個(gè)dwords，共64Bytes。而這16dwords中的內(nèi)容翻譯出來(lái)就是第一行NVMe 的內(nèi)容，可以看到命令的地址、隊(duì)列和命令的ID、操作類(lèi)型（OPC）、數(shù)據(jù)的地址、以及SSD在系統(tǒng)中的Device ID都在其中了。有了這些內(nèi)容，SSD就可以往指定的內(nèi)存地址上寫(xiě)數(shù)據(jù)了。

第四步：SSD處理Command。對(duì)于host來(lái)講，這是一個(gè)讀取數(shù)據(jù)的操作。對(duì)于SSD來(lái)講，就需要將相應(yīng)的數(shù)據(jù)（SLBA為0x8，NLB為0x7）使用DMA的方式寫(xiě)到指定的內(nèi)存地址（PRP1 Address為0xFEB84000）上。

系統(tǒng)的MaxPayloadSize為256bytes，超過(guò)就需要分開(kāi)傳輸。所以這段1024dwords（4KiB）數(shù)據(jù)傳輸操作被拆分成了16個(gè)64dwords（256bytes）的TLP包。另一個(gè)重要的概念是PRP（Physical Region Page），本例中PRP1是一個(gè)host內(nèi)存中的地址——0xFEB84000。SSD從內(nèi)存的0xFEB84000開(kāi)始寫(xiě)，最后一個(gè)TLP包的起始地址是0xFEB84F00。

NVMe規(guī)定了PRP和SGL兩種數(shù)據(jù)傳輸方式，后者在NVMe over Fabrics中使用比較普遍，這里不再贅述。采用PRP方式的I/O命令都會(huì)有PRP1和PRP2兩個(gè)地址，它們可以指向一個(gè)內(nèi)存地址，也可以是一個(gè)物理地址列表，被稱(chēng)為PRP list，如果傳輸數(shù)據(jù)量超過(guò)兩個(gè)內(nèi)存頁(yè)，就需要PRP list指明數(shù)據(jù)存放的地址。本文中例子數(shù)據(jù)量為4KiB，恰好為Linux的1個(gè)內(nèi)存頁(yè)大小，所以使用PRP1傳一個(gè)物理地址就可以。更為復(fù)雜的PRP記錄規(guī)范，可以參看NVMe協(xié)議的《Physical Region Page Entry and List》等內(nèi)容。

第五步，到現(xiàn)在，SSD已經(jīng)把數(shù)據(jù)傳到了host指定的內(nèi)存地址上。SSD會(huì)把命令執(zhí)行的狀態(tài)總結(jié)成為一條記錄添加在Completion Queue中，具體的操作就是SSD向host內(nèi)存的Completion Queue中添加一個(gè)4dwords（16bytes）的記錄。

上圖中NVMe返回的信息可見(jiàn)，SSD成功的完成了寫(xiě)，并在Status Code（SC）中記下Successful Completion的信息。如果整個(gè)命令過(guò)程有錯(cuò)誤出現(xiàn)，那么SC也會(huì)記錄下相應(yīng)的錯(cuò)誤信息。

第六步，SSD發(fā)起中斷，通知host處理Completion Queue中的記錄。數(shù)據(jù)傳輸完畢，執(zhí)行狀態(tài)也記錄在了Completion Queue中，SSD通過(guò)MSI-X中斷告知host做進(jìn)一步的處理。

第七步。host會(huì)處理相應(yīng)的Completion Queue中的記錄。但是這部分細(xì)節(jié)發(fā)生在host內(nèi)部，分析儀的trace記錄不會(huì)捕捉到具體內(nèi)容。

第八步。Host更新內(nèi)存中Completion Queue y Head Doorbell信息，相應(yīng)的Controller Registers中Doorbell信息也會(huì)進(jìn)行更新。至此，一個(gè)讀I/O已經(jīng)處理完畢。

NVMe協(xié)議中還規(guī)定了很多其他的命令，根據(jù)其命令類(lèi)型不同，返回值和對(duì)內(nèi)存的操作也各不相同，但原理和本文中介紹的讀I/O相似，相信看完本文，您可以觸類(lèi)旁通，理解NVMe 協(xié)議中host和SSD的交互機(jī)制