1、從ZNS說(shuō)起

Zone Namespace（ZNS）在2020年開(kāi)始廣泛討論，2021年在NVMe協(xié)議組織基本定稿發(fā)布。ZNS對(duì)于存儲(chǔ)系統(tǒng)或者云系統(tǒng)，在系統(tǒng)側(cè)可控制IO在SSD內(nèi)的具體寫(xiě)入位置，通過(guò)系統(tǒng)側(cè)的主動(dòng)垃圾回收（Garbage Collection，簡(jiǎn)稱(chēng)GC），將SSD內(nèi)的GC削減到0。一方面，可以減少系統(tǒng)和SSD兩層GC帶來(lái)的寫(xiě)放大和讀寫(xiě)沖突，延長(zhǎng)盤(pán)片使用壽命，也保證系統(tǒng)帶寬和QoS。另一方面，由于SSD內(nèi)基本不需要GC，可以減少SSD內(nèi)的冗余空間（Over-Provisioning，簡(jiǎn)稱(chēng)OP），使OP基本減到零，對(duì)于SSD內(nèi)部管理表項(xiàng)也帶來(lái)簡(jiǎn)化，從而削減企業(yè)級(jí)SSD的DRAM。

對(duì)于系統(tǒng)應(yīng)用來(lái)說(shuō)，一邊能保性能，一邊能降成本增壽命，這么兩全其美的好處，立即得到了Flash Memory Summit（FMS）、Open Compute Project（OCP）等組織和技術(shù)社區(qū)熱議。但是，技術(shù)上只談好處，不談開(kāi)銷(xiāo)是不合理的。筆者認(rèn)為，ZNS主要的開(kāi)銷(xiāo)是在系統(tǒng)側(cè)“做得太多”。

ZNS要求單個(gè)Zone之內(nèi)的LBA地址，必須是嚴(yán)格順序追加寫(xiě)的，與SSD寫(xiě)Flash的方式相對(duì)應(yīng)。系統(tǒng)應(yīng)用的管理粒度需要與Zone大小對(duì)齊，按Zone粒度進(jìn)行寫(xiě)入和回收。這樣，使得系統(tǒng)對(duì)SSD的操作方式，與SSD操作NAND的方式相符，SSD將Zone粒度映射到NAND的Block粒度，即可達(dá)成零GC的操作。

那么問(wèn)題來(lái)了，嚴(yán)格順序追加寫(xiě)對(duì)系統(tǒng)應(yīng)用帶來(lái)的約束太大。如果按ZNS定義的傳統(tǒng)寫(xiě)方式，系統(tǒng)對(duì)單個(gè)Zone操作的Queue Depth只能是1，即對(duì)一個(gè)Zone只能做串行寫(xiě)，這對(duì)系統(tǒng)處理的約束很大。后來(lái)ZNS增加Append方式和ZRWA方式作為補(bǔ)充，改善了對(duì)追加寫(xiě)的約束，系統(tǒng)用起來(lái)還是會(huì)有些別扭。此外，對(duì)于SSD寫(xiě)異常，由于是嚴(yán)格順序追加，系統(tǒng)也需要與SSD同步出錯(cuò)Zone的寫(xiě)位置，Zone能否繼續(xù)追加等信息，才能進(jìn)行后續(xù)的策略處理。

SSD要獲得零GC收益，必須將Zone粒度和NAND的Block粒度對(duì)齊。NAND廠家基于工藝和成本考慮，不同廠家、不同代次的NAND Flash，Block大小均不相同。隨著NAND廠家工藝疊層的增加，NAND Block大小持續(xù)增大，目前Block大小已基本超過(guò)100MB。這已經(jīng)比系統(tǒng)應(yīng)用一般的文件或者塊管理粒度要大得多。如果系統(tǒng)應(yīng)用只通過(guò)Zone跟單Block對(duì)齊，要跑滿(mǎn)SSD性能，系統(tǒng)應(yīng)用還需知道Zone和NAND通道、Die的物理拓?fù)潢P(guān)系，才能用滿(mǎn)NAND并發(fā)。如果系統(tǒng)應(yīng)用希望單Zone能跑滿(mǎn)SSD性能，SSD實(shí)現(xiàn)需要將多個(gè)通道/Die的Block綁定成一個(gè)Zone，這樣單Zone容量都到達(dá)GB級(jí)別了。此外，SSD盤(pán)內(nèi)的靜態(tài)Wear Leveling、NAND Data Retention/Disturb等場(chǎng)景，都需要通知系統(tǒng)進(jìn)行搬移。

對(duì)消費(fèi)級(jí)的單盤(pán)系統(tǒng)（如手機(jī)、筆記本電腦等），本身存儲(chǔ)性能和QoS要求不高，在系統(tǒng)應(yīng)用算力有剩余情況下，這些約束都可以接受。譬如蘋(píng)果手機(jī)通過(guò)類(lèi)ZNS方式獲得了令人驚訝的用戶(hù)體驗(yàn)。但對(duì)于企業(yè)級(jí)或者云場(chǎng)景的多盤(pán)存儲(chǔ)系統(tǒng)，情況會(huì)更為復(fù)雜。存儲(chǔ)系統(tǒng)需要考慮多供應(yīng)、壞盤(pán)替換、利舊等場(chǎng)景，很難保證一個(gè)存儲(chǔ)池內(nèi)都是同NAND廠家同代次的SSD。這樣系統(tǒng)側(cè)就會(huì)面對(duì)多種Zone粒度的管理，對(duì)存儲(chǔ)系統(tǒng)進(jìn)行多備份、EC條帶選擇、垃圾回收等方面設(shè)計(jì)考慮，都會(huì)變得更為困難。

2、由多流演進(jìn)而來(lái)

2021年，Google帶著Flexible Data Placement（FDP）的概念和自研的Smart FTL應(yīng)用進(jìn)行宣講，并聯(lián)合Meta在2022年逐步把FDP推入到NVMe標(biāo)準(zhǔn)協(xié)議。近期，F(xiàn)DP議題在OCP進(jìn)行了多次演進(jìn)和討論，逐步得到業(yè)界的重視。同樣是為了追求削減SSD GC，降低寫(xiě)放大為目標(biāo)。FDP和ZNS走的倒是不同的路線(xiàn)。

ZNS沿著Open Channel的路線(xiàn)演進(jìn)，Open Channel方式本身是把NAND Flash操作向系統(tǒng)應(yīng)用呈現(xiàn)，通過(guò)系統(tǒng)直接控制NAND Flash操作來(lái)極大化利用NAND。這樣的問(wèn)題是，系統(tǒng)應(yīng)用需要知道SSD上的NAND具體操作方式和物理拓?fù)?，NAND代次演進(jìn)和廠家差異，系統(tǒng)應(yīng)用也需要進(jìn)行適配。ZNS是在這基礎(chǔ)上進(jìn)行一層抽象，抽象成Zone粒度和追加寫(xiě)方式，把NAND Flash具體操作和粒度進(jìn)行了一層屏蔽。

Multi-Stream多流則是在標(biāo)準(zhǔn)命令接口上，添加數(shù)據(jù)的冷熱度標(biāo)識(shí)，由SSD對(duì)數(shù)據(jù)進(jìn)行分類(lèi)存放和GC，來(lái)減少SSD的寫(xiě)放大，這對(duì)系統(tǒng)就容易適配多了。SSD在支持多流情況下，也是需要做GC的，這樣只能一定程度的削減OP，譬如從3DWPD盤(pán)改為1DWPD盤(pán)就能符合系統(tǒng)應(yīng)用；另外，系統(tǒng)應(yīng)用層面的GC和SSD層面GC沖突，會(huì)帶來(lái)QoS不利影響。后來(lái)IO Determinism主要在于通過(guò)NVM Set對(duì)SSD空間進(jìn)行劃分和性能隔離，通過(guò)Deterministic Window (DTWIN)和Non-Deterministic Window (NDWIN)的機(jī)制交互，讓系統(tǒng)應(yīng)用知道SSD的NVM Set的QoS狀態(tài)，系統(tǒng)按一定規(guī)則可以得到確定性時(shí)延。與Open Channel路線(xiàn)相比，多流路線(xiàn)更看重系統(tǒng)和SSD盤(pán)片的解耦，以及系統(tǒng)應(yīng)用的向下兼容。由此也更容易獲得系統(tǒng)應(yīng)用的支持和落地。FDP就是在此路線(xiàn)上做進(jìn)一步精細(xì)化演進(jìn)。

3、FDP是什么

從FDP的操作模型來(lái)看，F(xiàn)DP是在IO寫(xiě)命令上，使用Directive Specific (DSPEC)字段（也是stream標(biāo)識(shí)字段），來(lái)標(biāo)識(shí)Reclaim Group和Placement Handle。Placement Handle在SSD內(nèi)映射到Reclaim Unit Handle。這協(xié)議一下子就整了很多名詞，實(shí)際上，F(xiàn)DP在SSD內(nèi)就是圍繞Reclaim Group和Reclaim Unit進(jìn)行操作。

SSD可以將并發(fā)NAND拓?fù)鋭澐譃槎鄠€(gè)Reclaim Group，做成Reclaim Group間性能隔離。將SSD內(nèi)的NAND物理block（或者Super block），劃為Reclaim Unit。那么，Reclaim Unit Handle指向不同的Reclaim Unit，可以理解成寫(xiě)入不同的NAND物理block的寫(xiě)指針。從系統(tǒng)應(yīng)用看來(lái)，就是在標(biāo)準(zhǔn)IO寫(xiě)時(shí)，通過(guò)DSPEC標(biāo)識(shí)，指定寫(xiě)入到特定性能隔離區(qū)域Reclaim Group里面，放置到按類(lèi)別（不同業(yè)務(wù)類(lèi)型或者冷熱度）區(qū)分的Reclaim Unit（即NAND block）。

與ZNS不同，F(xiàn)DP的寫(xiě)方式并沒(méi)有與Reclaim Unit對(duì)齊，而且FDP是允許SSD盤(pán)內(nèi)GC的。這樣，SSD盤(pán)片在NAND異常處理的主動(dòng)權(quán)就大得多。FPD定義Reclaim Unit Open時(shí)間，超過(guò)時(shí)間會(huì)造成Reclaim Unit切換。而且，SSD盤(pán)內(nèi)由于異常處理等原因造成的Reclaim Unit切換都要事件上報(bào)。這樣看，F(xiàn)PD就是要求更嚴(yán)格的多流或者IOD模式。

但是，F(xiàn)DP通過(guò)一些機(jī)制，避免與系統(tǒng)應(yīng)用GC沖突，盡量減少SSD盤(pán)內(nèi)GC。FDP定義Estimated Reclaim Unit Time Limit (ERUTL)，用于表示Reclaim Unit寫(xiě)入后到被SSD盤(pán)內(nèi)主動(dòng)回收的時(shí)間。在未到時(shí)間前，系統(tǒng)應(yīng)用主動(dòng)回收，就不會(huì)觸發(fā)SSD盤(pán)內(nèi)GC。事實(shí)上，對(duì)系統(tǒng)應(yīng)用中的熱數(shù)據(jù)或者前臺(tái)寫(xiě)入數(shù)據(jù)，在一定時(shí)間內(nèi)系統(tǒng)應(yīng)用進(jìn)行整理回收。而系統(tǒng)中的冷數(shù)據(jù)，系統(tǒng)應(yīng)用不會(huì)搬移，SSD內(nèi)部會(huì)根據(jù)NAND特性主動(dòng)進(jìn)行GC和Wear Leveling。對(duì)于SSD應(yīng)用能力較強(qiáng)的系統(tǒng)，可以通過(guò)感知Reclaim Unit粒度，根據(jù)Reclaim Unit制定系統(tǒng)GC策略，從而獲得更好的效果。FDP通過(guò)與系統(tǒng)間的模糊策略交互，使SSD盤(pán)只有弱GC，減少寫(xiě)放大，降低SSD盤(pán)的OP。同時(shí)也減少系統(tǒng)和SSD兩層GC沖突，保障系統(tǒng)側(cè)的時(shí)延和QoS。

OCP的會(huì)議觀點(diǎn)中認(rèn)為，F(xiàn)DP具有比較好的向后兼容能力：1）FDP可以在標(biāo)準(zhǔn)設(shè)備中激活；2）應(yīng)用在不理解FDP的情況下也可獲得收益；3）理解FDP的應(yīng)用可以獲得更多收益。不修改應(yīng)用情況下，將不同應(yīng)用或者不同Namespace分配到不同Reclaim Unit Handle即可獲得收益。

FDP的提案TP4146已經(jīng)在2022年底通過(guò)NVMe正式批準(zhǔn)。FDP也在逐步合入Linux Kernel、xNVMe等各大開(kāi)源平臺(tái)中（如下圖），接下來(lái)就看應(yīng)用軟件對(duì)接的發(fā)展了。

4、結(jié)語(yǔ)

西部數(shù)據(jù)專(zhuān)家Dave Landsman在OCP會(huì)議研討中，給出的FDP和ZNS的比較如下：

如何獲得系統(tǒng)最大收益，系統(tǒng)和SSD盤(pán)間如何解耦。在系統(tǒng)和SSD盤(pán)片垂直整合發(fā)展過(guò)程中，這兩個(gè)問(wèn)題如何權(quán)衡，如何獲得一個(gè)更好的平衡點(diǎn)。在技術(shù)界會(huì)伴隨FDP和ZNS的演進(jìn)，繼續(xù)討論下去。

5、參考文獻(xiàn)

• TP4146a Flexible Data Placement, NVMe

• NVM Express Zoned Namespace Command Set Specification, NVMe

• SmartFTL SSDs, OCP Global Summit 2021

• Flash Innovation: Flexible Data Placement, OCP Global Summit 2022

• Flexible Data Placement using NVM Express Implementation Perspective, OCP Global Summit 2022

• Flexible Data Placement from the NVM Express Perspective, OCP Global Summit 2022

• Flexible Data Placement, 2023 OCP Storage Tech Talks

長(zhǎng)按識(shí)別關(guān)注更多憶聯(lián)資訊

了解更多：

NAND Flash 原理深度解析（上）

NAND Flash 原理深度解析（下）

新盤(pán)入手必讀|四款主流固態(tài)硬盤(pán)檢測(cè)工具科普