存儲(chǔ)系統(tǒng)設(shè)計(jì)始終需要在三個(gè)參數(shù)間進(jìn)行權(quán)衡：容量、吞吐量和IOPS。不幸的是，對(duì)于系統(tǒng)工程師而言，存儲(chǔ)組件的物理限制不允許獨(dú)立設(shè)置這三個(gè)參數(shù)-至少不能在硬件中設(shè)置。

這種參數(shù)關(guān)聯(lián)性迫使設(shè)計(jì)人員在容量和性能之間進(jìn)行選擇。你需要更多的吞吐量？你可以部署更多的主軸或SSD控制器，但這會(huì)導(dǎo)致未使用的容量。

如果工作負(fù)載需要為微小數(shù)據(jù)集提供高I / O吞吐量，則會(huì)突顯預(yù)配置IOPS與容量的難題。作為示例，在Azure反饋門(mén)戶(hù)上的評(píng)論說(shuō)明無(wú)法獨(dú)立于Azure托管磁盤(pán)的容量來(lái)提供性能。

軟件定義存儲(chǔ)（SDS）可以解耦這些參數(shù)，通過(guò)在存儲(chǔ)資源和組件之間放置邏輯抽象層。此外，集中式軟件控制平面使云存儲(chǔ)服務(wù)能夠細(xì)粒度地提高容量，通過(guò)在存儲(chǔ)節(jié)點(diǎn)和驅(qū)動(dòng)器之間分布邏輯塊卷和文件共享。

即使超大規(guī)模分布式存儲(chǔ)系統(tǒng)都可以進(jìn)行獨(dú)立優(yōu)化，如下所述，但由于提供它們的成本高昂且需求稀少，因此只有少數(shù)服務(wù)可以支持這種選項(xiàng)。

問(wèn)題的根源和早期解決方案

IOPS與容量之間的關(guān)聯(lián)源于旋轉(zhuǎn)磁盤(pán)和硬盤(pán)磁頭的機(jī)械限制，我們只有四種方法可增加IOPS：

• 更快的轉(zhuǎn)速
• 更高密度磁性介質(zhì)
• 更多讀寫(xiě)頭
• 更大RAM緩存

盡管SSD消除對(duì)吞吐量和I / O的機(jī)械限制，但它們還有其他限制，包括：

• 存儲(chǔ)單元讀取和寫(xiě)入操作的速度
• NAND閃存種大型內(nèi)存塊，這會(huì)導(dǎo)致寫(xiě)放大和訪(fǎng)問(wèn)延遲
• 驅(qū)動(dòng)控制器的吞吐量受嵌入式微控制器單元和內(nèi)存緩沖區(qū)、NAND I / O和SATA接口速度的限制

寫(xiě)入高IOPS工作負(fù)載的傳統(tǒng)方法是在RAID所需的多個(gè)設(shè)備之間分配存儲(chǔ)卷，并添加更大的RAM緩存作為I / O緩沖區(qū)。第一種做法導(dǎo)致未使用的容量，而第二種做法則增加成本。

使用SDS、云服務(wù)獨(dú)立配置IOPS

第一個(gè)使存儲(chǔ)容量與吞吐量分離的產(chǎn)品應(yīng)該是來(lái)自SoliFire的產(chǎn)品，該公司于2015年被NetApp收購(gòu)。SolidFire率先推出服務(wù)質(zhì)量（QoS）功能，該功能對(duì)吞吐量和IOPS執(zhí)行最低、最高和突發(fā)級(jí)別。正如早期描述該架構(gòu)的文章所述，SolidFire為系統(tǒng)中的每個(gè)卷獨(dú)立分配性能和容量。該公司沒(méi)有提供內(nèi)部細(xì)節(jié)，但是在其橫向擴(kuò)展系統(tǒng)中，每個(gè)1U節(jié)點(diǎn)都是分布式控制器的一部分，控制器通過(guò)專(zhuān)用高速后端網(wǎng)絡(luò)連接。該軟件可以根據(jù)需要透明地提高跨多個(gè)節(jié)點(diǎn)的容量，以滿(mǎn)足QoS保證。

雖然云提供商一直對(duì)其服務(wù)的物理硬件以及配置和管理軟件方面保密，但我們知道他們?cè)诶肧olidFire的橫向擴(kuò)展陣列方法，將分布式控制器擴(kuò)展到機(jī)架和Pod規(guī)模。提供商通常會(huì)部署數(shù)百個(gè)相同的存儲(chǔ)服務(wù)器，這些服務(wù)器被聚合到資源池中，以提供不同類(lèi)別（例如塊、文件和對(duì)象）和性能級(jí)別的存儲(chǔ)服務(wù)。例如，Amazon Elastic Block Store（EBS）有多種版本，包括通用SSD（稱(chēng)為gp2和gp3）和預(yù)配置IOPS SSD（稱(chēng)為io1和io2）。

通常，云存儲(chǔ)產(chǎn)品為IOPS層提供不同的容量限制（最小和最大）。然而，在2020年re：Invent 2020大會(huì)上發(fā)布的gp3實(shí)例卻與眾不同，它們使用戶(hù)能夠獨(dú)立增加吞吐量和IOPS，而不必提供更多的塊存儲(chǔ)容量。

gp2和gp3實(shí)例為IOPS性能提供軟上限，據(jù)Amazon稱(chēng)，在給定年份中，99%的時(shí)間提供IOPS性能的10%以?xún)?nèi)。此外，低于1，000 GB的gp2卷至少在30分鐘內(nèi)具有高達(dá)3，000 IOPS的突發(fā)性能，而gp3卷提供至少3，000 IOPS，無(wú)突發(fā)性能功能。相比之下，Amazon表示，預(yù)配置的IOPS io1和io2卷，在一年中的99.9%的時(shí)間內(nèi)提供不到10%的預(yù)配置IOPS性能，且延遲不到10毫秒。當(dāng)與基于AMD的r5 Elastic Compute Cloud實(shí)例結(jié)合時(shí)，io2卷可以為小至4 GB的卷提供高達(dá)260，000 IOPS。

AWS競(jìng)爭(zhēng)對(duì)手提供類(lèi)似的靈活性來(lái)獨(dú)立于容量來(lái)配置IOPS。這些包括：

• Azure Ultra磁盤(pán)，具有幾種固定大小，從4吉字節(jié)（GiB）到64 TB。用戶(hù)可以為每個(gè)GiB設(shè)置最高300 IOPS的限制，每個(gè)磁盤(pán)最多160，000 IOPS。因此，可以為32 GiB卷配置100到9，600 IOPS。
• IBM Cloud可調(diào)節(jié)IOPS，它支持在兩個(gè)服務(wù)層級(jí)范圍內(nèi)無(wú)中斷動(dòng)態(tài)地調(diào)整IOPS容量。 Endurance卷支持的IOPS設(shè)置大于每GB 0.25 IOPS，而Performance（或者說(shuō)分配的IOPS）卷則支持100到48，000 IOPS之間的任何值。

相比之下，大多數(shù)云服務(wù)通過(guò)卷尺寸線(xiàn)性擴(kuò)展IOPS性能。例如，根據(jù)所連接的vCPU的數(shù)量、塊大小和其他參數(shù)，Google Cloud Platform（GCP）SSD Persistent Disks可提供每千兆字節(jié)30個(gè)讀寫(xiě)IOPS，最大為60，000個(gè)讀IOPS。同樣，Oracle Cloud Infrastructure（OCI）Block Higher Performance Volumes可提供每GB 75 IOPS（4，000塊），每卷最多提供35，000 IOPS。因此，如果應(yīng)用程序僅需要128 GB的卷，則GCP SSD可以提供3，840 IOPS，OCI更高的性能可以提供9，600 IOPS，而Amazon EBS io2可以配置為高達(dá)64，000 IOPS。

選擇服務(wù)

大多數(shù)云存儲(chǔ)服務(wù)和陣列供應(yīng)商都通過(guò)容量擴(kuò)展IOPS，因?yàn)轵?qū)動(dòng)器和控制器技術(shù)的技術(shù)局限性要求擴(kuò)展設(shè)備，以提供更大的吞吐量和IOPS容量。但是，對(duì)于某些應(yīng)用程序，工作集和I / O吞吐量要求不是線(xiàn)性擴(kuò)展。

例如，正如AWS在其有關(guān)EBS gp3卷的博客中指出的那樣，某些應(yīng)用程序（例如MySQL和Hadoop）需要高性能但不需要高存儲(chǔ)容量。同樣，可以通過(guò)減少存儲(chǔ)延遲和增加IOPS來(lái)加速基于微服務(wù)的應(yīng)用程序，這些應(yīng)用程序的工作集可能很小，并且有很多事務(wù)處理到共享存儲(chǔ)池。在這種情況下，EBS io2或gp3等云服務(wù)或NetApp SolidFire等存儲(chǔ)產(chǎn)品（不會(huì)將更快的IOPS耦合到更大的卷）將為你帶來(lái)更好的性能。
責(zé)編AJX