本篇論文是Facebook（Meta）公司發(fā)表在ASPLOS 2022上的文章。隨著數(shù)據(jù)中心級應(yīng)用對內(nèi)存需求的不斷增長，導(dǎo)致DRAM的成本成為數(shù)據(jù)中心的主要開銷。為了解決這個問題，現(xiàn)有的思路是將冷數(shù)據(jù)卸載到其他替代介質(zhì)中，如NVMe SSDs和其他非易失性設(shè)備。其中關(guān)鍵的挑戰(zhàn)是要設(shè)計出具有足夠魯棒性的方法來適應(yīng)不同特性的工作負(fù)載和不同的后端存儲設(shè)備。這篇文章提出的TMO引入了一種新型的Linux內(nèi)核機(jī)制來實時檢測由于CPU、內(nèi)存和IO的資源短缺導(dǎo)致的工作丟失。

通過這一信息，TMO可以根據(jù)設(shè)備性能特性和應(yīng)用對內(nèi)存訪問降速的敏感型來自動決定卸載多少內(nèi)存數(shù)據(jù)到異構(gòu)設(shè)備中。同時為了最大化內(nèi)存節(jié)省，TMO同時考慮了匿名頁和文件頁，并根據(jù)匿名頁的換入率和文件頁的重載率來進(jìn)行均衡。目前TMO已經(jīng)在數(shù)據(jù)中心中運行超過一年，并節(jié)省了20%-32%的內(nèi)存。TMO已經(jīng)成功編入Linux內(nèi)核中了。

背景

隨著如今數(shù)據(jù)中心對內(nèi)存需求的增長，數(shù)據(jù)中心中內(nèi)存的開銷越來越大。圖1展示了在Facebook數(shù)據(jù)中心中內(nèi)存、壓縮內(nèi)存和SSD存儲的開銷?？梢园l(fā)現(xiàn)內(nèi)存的開銷占比越來越高，而其因此如何降低內(nèi)存開銷成為了重要的難題。而與此同時數(shù)據(jù)中心中每個服務(wù)器都配備了一個性能好的SSD，而SSD的開銷占比僅為1%，因此如何利用SSD進(jìn)行內(nèi)存擴(kuò)充成為關(guān)鍵。

圖1：數(shù)據(jù)中心中內(nèi)存、壓縮內(nèi)存和SSD的開銷占比

動機(jī)和挑戰(zhàn)

圖2展示了內(nèi)存中在過去1分鐘、2分鐘、5分鐘被訪問的數(shù)據(jù)量占比，同時也展示了五分鐘內(nèi)未被訪問的數(shù)據(jù)占比?？梢园l(fā)現(xiàn)其中冷內(nèi)存數(shù)據(jù)（5分鐘內(nèi)未被訪問）占比平均約35%，這些冷內(nèi)存數(shù)據(jù)即為內(nèi)存所需要卸載的數(shù)據(jù)。同時還發(fā)現(xiàn)冷內(nèi)存數(shù)據(jù)在不同應(yīng)用中的占比不同，從19%到62%。這就需要設(shè)計一個魯棒性強(qiáng)的技術(shù)來進(jìn)行內(nèi)存卸載。

圖2：應(yīng)用在1分鐘、2分鐘、5分鐘內(nèi)訪問和5分鐘內(nèi)未訪問內(nèi)存數(shù)據(jù)占比

為了簡化數(shù)據(jù)中心應(yīng)用的操作，有很大一部分內(nèi)存需要用來激活微服務(wù)和提供基礎(chǔ)功能。文章中將數(shù)據(jù)中心內(nèi)存稅定義為軟件包、分析、日志和和其他支持?jǐn)?shù)據(jù)中心軟件功能所需要占用的內(nèi)存，同時將微服務(wù)內(nèi)存稅定義為應(yīng)用程序由于需要分解為微服務(wù)所需要占用的內(nèi)存，如支持導(dǎo)航和代理。圖3展示了數(shù)據(jù)中心稅和微服務(wù)稅在內(nèi)存中的占比?？梢园l(fā)現(xiàn)占比非常高，而這些內(nèi)存稅相較于應(yīng)用直接訪問的內(nèi)存數(shù)據(jù)而言影響用戶體驗較小。因此這些內(nèi)存稅是內(nèi)存主要需要卸載的對象。

圖3：內(nèi)存稅及其中各部分的占比

圖4展示了文件頁和匿名頁所占內(nèi)存的比例?？梢园l(fā)現(xiàn)其中文件頁和匿名頁所占比例在不同應(yīng)用中差異較大，這也使得在設(shè)計交換策略的時候需要綜合考慮文件頁和匿名頁的需求，從而最大化節(jié)省內(nèi)存。

圖4：文件頁和匿名頁占用內(nèi)存的比例

圖5展示了市面上不同SSD在壽命、讀寫延遲和讀寫IOPS之間的差異性?？梢园l(fā)現(xiàn)不同SSD之間的差異很大，這就使得在設(shè)計交換策略的時候要考慮這個差異性，要使得其在不同SSD作為后端存儲設(shè)備時都能表現(xiàn)優(yōu)異。

圖5：以對數(shù)為刻度展示SSD的特性。A-G指代不同的SSD

設(shè)計

TMO的目的是為了將冷數(shù)據(jù)卸載到后端存儲上，并適用于不同應(yīng)用和后端存儲。為了實現(xiàn)這一目的TMO回答了在內(nèi)存卸載時需要卸載多少數(shù)據(jù)以及卸載哪些數(shù)據(jù)。圖6展示了TMO的整體架構(gòu)圖。其中TMO提出了用戶層組件senpai（2）來控制內(nèi)存卸載進(jìn)程和決定每個工作負(fù)載需要卸載多少內(nèi)存數(shù)據(jù)，內(nèi)核組件壓力阻塞信息PSI（3）以壓力信息的方式表示應(yīng)用性能下降的原因，并修改了內(nèi)核回收內(nèi)存的邏輯來決定卸載哪些內(nèi)存數(shù)據(jù)。

圖6：TMO的整體架構(gòu)圖

1. PSI：PSI提出根據(jù)進(jìn)程阻塞的時間來判斷該資源對性能下降的敏感程度。如圖7所示，其中some為每個進(jìn)程自己阻塞的時間，full為所有進(jìn)程同時阻塞的時間。PSI可以應(yīng)用于不同的系統(tǒng)資源中，如為了追蹤內(nèi)存壓力，PSI記錄內(nèi)存缺失所出現(xiàn)的時間開銷；IO壓力為每個進(jìn)程因IO阻塞時等待block IO完成的時間；CPU壓力為進(jìn)程運行時等待CPU空閑的時間。

圖7：內(nèi)核資源壓力衡量指標(biāo)

2. Senpai：Senpai根據(jù)PSI來實時衡量工作負(fù)載所需要的內(nèi)存開銷，從而釋放超過這些所需開銷的內(nèi)存。即當(dāng)衡量內(nèi)存壓力的PSI低于閾值的時候，將內(nèi)存中的數(shù)據(jù)卸載到后端存儲中，如圖8所示。同時根據(jù)公式來決定當(dāng)前內(nèi)存中有多少數(shù)據(jù)需要卸載。其中的參數(shù)經(jīng)實驗驗證并不敏感，文中設(shè)置reclaim_ratio為0.0005，PSI_threshold為0.1%。

圖8：Senpai執(zhí)行示例

3. 重載檢測機(jī)制：TMO提出重載率（refault ratio），當(dāng)文件頁在觸發(fā)兩次page fault進(jìn)行換入時的時間間隔低于一個閾值，則判定出現(xiàn)了重載。根據(jù)重載率和匿名頁的換入率進(jìn)行比較，判斷當(dāng)前內(nèi)存對文件頁還是匿名頁更加需要，從而判定卸載文件頁還是匿名頁。文件頁和匿名頁分別使用活躍/非活躍的LRU鏈表進(jìn)行管理。

實驗效果

1. 內(nèi)存節(jié)省效果明顯。文章從應(yīng)用內(nèi)存和內(nèi)存稅兩個角度衡量內(nèi)存節(jié)省結(jié)果，如圖9所示為應(yīng)用所需內(nèi)存角度。當(dāng)壓縮內(nèi)存作為后端存儲時，TMO節(jié)省了7-12%的內(nèi)存；當(dāng)SSD作為后端存儲時，TMO節(jié)省了10-19%的內(nèi)存。同時如圖10所示，TMO節(jié)省了平均13%的內(nèi)存稅。

圖9：應(yīng)用內(nèi)存節(jié)省比率

圖10：內(nèi)存稅節(jié)省比率

文章中還衡量了針對內(nèi)存受限應(yīng)用-web應(yīng)用的性能和內(nèi)存節(jié)省，對PSI指標(biāo)和現(xiàn)在已有指標(biāo)的對比實驗，以及senpai參數(shù)調(diào)整的實驗。同時針對SSD壽命問題，文章中提出通過調(diào)節(jié)內(nèi)存卸載時的寫入速率來避免SSD過度磨損，其中寫入速率設(shè)為1MB/s。具體實驗請大家參閱文章。

總結(jié)

為了解決當(dāng)前數(shù)據(jù)中心內(nèi)存資源開銷大的問題，本文提出TMO應(yīng)用在以SSD和壓縮內(nèi)存作為后端存儲來擴(kuò)充內(nèi)存的場景下。TMO通過進(jìn)程阻塞的時間作為衡量指標(biāo)來判斷當(dāng)前進(jìn)程對資源的需求程度，從而在內(nèi)存資源不緊張的時候?qū)?nèi)存冷數(shù)據(jù)卸載到后端存儲設(shè)備中，來緩解內(nèi)存壓力。同時TMO通過對文件頁重載率和匿名頁換入率的比較來決定卸載什么類型的數(shù)據(jù)。實驗結(jié)果顯示TMO能夠節(jié)省較多的內(nèi)存，同時具有較強(qiáng)的魯棒性，適應(yīng)于不同的負(fù)載和后端存儲介質(zhì)。 ? ? ?

致謝

感謝本次論文解讀者，來自華東師范大學(xué)的博士生羅龍飛，主要研究方向為混合式存儲設(shè)備優(yōu)化。

編輯：黃飛