?

3.5 物理內(nèi)存組織

3.5.1 體系結(jié)構(gòu)

目前多處理器系統(tǒng)有兩種體系結(jié)構(gòu)。

（1）非一致內(nèi)存訪問(wèn)（Non-Uniform Memory Access，NUMA）：指內(nèi)存被劃分成多個(gè)內(nèi)存節(jié)點(diǎn)的多處理器系統(tǒng)，訪問(wèn)一個(gè)內(nèi)存節(jié)點(diǎn)花費(fèi)的時(shí)間取決于處理器和內(nèi)存節(jié)點(diǎn)的距離。每個(gè)處理器有一個(gè)本地內(nèi)存節(jié)點(diǎn)，處理器訪問(wèn)本地內(nèi)存節(jié)點(diǎn)的速度比訪問(wèn)其他內(nèi)存節(jié)點(diǎn)的速度快。NUMA 是中高端服務(wù)器的主流體系結(jié)構(gòu)。

（2）對(duì)稱(chēng)多處理器（Symmetric Multi-Processor，SMP）：即一致內(nèi)存訪問(wèn)（Uniform?Memory Access，UMA），所有處理器訪問(wèn)內(nèi)存花費(fèi)的時(shí)間是相同的。每個(gè)處理器的地位是平等的，僅在內(nèi)核初始化的時(shí)候不平等：“0 號(hào)處理器作為引導(dǎo)處理器負(fù)責(zé)初始化內(nèi)核，其他處理器等待內(nèi)核初始化完成?！?/p>

在實(shí)際應(yīng)用中可以采用混合體系結(jié)構(gòu)，在 NUMA 節(jié)點(diǎn)內(nèi)部使用 SMP 體系結(jié)構(gòu)。

3.5.2 內(nèi)存模型

內(nèi)存模型是從處理器的角度看到的物理內(nèi)存分布情況，內(nèi)核管理不同內(nèi)存模型的方式存在差異。內(nèi)存管理子系統(tǒng)支持 3 種內(nèi)存模型。

（1）平坦內(nèi)存（Flat Memory）：內(nèi)存的物理地址空間是連續(xù)的，沒(méi)有空洞。

（2）不連續(xù)內(nèi)存（Discontiguous Memory）：內(nèi)存的物理地址空間存在空洞，這種模型可以高效地處理空洞。

（3）稀疏內(nèi)存（Sparse Memory）：內(nèi)存的物理地址空間存在空洞。如果要支持內(nèi)存熱插拔，只能選擇稀疏內(nèi)存模型。

什么情況會(huì)出現(xiàn)內(nèi)存的物理地址空間存在空洞？系統(tǒng)包含多塊物理內(nèi)存，兩塊內(nèi)存的物理地址空間之間存在空洞。一塊內(nèi)存的物理地址空間也可能存在空洞，可以查看處理器的參考手冊(cè)獲取分配給內(nèi)存的物理地址空間。

如果內(nèi)存的物理地址空間是連續(xù)的，不連續(xù)內(nèi)存模型會(huì)產(chǎn)生額外的開(kāi)銷(xiāo)，降低性能，所以平坦內(nèi)存模型是更好的選擇。

如果內(nèi)存的物理地址空間存在空洞，應(yīng)該選擇哪種內(nèi)存模型？

平坦內(nèi)存模型會(huì)為空洞分配 page 結(jié)構(gòu)體，浪費(fèi)內(nèi)存；而不連續(xù)內(nèi)存模型對(duì)空洞做了優(yōu)化處理，不會(huì)為空洞分配 page 結(jié)構(gòu)體。和平坦內(nèi)存模型相比，不連續(xù)內(nèi)存模型是更好的選擇。

稀疏內(nèi)存模型是實(shí)驗(yàn)性的，盡量不要選擇稀疏內(nèi)存模型，除非內(nèi)存的物理地址空間很稀疏，或者要支持內(nèi)存熱插拔。其他情況應(yīng)該選擇不連續(xù)內(nèi)存模型。

3.5.3 三級(jí)結(jié)構(gòu)

內(nèi)存管理子系統(tǒng)使用節(jié)點(diǎn)（node）、區(qū)域（zone）和頁(yè)（page）三級(jí)結(jié)構(gòu)描述物理內(nèi)存。

1．內(nèi)存節(jié)點(diǎn)

內(nèi)存節(jié)點(diǎn)分兩種情況。

（1）NUMA 系統(tǒng)的內(nèi)存節(jié)點(diǎn)，根據(jù)處理器和內(nèi)存的距離劃分。

（2）在具有不連續(xù)內(nèi)存的 UMA 系統(tǒng)中，表示比區(qū)域的級(jí)別更高的內(nèi)存區(qū)域，根據(jù)物理地址是否連續(xù)劃分，每塊物理地址連續(xù)的內(nèi)存是一個(gè)內(nèi)存節(jié)點(diǎn)。

如圖 3.16 所示，內(nèi)存節(jié)點(diǎn)使用一個(gè) pglist_data 結(jié)構(gòu)體描述內(nèi)存布局。內(nèi)核定義了宏NODE_DATA(nid)，它用來(lái)獲取節(jié)點(diǎn)的 pglist_data 實(shí)例。對(duì)于平坦內(nèi)存模型，只有一個(gè)pglist_data 實(shí)例：contig_page_data。

圖3.16 內(nèi)存節(jié)點(diǎn)的pglist_data實(shí)例

成員 node_id 是節(jié)點(diǎn)標(biāo)識(shí)符。

成員 node_zones 是內(nèi)存區(qū)域數(shù)組，成員 nr_zones 是內(nèi)存節(jié)點(diǎn)包含的內(nèi)存區(qū)域的數(shù)量。

成員 node_start_pfn 是起始物理頁(yè)號(hào)，成員 node_present_pages 是實(shí)際存在的物理頁(yè)的總數(shù)，成員 node_spanned_pages 是包括空洞的物理頁(yè)總數(shù)。

成員 node_mem_map 指向頁(yè)描述符數(shù)組，每個(gè)物理頁(yè)對(duì)應(yīng)一個(gè)頁(yè)描述符。注意：成員node_mem_map 可能不是指向數(shù)組的第一個(gè)元素，因?yàn)轫?yè)描述符數(shù)組的大小必須對(duì)齊到 2的（MAX_ORDER ? 1）次方，（MAX_ORDER ? 1）是頁(yè)分配器可分配的最大階數(shù)。

pglist_data 結(jié)構(gòu)體的主要成員如下：

2．內(nèi)存區(qū)域

內(nèi)存節(jié)點(diǎn)被劃分為內(nèi)存區(qū)域，內(nèi)核定義的區(qū)域類(lèi)型如下：

DMA 區(qū)域（ZONE_DMA）：DMA 是“Direct Memory Access”的縮寫(xiě)，意思是直接內(nèi)存訪問(wèn)。如果有些設(shè)備不能直接訪問(wèn)所有內(nèi)存，需要使用 DMA 區(qū)域。例如舊的工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)（Industry Standard Architecture，ISA）總線只能直接訪問(wèn) 16MB 以下的內(nèi)存。

DMA32 區(qū)域（ZONE_DMA32）：64 位系統(tǒng)，如果既要支持只能直接訪問(wèn) 16MB 以下內(nèi)存的設(shè)備，又要支持只能直接訪問(wèn) 4GB 以下內(nèi)存的 32 位設(shè)備，那么必須使用 DMA32 區(qū)域。

普通區(qū)域（ZONE_NORMAL）：直接映射到內(nèi)核虛擬地址空間的內(nèi)存區(qū)域，直譯為“普通區(qū)域”，意譯為“直接映射區(qū)域”或“線性映射區(qū)域”。內(nèi)核虛擬地址和物理地址是線性映射的關(guān)系，即虛擬地址 =（物理地址 + 常量）。是否需要使用頁(yè)表映射？不同處理器的實(shí)現(xiàn)不同，例如 ARM 處理器需要使用頁(yè)表映射，而 MIPS 處理器不需要使用頁(yè)表映射。

高端內(nèi)存區(qū)域（ZONE_HIGHMEM）：這是 32 位時(shí)代的產(chǎn)物，內(nèi)核和用戶(hù)地址空間按 1 : 3 劃分，內(nèi)核地址空間只有 1GB，不能把 1GB 以上的內(nèi)存直接映射到內(nèi)核地址空間，把不能直接映射的內(nèi)存劃分到高端內(nèi)存區(qū)域。通常把 DMA 區(qū)域、DMA32 區(qū)域和普通區(qū)域統(tǒng)稱(chēng)為低端內(nèi)存區(qū)域。64 位系統(tǒng)的內(nèi)核虛擬地址空間非常大，不再需要高端內(nèi)存區(qū)域。

可移動(dòng)區(qū)域（ZONE_MOVABLE）：它是一個(gè)偽內(nèi)存區(qū)域，用來(lái)防止內(nèi)存碎片，后面講反碎片技術(shù)的時(shí)候具體描述。

設(shè)備區(qū)域（ZONE_DEVICE）：為支持持久內(nèi)存（persistent memory）熱插拔增加的內(nèi)存區(qū)域。

每個(gè)內(nèi)存區(qū)域用一個(gè) zone 結(jié)構(gòu)體描述，其主要成員如下：

3．物理頁(yè)

每個(gè)物理頁(yè)對(duì)應(yīng)一個(gè) page 結(jié)構(gòu)體，稱(chēng)為頁(yè)描述符，內(nèi)存節(jié)點(diǎn)的 pglist_data 實(shí)例的成員node_mem_map 指向該內(nèi)存節(jié)點(diǎn)包含的所有物理頁(yè)的頁(yè)描述符組成的數(shù)組。

結(jié)構(gòu)體 page 的成員 flags 的布局如下：
?

| [SECTION] | [NODE] | ZONE | [LAST_CPUPID] | ... | FLAGS |

其中，SECTION 是稀疏內(nèi)存模型中的段編號(hào)，NODE 是節(jié)點(diǎn)編號(hào)，ZONE 是區(qū)域類(lèi)型，F(xiàn)LAGS 是標(biāo)志位。

內(nèi)聯(lián)函數(shù) page_to_nid 用來(lái)得到物理頁(yè)所屬的內(nèi)存節(jié)點(diǎn)的編號(hào)，page_zonenum 用來(lái)得到物理頁(yè)所屬的內(nèi)存區(qū)域的類(lèi)型。

頭文件“include/linux/mm_types.h”定義了 page 結(jié)構(gòu)體。因?yàn)槲锢眄?yè)的數(shù)量很大，所以在 page 結(jié)構(gòu)體中增加 1 個(gè)成員，可能導(dǎo)致所有 page 實(shí)例占用的內(nèi)存大幅增加。為了減少內(nèi)存消耗，內(nèi)核努力使 page 結(jié)構(gòu)體盡可能小，對(duì)于不會(huì)同時(shí)生效的成員，使用聯(lián)合體，這種做法帶來(lái)的負(fù)面影響是 page 結(jié)構(gòu)體的可讀性差。

審核編輯：劉清