1.開場(chǎng)白

環(huán)境：

處理器架構(gòu)：arm64

內(nèi)核源碼：linux-5.11

ubuntu版本：20.04.1

代碼閱讀工具：vim+ctags+cscope

通用操作系統(tǒng)，通常都會(huì)開啟mmu來支持虛擬內(nèi)存管理，而頁表管理是在虛擬內(nèi)存管理中尤為重要，本文主要以回答幾個(gè)頁表管理中關(guān)鍵性問題來解析Linux內(nèi)核頁表管理，看一看頁表管理中那些鮮為人知的秘密。

2.頁表的作用是什么？

1）地址轉(zhuǎn)換

將虛擬地址轉(zhuǎn)換為物理地址

2）權(quán)限管理

管理cpu對(duì)物理頁的訪問，如讀寫執(zhí)行權(quán)限

3）隔離地址空間

隔離各個(gè)進(jìn)程的地址空間，使其互不影響，提供系統(tǒng)的安全性

打開mmu后，對(duì)沒有頁表映射的虛擬內(nèi)存訪問或者有頁表映射但是沒有訪問權(quán)限都會(huì)發(fā)生處理器異常，內(nèi)核選擇殺死進(jìn)程或者panic；通過頁表給一段內(nèi)存設(shè)置用戶態(tài)不可訪問， 這樣可以做到用戶態(tài)的用戶進(jìn)程不能訪問內(nèi)核地址空間的內(nèi)容；而由于用戶進(jìn)程各有一套自己的頁表，所以彼此看不到對(duì)方的地址空間，更別提訪問，造成每個(gè)進(jìn)程都認(rèn)為自己擁有所有虛擬內(nèi)存的錯(cuò)覺；通過頁表給一段內(nèi)存設(shè)置只讀屬性，那么就不容許修改這段內(nèi)存內(nèi)容，從而保護(hù)了這段內(nèi)存不被改寫；對(duì)應(yīng)用戶進(jìn)程地址空間映射的物理內(nèi)存，內(nèi)核可以很方便的進(jìn)行頁面遷移和頁面交換，而對(duì)使用虛擬地址的用戶進(jìn)程來說是透明的；通過頁表，很容易實(shí)現(xiàn)內(nèi)存共享，使得一份共享庫很多進(jìn)程都可以映射到自己地址空間使用；通過頁表，可以小內(nèi)存加載大應(yīng)用程序運(yùn)行，在運(yùn)行時(shí)按需加載和映射。..

3.頁表的存放在哪？

頁表存放在物理內(nèi)存中，打開mmu之后，如果需要修改頁表，需要將頁表所在的物理地址映射到虛擬地址才能訪問頁表（如內(nèi)核初始化后會(huì)將物理內(nèi)存線性映射，這樣通過物理地址和虛擬地址的偏移就可以獲得頁表物理地址對(duì)應(yīng)的虛擬地址）。

4. 頁表項(xiàng)中存放是虛是實(shí)？

頁表基地址寄存器和各級(jí)頁表項(xiàng)中存放的都是物理地址，而不是虛擬地址。

5. 開啟mmu后地址轉(zhuǎn)換過程？

虛擬地址轉(zhuǎn)換物理地址的過程：打開mmu后，cpu訪問的都是虛擬地址，當(dāng)cpu訪問一個(gè)虛擬地址的時(shí)候，會(huì)通過cpu內(nèi)部的mmu來查詢物理地址，mmu首先通過虛擬地址在tlb中查找，如果找到相應(yīng)表項(xiàng)，直接獲得物理地址；如果tlb沒有找到，就會(huì)通過虛擬地址從頁表基地址寄存器保存的頁表基地址開始查詢多級(jí)頁表，最終查詢到找到相應(yīng)表項(xiàng)，會(huì)將表項(xiàng)緩存到tlb中，然后從表項(xiàng)中獲得物理地址。

6. Linux內(nèi)核為何使用多級(jí)頁表？

1）使用一級(jí)頁表結(jié)構(gòu)優(yōu)劣：

優(yōu)勢(shì)：

只需要2次訪問內(nèi)存（一次訪問頁表，一次訪問數(shù)據(jù)），效率高，實(shí)現(xiàn)簡(jiǎn)單

劣勢(shì)：

需要連續(xù)的大塊內(nèi)存存放每個(gè)進(jìn)程的頁表（如32位系統(tǒng)每個(gè)進(jìn)程需要4M頁表），浪費(fèi)內(nèi)存，虛擬內(nèi)存越大頁表越大，內(nèi)存碎片化的時(shí)候很難分配到連續(xù)大塊內(nèi)存，大多數(shù)虛擬內(nèi)存并沒有使用。

2）使用多級(jí)頁表結(jié)構(gòu)優(yōu)劣：

優(yōu)勢(shì)：

1.節(jié)省內(nèi)存

2.可以按需分配各級(jí)頁表

3.可以離散存儲(chǔ)頁表

劣勢(shì)：

需要遍歷多級(jí)頁表，需要多次訪問內(nèi)存，實(shí)現(xiàn)復(fù)雜度高點(diǎn)

3）Linux內(nèi)核綜合考慮：

典型的以時(shí)間換空間，可以將各級(jí)頁表放到物理內(nèi)存的任何地方，無論是硬件遍歷還是內(nèi)核遍歷，比一級(jí)頁表更復(fù)雜，但是為了節(jié)省內(nèi)存，內(nèi)核選擇多級(jí)頁表結(jié)構(gòu)。

7.減小多級(jí)頁表遍歷的優(yōu)化？

1）mmu中添加tlb

來緩存最近訪問的頁表表項(xiàng)，根據(jù)程序的時(shí)間和空間的局部性原理，tlb能有很高的命中率。

2）使用巨型頁

減少訪存次數(shù)（如使用1G或2M巨型頁），可以減少tlb miss和缺頁異常。

8. 硬件做了哪些事情？

遍歷頁表，將va轉(zhuǎn)換為pa，頁面權(quán)限管理

涉及到的硬件為：

mmu

->功能：查詢tlb或者遍歷頁表

tlb

->功能：緩存最近轉(zhuǎn)換的頁表?xiàng)l目

頁表基地址寄存器 如ttbr0_el1 ttbr1_el1

->功能：存放頁表基地址（物理地址）作為mmu遍歷多級(jí)頁表的起點(diǎn)

mmu進(jìn)行多級(jí)頁表遍歷時(shí)當(dāng)發(fā)現(xiàn)虛擬地址的最高bit為1時(shí)使用 ttbr1_el1作為遍歷起點(diǎn)，最高bit為0時(shí)使用 ttbr0_el1作為遍歷起點(diǎn)。

9. 軟件做了哪些事情？

1）應(yīng)用程序

訪問虛擬內(nèi)存即可如執(zhí)行指令、讀寫內(nèi)存， 沒有權(quán)限管理頁表

不管虛擬內(nèi)存如何轉(zhuǎn)換為物理內(nèi)存，對(duì)應(yīng)用來說透明。

2）Linux內(nèi)核

填寫頁表，將頁表基地址告訴mmu

內(nèi)核初始化建立內(nèi)核頁表，實(shí)現(xiàn)缺頁異常等機(jī)制為用戶任務(wù)按需分配并映射頁表。

當(dāng)然，內(nèi)核也可以遍歷頁表，如缺頁異常時(shí)遍歷進(jìn)程頁表。

10. 內(nèi)核中涉及到的頁表基地址？

內(nèi)核：

idmap_pg_dir 恒等映射頁表（va=pa 映射2M）

init_pg_dir 粗粒度內(nèi)核頁表

swapper_pg_dir 主內(nèi)核頁表

用戶：

tsk->mm->pgd用戶進(jìn)程fork的時(shí)候分配私有的pgd頁，用于保存pgd表項(xiàng)（僅僅分配了第一級(jí)頁表）。

11. 頁表填寫/切換時(shí)機(jī)

1）內(nèi)核頁表填充

內(nèi)核初始化過程：

物理地址 -> 恒等映射（建立恒等映射頁表和粗粒度內(nèi)核頁表） ->打開mmu -> paging_init（建立細(xì)粒度的內(nèi)核頁表和內(nèi)存線性映射） -> 。..

恒等映射階段：

將恒等映射頁表idmap_pg_dir 地址保存到ttbr0_el1

將 粗粒度內(nèi)核頁表init_pg_dir 地址保存到ttbr1_el1

paging_init階段：

將內(nèi)核主頁表swapper_pg_dir 地址保存到ttbr1_el1

paging_init之后丟棄idmap_pg_dir 和init_pg_dir 頁表的使用。

2）用戶頁表填充

訪問時(shí)缺頁填充：

用戶進(jìn)程訪問已經(jīng)申請(qǐng)的虛擬內(nèi)存時(shí)，發(fā)生缺頁，缺頁處理程序中為進(jìn)程分配各級(jí)頁表等物理頁并建立頁表映射關(guān)系。

進(jìn)程切換時(shí)切換進(jìn)程頁表：

switch_mm的時(shí)候切換tsk->mm->pgd到ttbr0_el1以及asid 到ttbr1_el1，從而完成了進(jìn)程地址空間切換。

12.頁表遍歷過程

下面以arm64處理器架構(gòu)多級(jí)頁表遍歷作為結(jié)束（使用4級(jí)頁表，頁大小為4K）：

Linux內(nèi)核中 可以將頁表擴(kuò)展到5級(jí)，分別是頁全局目錄（Page Global Directory， PGD）， 頁4級(jí)目錄（Page 4th Directory， P4D）， 頁上級(jí)目錄（Page Upper Directory， PUD），頁中間目錄（Page Middle Directory， PMD），直接頁表（Page Table， PT），而支持arm64的linux使用4級(jí)頁表結(jié)構(gòu)分別是 pgd， pud， pmd， pt ，arm64手冊(cè)中將他們分別叫做L0，L1，L2，L3級(jí)轉(zhuǎn)換表，所以一下使用L0-L3表示各級(jí)頁表。

tlb miss時(shí)，mmu會(huì)進(jìn)行多級(jí)頁表遍歷遍歷過程如下：

1.mmu根據(jù)虛擬地址的最高位判斷使用哪個(gè)頁表基地址寄存器作為起點(diǎn)：當(dāng)最高位為0時(shí)，使用ttbr0_el1作為起點(diǎn)（訪問的是用戶空間地址）；當(dāng)最高位為1時(shí)，使用ttbr1_el1作為起點(diǎn)（訪問的是內(nèi)核空間地址）mmu從相應(yīng)的頁表基地址寄存器中獲得L0轉(zhuǎn)換表基地址。

2.找到L0級(jí)轉(zhuǎn)換表，然后從虛擬地址中獲得L0索引，通過L0索引找到相應(yīng)的表項(xiàng)（arm64中稱為L(zhǎng)0表描述符，內(nèi)核中叫做PGD表項(xiàng)），從表項(xiàng)中獲得L1轉(zhuǎn)換表基地址。

3.找到L1級(jí)轉(zhuǎn)換表，然后從虛擬地址中獲得L1索引，通過L1索引找到相應(yīng)的表項(xiàng)（arm64中稱為L(zhǎng)1表描述符，內(nèi)核中叫做PUD表項(xiàng)），從表項(xiàng)中獲得L2轉(zhuǎn)換表基地址。

4.找到L2級(jí)轉(zhuǎn)換表，然后從虛擬地址中獲得L2索引，通過L2索引找到相應(yīng)的表項(xiàng)（arm64中稱為L(zhǎng)2表描述符，內(nèi)核中叫做PUD表項(xiàng)），從表項(xiàng)中獲得L3轉(zhuǎn)換表基地址。

5.找到L3級(jí)轉(zhuǎn)換表，然后從虛擬地址中獲得L3索引，通過L3索引找到頁表項(xiàng)（arm64中稱為頁描述符，內(nèi)核中叫做頁表項(xiàng)）。

6.從頁表項(xiàng)中取出物理頁幀號(hào)然后加上物理地址偏移（VA［11，0］）獲得最終的物理地址。

原文標(biāo)題：Linux內(nèi)核頁表管理-那些鮮為人知的秘密

文章出處：【微信公眾號(hào)：Linux閱碼場(chǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq