服務(wù)器存儲數(shù)據(jù)恢復(fù)環(huán)境&故障：
某存儲設(shè)備中一共有40塊磁盤組建存儲池，其中4塊磁盤作為全局熱備盤使用。存儲池內(nèi)劃分出若干空間映射到服務(wù)器使用。
服務(wù)器存儲設(shè)備在沒有斷電、進水、異常操作、供電不穩(wěn)定等外部因素的情況下突然崩潰。管理員重啟服務(wù)器后無法進入操作系統(tǒng)，數(shù)據(jù)丟失。

服務(wù)器存儲數(shù)據(jù)恢復(fù)過程：
1、將故障存儲中所有硬盤做好標記后取出，以只讀方式進行完整硬盤鏡像。鏡像完后把所有磁盤按照編號還原到原存儲設(shè)備中，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進行，避免對原始磁盤數(shù)據(jù)造成二次破壞。
2、基于鏡像文件分析所有磁盤的底層數(shù)據(jù)，北亞企安數(shù)據(jù)恢復(fù)工程師發(fā)現(xiàn)所有磁盤是通過ZFS進行管理，磁盤內(nèi)記錄系統(tǒng)元信息的NVLIST較為混亂。需要恢復(fù)數(shù)據(jù)的磁盤分為三組，每組12塊；單個組使用ZFS特有的RAIDZ管理所有磁盤；RAIDZ級別為2，即每個組內(nèi)可缺失磁盤個數(shù)最大為2；全局熱備盤全部啟用。
Tips：在ZFS文件系統(tǒng)中，池被稱為ZPOOL。ZPOOL的子設(shè)備可以有很多種類：塊設(shè)備、文件、磁盤等。本案例中的子設(shè)備為三組RAIDZ。
經(jīng)過分析發(fā)現(xiàn)，三組RAIDZ中的兩組RAIDZ啟用熱備盤個數(shù)分別為1和3。啟用熱備盤后，第一組RAIDZ又有一塊離線盤，第二組RAIDZ內(nèi)則又有兩塊盤離線。
故障模擬：三組RAIDZ內(nèi)第一和二組RAIDZ中有磁盤離線，熱備盤自動上線進行替換；熱備盤無冗余情況下第一組RAIDZ中有一塊盤離線，第二組RAIDZ中有兩塊盤離線，ZPOOL進入高負荷狀態(tài)（每次讀取數(shù)據(jù)都需要進行校驗得到正確數(shù)據(jù)）；由于第二組RAIDZ內(nèi)有三塊盤離線，該組RAIDZ崩潰、ZPOOL下線、服務(wù)崩潰。
3、ZFS管理的存儲池與常規(guī)存儲不同。ZFS管理的存儲池中所有磁盤都由ZFS進行管理。常規(guī)RAID在存儲數(shù)據(jù)時，只按照特定的規(guī)則組建池，不關(guān)心文件在子設(shè)備上的位置；而ZFS在存儲數(shù)據(jù)時會為每次寫入的數(shù)據(jù)分配適當(dāng)大小的空間，并通過計算得到指向子設(shè)備的數(shù)據(jù)指針。這種特性決定了RAIDZ缺盤時無法直接通過校驗得到數(shù)據(jù)，必須將整個ZPOOL作為一個整體進行解析。
北亞企安數(shù)據(jù)恢復(fù)工程師手工截取事務(wù)塊數(shù)據(jù)，并編寫程序獲取最大事務(wù)號入口。

北亞企安數(shù)據(jù)恢復(fù)—RAIDZ數(shù)據(jù)恢復(fù)

4、獲取到文件系統(tǒng)入口后，北亞企安數(shù)據(jù)恢復(fù)工程師編寫數(shù)據(jù)指針解析程序進行地址解析。

北亞企安數(shù)據(jù)恢復(fù)—RAIDZ數(shù)據(jù)恢復(fù)

5、獲取到文件系統(tǒng)入口點在各磁盤分布情況后，北亞企安數(shù)據(jù)恢復(fù)工程師手工截取并分析文件系統(tǒng)內(nèi)部結(jié)構(gòu)。入口分布所在的磁盤組無缺失盤，可直接提取信息。數(shù)據(jù)恢復(fù)工程師根據(jù)ZFS文件系統(tǒng)的數(shù)據(jù)存儲結(jié)構(gòu)找到映射的LUN名稱，從而找到其節(jié)點。
6、經(jīng)過分析，數(shù)據(jù)恢復(fù)工程師發(fā)現(xiàn)在此存儲中的ZFS版本與開源版本有較大差別，無法使用以前開發(fā)的解析程序解析，所以北亞企安數(shù)據(jù)恢復(fù)工程師重新編寫了數(shù)據(jù)提取程序提取數(shù)據(jù)。

北亞企安數(shù)據(jù)恢復(fù)—RAIDZ數(shù)據(jù)恢復(fù)

由于磁盤組內(nèi)缺盤個數(shù)較多，每個IO流都需要通過校驗得到，提取進度極為緩慢。與用戶方溝通后得知，此ZVOL卷映射到XenServer作為存儲設(shè)備，需要恢復(fù)的文件在其中一個vhd內(nèi)。提取ZVOL卷頭部信息，按照XenStore卷存儲結(jié)構(gòu)進行分析，發(fā)現(xiàn)該vhd在整個卷的尾部，計算得到其起始位置后從此位置開始提取數(shù)據(jù)。
7、Vhd提取完畢后，驗證其內(nèi)部的壓縮包及圖片、視頻等文件，均可正常打開。
8、用戶方驗證數(shù)據(jù)后，確定恢復(fù)出來的文件數(shù)量與系統(tǒng)自動記錄的文件個數(shù)基本一致，文件全部可正常打開。本次數(shù)據(jù)恢復(fù)工作完成。

審核編輯 黃宇