服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
一臺(tái)EMC某型號(hào)存儲(chǔ)設(shè)備，該存儲(chǔ)中有一組由12塊（包括2塊熱備盤(pán)）STAT硬盤(pán)組建的raid5陣列。

服務(wù)器故障：
該存儲(chǔ)在運(yùn)行過(guò)程中突然崩潰，raid癱瘓。數(shù)據(jù)恢復(fù)工程師到達(dá)現(xiàn)場(chǎng)對(duì)故障存儲(chǔ)設(shè)備進(jìn)行初檢，發(fā)現(xiàn)raid中有兩塊硬盤(pán)掉線但只有一塊熱備盤(pán)成功激活，所以導(dǎo)致陣列癱瘓，上層lun無(wú)法使用。

服務(wù)器數(shù)據(jù)恢復(fù)過(guò)程：
1、將故障存儲(chǔ)中所有磁盤(pán)標(biāo)記后取出。由硬件工程師檢測(cè)后沒(méi)有發(fā)現(xiàn)有磁盤(pán)存在物理故障，使用壞道檢測(cè)工具檢測(cè)也沒(méi)有發(fā)現(xiàn)有磁盤(pán)存在壞道。將所有磁盤(pán)以只讀方式進(jìn)行扇區(qū)級(jí)全盤(pán)鏡像，由于源磁盤(pán)的扇區(qū)大小是520字節(jié)，做完鏡像后將520字節(jié)轉(zhuǎn)換成512字節(jié)。
2、由于故障存儲(chǔ)中所有硬盤(pán)經(jīng)過(guò)檢測(cè)沒(méi)有發(fā)現(xiàn)存在物理故障和壞道，基本上可以推斷硬盤(pán)掉線是磁盤(pán)讀寫(xiě)性能不穩(wěn)定造成的。EMC控制器的磁盤(pán)檢測(cè)策略十分嚴(yán)格，讀寫(xiě)性能不穩(wěn)定的磁盤(pán)一般會(huì)被控制器判定為壞盤(pán)并踢出raid。當(dāng)raid中掉線盤(pán)超過(guò)該raid級(jí)別的允許掉盤(pán)數(shù)量的極限，raid就會(huì)崩潰，基于raid的lun不可用。本案例中只有一個(gè)lun分配給sun小機(jī)，上層文件系統(tǒng)是ZFS。
3、EMC存儲(chǔ)的LUN都是基于RAID。通過(guò)分析發(fā)現(xiàn)有2塊盤(pán)完全沒(méi)有數(shù)據(jù)，EMC存儲(chǔ)的管理界面上顯示這2塊沒(méi)有數(shù)據(jù)的盤(pán)都是熱備盤(pán)，其中一塊熱備盤(pán)替換了一塊離線盤(pán)。雖然這塊熱備盤(pán)成功激活，RAID中還有一塊硬盤(pán)離線，所以數(shù)據(jù)沒(méi)有同步到這塊熱備盤(pán)中。繼續(xù)分析其他10塊盤(pán)，分析數(shù)據(jù)在硬盤(pán)中的分布規(guī)律、RAID條帶大小以及盤(pán)序等重組RAID所需要的信息。
4、由于RAID中有兩塊盤(pán)掉線，需要搞清楚這兩塊盤(pán)的掉線順序。分析每一塊盤(pán)中的數(shù)據(jù)，發(fā)現(xiàn)有一塊硬盤(pán)在同一個(gè)條帶上的數(shù)據(jù)和其他硬盤(pán)明顯不一樣，因此初步判斷此硬盤(pán)可能是最先掉線的。通過(guò)北亞企安自主開(kāi)發(fā)的RAID校驗(yàn)程序?qū)@個(gè)條帶做校驗(yàn)，最終確定這塊硬盤(pán)就是最先掉線的。
5、根據(jù)上面步驟獲取到的信息將RAID重組出來(lái)。EMC存儲(chǔ)的LUN是基于RAID的。分析LUN在RAID中的分配信息，以及LUN分配的數(shù)據(jù)塊MAP。根據(jù)上述信息，用北亞企安自主開(kāi)發(fā)的程序解釋LUN的數(shù)據(jù)MAP并導(dǎo)出LUN的所有數(shù)據(jù)。
6、用北亞企安自主開(kāi)發(fā)的ZFS文件系統(tǒng)解釋程序?qū)ι傻腖UN做文件系統(tǒng)解釋?zhuān)窃诮忉屇承┪募到y(tǒng)元文件的時(shí)候報(bào)錯(cuò)。開(kāi)發(fā)工程師對(duì)程序做debug調(diào)試并分析程序報(bào)錯(cuò)原因，文件系統(tǒng)工程師分析ZFS文件系統(tǒng)是否因?yàn)榘姹驹蚨鴮?dǎo)致程序不支持。經(jīng)過(guò)長(zhǎng)達(dá)數(shù)小時(shí)的分析與調(diào)試，發(fā)現(xiàn)ZFS文件系統(tǒng)因存儲(chǔ)癱瘓導(dǎo)致某些元文件損壞，從而導(dǎo)致文件系統(tǒng)解釋報(bào)錯(cuò)。
7、北亞企安數(shù)據(jù)恢復(fù)工程師手工修復(fù)這些損壞的元文件，直到ZFS文件系統(tǒng)能夠正常解析。
8、解析ZFS文件系統(tǒng)，解析所有文件節(jié)點(diǎn)及目錄結(jié)構(gòu)。用戶方工程師對(duì)恢復(fù)出來(lái)的數(shù)據(jù)進(jìn)行隨機(jī)驗(yàn)證，經(jīng)過(guò)仔細(xì)驗(yàn)證沒(méi)有發(fā)現(xiàn)問(wèn)題。

審核編輯 黃宇