設(shè)備為達到連續(xù)可運行目標(biāo)，除了在硬件設(shè)計中考慮器件可連續(xù)無故障運行外，很重要的方面是軟件在各種條件下可經(jīng)受考驗，持續(xù)工作。這需要在實現(xiàn)基本功能前提下，在軟件中設(shè)計一系列容錯性邏輯去保證。為全面評估軟件容錯性和故障恢復(fù)能力，測試需要制造或模擬一系列條件，包括內(nèi)部硬件故障條件、外部惡意攻擊條件、偶發(fā)過載條件、軟件資源耗盡條件、周邊環(huán)境故障條件以及長時間正常負荷持續(xù)運行模擬。為了在產(chǎn)品開發(fā)的不同階段組織針對性測試，這些測試行為又被明確定義并歸類。

　　測試分類

　　1、協(xié)議健壯性測試

　　協(xié)議健壯性測試是為了找出特定協(xié)議的具體實現(xiàn)代碼的弱點。是一種以破壞性手段去嘗試運行軟件的行為，通過用戶接口的異常輸入，使用異常協(xié)議消息交互引導(dǎo)軟件進入未定義或未保護的狀態(tài)。

　　對軟件系統(tǒng)而言，合法輸入組合以外的輸入往往超出正常輸入的組合，軟件運行中總會遇到一些預(yù)期之外的輸入。因此，軟件需要有嚴(yán)格的合法性檢查才能避免進入未知狀態(tài)。協(xié)議健壯行測試的目標(biāo)就是盡可能找出軟件保護不周的問題。

　　在軟件測試的早期階段進行的參數(shù)邊界值測試就屬于健壯性測試的一部分。比如一個用戶接口接受1-100的整數(shù)輸入，那么1和100就是合法邊界，大于100和小于1的輸入都是非法輸入。其他非整數(shù)型的輸入也屬于非法值，包括故意破壞檢查輸入條件的代碼的一些組合（如超長輸入值，空輸入，格式化字符等）。軟件面對的接口除了最終用戶可見的部分之外，還有大量的軟件組件之間的不可見部分，以及設(shè)備之間的通信協(xié)議接口。

　　除了單一輸入的簡單合法性判斷，軟件在組合輸入和特定狀態(tài)下可接受輸入的定義更為復(fù)雜。為確認(rèn)軟件在各種條件下的運行正常，測試需要嘗試盡可能多的組合。復(fù)雜的通信協(xié)議除了定義有邏輯化結(jié)構(gòu)的報文格式，還有一系列的內(nèi)部狀態(tài)，要測試人員完全手工方式遍歷這些狀態(tài)，并且構(gòu)造所有可能的異常組合輸入條件是無法想象的，因此需要專用的測試工具和儀器專門檢測軟件對各種協(xié)議變異報文的處理。目前，商用化的測試工具已經(jīng)很多，比如IxDefend協(xié)議健壯性測試套件和MuDynamics的fuzzing測試套件是比較強大的。為了達成在特定狀態(tài)下注入錯誤，測試套件需要先完成一些合法的交互過程，使被測目標(biāo)達到預(yù)設(shè)狀態(tài)，然后再注入異常。復(fù)雜的協(xié)議需要事先配置很多參數(shù)去達成這種交互，而變異輸入的變化和組合數(shù)量非常龐大，一個復(fù)雜協(xié)議經(jīng)常達到幾十萬甚至上百萬的測試用例，盡管有自動化測試工具，這種測試運行也要耗費大量的時間。因此，對參數(shù)的調(diào)整是測試需要關(guān)注的一個重要方面。

　　從系統(tǒng)測試的角度，觀測協(xié)議健壯性的測試結(jié)果是比較困難的，一般是從系統(tǒng)外部觀察整機是否存在異常，正在被測試的協(xié)議功能有沒有停止響應(yīng)，正常用戶請求是否得到及時處理，設(shè)備的性能有沒有下降。最容易被觀測到現(xiàn)象是系統(tǒng)死鎖或重啟，系統(tǒng)性能變化或主要功能異常也能被及時發(fā)現(xiàn)。而一些細微的功能異?；蛸Y源耗費，很容易被測試人員忽視，在這里，測試工具也無能為力。

　　以IxDefend測試TLS-Server舉例。

　　完成測試儀器與被測試設(shè)備的物理連接，并且將端口配置IP地址，開啟TLS-Server服務(wù)。

　　通過測試儀器的GUI控制界面裝入TLS Server測試套件，如圖1所示。

　　配置TLS Server測試所需要的參數(shù)，包括被測試設(shè)備IP、TLS服務(wù)端口、超時時間等，如圖2所示。

　　點擊開始按鈕啟動測試運行。

　　測試運行期間，儀器會發(fā)送事先定義好的各種異常組合，并檢查設(shè)備對這些報文的響應(yīng)。一旦被測試設(shè)備失去任何響應(yīng)，就記錄為一次失敗，并持續(xù)嘗試下面的測試用例。如圖3所示的是一個真實的運行記錄，設(shè)備在某項測試運行后發(fā)生異常，該項目被標(biāo)記為紅色。測試人員可以根據(jù)該記錄重現(xiàn)問題，并將設(shè)備異常信息一并提交給開發(fā)定位具體

　　圖1IxDefend選擇測試套件

　　圖2IxDefend配置TLS-Server套件運行參數(shù)

　　圖3IxDefend運行結(jié)果統(tǒng)計

　　2、硬件故障模擬測試

　　通常，判斷軟件行為是否正常的先決條件之一是其是否運行在正確的硬件環(huán)境之下，因為硬件故障對軟件產(chǎn)生的影響往往是致命的和不可預(yù)測的。在實際情況中，越是造價昂貴且承擔(dān)重要任務(wù)的硬件系統(tǒng)，其硬件的復(fù)雜度越高，故障率也更高。為了提高系統(tǒng)的可靠性，硬件在設(shè)計上會使用冗余器件的方式（比如多個電源、多個風(fēng)扇、多個交換網(wǎng)板、多個主控板），但在很多情況下，硬件替換做不到對軟件透明，需要依賴軟件檢測并采取一系列措施。此外，軟件還需要設(shè)計足夠的容錯性去隔離硬件錯誤的影響范圍。在非關(guān)鍵器件停止工作之前，軟件需要盡可能保證系統(tǒng)其它功能不受影響。

　　對測試人員而言，了解軟件對硬件的依賴，通過制造或模擬硬件器件故障檢驗軟件行為的合理性，是可靠性測試的一個重要環(huán)節(jié)。硬件故障測試的目標(biāo)就是觀測和評估軟件在硬件失效時的反映，找出預(yù)期與實際結(jié)果之間的差距。在測試有備份硬件系統(tǒng)的產(chǎn)品時，測試人員往往使用硬件拔出槽位，命令重啟等方式驗證備份機制的有效性。然而，這還遠遠不夠。設(shè)備在實際運行條件下器件被拔出只是一種維護行為，很多情況下是在連續(xù)運行過程中，器件突然失效。測試人員需要驗證這些情況，以確認(rèn)軟件設(shè)計的故障檢測機制和容錯機制的真實有效性。

　　由于硬件系統(tǒng)的具體情況不同，每個器件的故障形式和直接影響不同，是否有規(guī)避方案需要具體分析。軟件對硬件可用性的依存度往往很高，因此硬件故障測試的結(jié)果經(jīng)常具有很大的爭議性。對測試結(jié)果的分析和判斷比測試設(shè)計和執(zhí)行更為重要。

　　現(xiàn)有的測試手段中，最直接的方式是通過改動硬件線路或干預(yù)數(shù)字信號制造故障。此外，可以通過軟件加入調(diào)試命令，對一些關(guān)鍵器件的狀態(tài)進行修改，設(shè)置為非法的狀態(tài)來模擬故障。

　　3、壓力測試

　　任何設(shè)備或系統(tǒng)都是在一定的工作負荷下完成其功能。如果外部加入的工作負擔(dān)超過其最大能力，系統(tǒng)效能會下降甚至是停止工作。這是一種與可用性相背離的特性，卻是任何系統(tǒng)的必然屬性。很多重要系統(tǒng)是通過增加硬件成本，人為降低承諾指標(biāo)來緩解這一問題，然而事實上都存在一個能力極限，除非輸入子系統(tǒng)進行了硬性限制。

　　為了提高設(shè)備的性價比，一般軟件系統(tǒng)不會設(shè)定承載能力的硬性約束，因此，設(shè)備都會面對超負荷工作的場景。軟件設(shè)計力爭減少超負荷運行的負面效應(yīng)，使系統(tǒng)在合理壓力下能夠正常運作是可靠性的一個重要考量。雖然用戶不會要求設(shè)備能在超負荷的工作環(huán)境下連續(xù)穩(wěn)定運行，但在真實網(wǎng)絡(luò)中，負荷波動是無法避免的，短時間的超載運行不應(yīng)該導(dǎo)致災(zāi)難性的后果。

　　事實上，壓力除了令系統(tǒng)的計算能力經(jīng)受考驗，也會使系統(tǒng)內(nèi)的很多資源被軟件進程占用；如果壓力消除以后，這些資源不能被充分釋放和回收，經(jīng)受過壓力的系統(tǒng)將無法完全恢復(fù)正常的工作能力。原因。

　　壓力測試就是通過制造設(shè)備的超載負荷，模擬設(shè)備在真實環(huán)境下可能遇到的場景。一臺網(wǎng)絡(luò)設(shè)備會有很多負載指標(biāo)，驗證各個指標(biāo)的超載工作能力是一項繁雜的測試工作。除了觀測壓力下設(shè)備的反應(yīng)，在負荷恢復(fù)到承諾指標(biāo)范圍內(nèi)之后，系統(tǒng)完全達到正常工作狀態(tài)的能力和恢復(fù)時間也是用戶關(guān)心的指標(biāo)。這些高負載的測試一般都要依賴專用的測試儀器來模擬。

　　一般在設(shè)備規(guī)格會寫明產(chǎn)品支持的IP路由表容量、最大轉(zhuǎn)發(fā)數(shù)據(jù)流量、ARP或MAC地址容量等指標(biāo)。測試的工作就是把被測試設(shè)備與測試儀器連接，通過儀器構(gòu)造與規(guī)格指標(biāo)相同或略低的一項負載，再制造一個10%左右的異常波動沖擊被測設(shè)備，并觀察被測設(shè)備在加載超載負荷前、負荷中和恢復(fù)到初始設(shè)定負荷之后的實際表現(xiàn)。。

　　不受壓力影響和能快速恢復(fù)的設(shè)備是可能被制造出來的，但是代價是必然提高硬件和軟件成本。因此一個合理的可接受的壓力反應(yīng)和恢復(fù)時間，往往需要根據(jù)用戶的使用場景和可承受成本綜合考慮。

　　4、內(nèi)存耗盡測試

　　與硬件發(fā)生故障類似，軟件所要面對的另一種是情況是資源枯竭。因為軟件要流暢地運行需要依賴很多外部資源，其中包括：內(nèi)存、定時器、隊列、文件句柄、Socket等等。這些資源中最關(guān)鍵的就是內(nèi)存，因為很多資源不足可以等待，內(nèi)存短缺會導(dǎo)致立即的操作失敗。一個復(fù)雜的軟件系統(tǒng)內(nèi)存資源都是動態(tài)申請和釋放的，在各個處理進程之間動態(tài)流轉(zhuǎn)。在突發(fā)任務(wù)占用大量內(nèi)存的情況下，其他任務(wù)就可能面臨資源枯竭。一個良好設(shè)計的軟件系統(tǒng)需要設(shè)定內(nèi)存門限，一旦內(nèi)存消耗達到門限會強制一些不重要的任務(wù)退出運行而釋放資源。而且所有申請內(nèi)存的任務(wù)需要自身設(shè)計保護代碼，避免沒有申請成功時誤入歧途。

　　資源耗盡的情況下軟件系統(tǒng)必然會產(chǎn)生一些功能受限的反應(yīng)，只要這種情況能在資源充足后得到恢復(fù)就不構(gòu)成嚴(yán)重問題。確認(rèn)系統(tǒng)在資源不足時沒有異常反映，合理屏蔽了次要功能，同時確保高優(yōu)先級進程得到應(yīng)得的資源就是軟件測試所要做的工作。

　　測試手段通常是啟動一些重要的功能和構(gòu)造動態(tài)的運行負荷，然后用調(diào)試命令占用內(nèi)存或啟動一些消耗型任務(wù)占用內(nèi)存，以構(gòu)造資源耗盡的條件，觀察被測系統(tǒng)在內(nèi)存枯竭后的反應(yīng)，并繼續(xù)進行操作。最后再通過釋放占用的內(nèi)存來恢復(fù)正常條件，觀察系統(tǒng)受影響的功能是否自動恢復(fù)。

　　內(nèi)存耗盡測試的原理非常簡單，但是因為動態(tài)分配內(nèi)存的指令無處不在，測試覆蓋各種流程分支就要設(shè)定各種組合條件，存在很大執(zhí)行的難度。內(nèi)存耗盡測試可能發(fā)現(xiàn)長期隱藏于軟件中的嚴(yán)重問題，徹底解決這些問題，對軟件的可靠性有很重要的意義。

　　5、拷機測試

　　由于軟件固有的邏輯復(fù)雜性和系統(tǒng)測試手段的限制，有些問題只有在實際環(huán)境下經(jīng)過足夠長時間運行才會出現(xiàn)。拷機測試就是在實驗室模擬設(shè)備運行的真實工作場景，通過規(guī)定負荷及偶發(fā)性過載條件下連續(xù)運行，觀測被測設(shè)備連續(xù)無故障運行時間，俘獲異常錯誤的測試。

　　測試所構(gòu)造的工作場景能否還原真實應(yīng)用，是能否提早發(fā)現(xiàn)問題的關(guān)鍵。由于用戶的應(yīng)用場景千差萬別，需要用很多設(shè)備搭建組網(wǎng)來還原，而且必須等候足夠長的時間，這是一種高成本的測試方式，卻又不可替代。測試人員一般會采用頻繁觸發(fā)設(shè)備狀態(tài)變化的手段加速問題出現(xiàn)，這對某些問題有效，卻可能隱蔽另外一些問題。

　　H3C的每個產(chǎn)品都要經(jīng)過嚴(yán)格測試，其中必須進行的一項就是長時間的拷機環(huán)境測試。設(shè)備被接入一個運行各種拓撲管理協(xié)議和有大量背景流量的模擬環(huán)境，以驗證設(shè)備在典型應(yīng)用環(huán)境下7*24小時的穩(wěn)定運行。即使產(chǎn)品已經(jīng)在市場正式投入使用，這套拷機環(huán)境還會持續(xù)運行，并且經(jīng)常調(diào)整流量和業(yè)務(wù)規(guī)劃，以期覆蓋更多的用戶應(yīng)用環(huán)境。

　　6、收斂指標(biāo)測試

　　對網(wǎng)絡(luò)設(shè)備而言，保證網(wǎng)絡(luò)通暢是其最重要的功能之一。因此，網(wǎng)絡(luò)設(shè)備除保障自身連續(xù)運行外，還專門設(shè)計了很多從環(huán)境故障中恢復(fù)網(wǎng)絡(luò)連通性的協(xié)議。有些則是針對自身發(fā)生異常時實現(xiàn)冗余硬件切換，流量路徑切換或快速故障恢復(fù)的協(xié)議。針對這些情況，有一個通用的度量指標(biāo)，即網(wǎng)絡(luò)收斂指標(biāo)，是通過網(wǎng)絡(luò)中斷服務(wù)（或故障恢復(fù)）時間來考察設(shè)備或網(wǎng)絡(luò)提供的可靠性。

　　任何一種網(wǎng)絡(luò)路由協(xié)議或拓撲管理協(xié)議都是為了在動態(tài)變化的網(wǎng)絡(luò)中提供一個可行的流量路徑而設(shè)計的，所以收斂是一個基本屬性。從注入拓撲變化或故障發(fā)生的時間開始，網(wǎng)絡(luò)服務(wù)和數(shù)據(jù)流量受到影響，在拓撲收斂后路徑切換到備份網(wǎng)絡(luò)上，恢復(fù)網(wǎng)絡(luò)服務(wù)和流量所經(jīng)歷的時間就是收斂時間。為加速收斂而提出的一。

　　附加技術(shù)可以使收斂時間縮短到毫秒級甚至在設(shè)備主控發(fā)生重啟等情況下提供不中斷的轉(zhuǎn)發(fā)服務(wù)。

　　圖4IGP路由收斂測試組網(wǎng)圖

　　IGP收斂的測試實例。

　　如圖4所示，被測試設(shè)備首先從B和C端口學(xué)習(xí)到大量的IGP路由信息，其中B端口的度量值優(yōu)于C端口。測試儀器用穩(wěn)定的流量由A端口發(fā)送，被測設(shè)備轉(zhuǎn)發(fā)到B端口。測試儀器通過在B端口模擬拓撲變化，撤銷一部分路由信息，受影響的流量開始丟失。被測試設(shè)備在完成路由計算后將這些流量重新路由到C端口上。測試儀器通過計算這個過程丟失的數(shù)據(jù)流量和發(fā)送速率折算收斂過程經(jīng)歷的時間。

　　在收斂網(wǎng)絡(luò)之外來評估收斂時間時，可以使用相同的原則，根據(jù)發(fā)送流量的速率和被丟失報文數(shù)量計算出收斂經(jīng)歷的時間。收斂測試的另一個方向是故障恢復(fù)主路徑時，對于流量的保護。理想的情況可以做到網(wǎng)絡(luò)無中斷地回切到主路徑。然而不同的拓撲管理協(xié)議和具體實現(xiàn)技術(shù)有一定差別，很多情況下回切過程的流量丟失不能完全避免。

　　常見的收斂指標(biāo)測試有二層網(wǎng)絡(luò)STP收斂測試，RPR和RRPP環(huán)網(wǎng)收斂，三層路由協(xié)議RIP、OSPF、BGP收斂，以及雙主控設(shè)備的主備倒換測試，VRRP設(shè)備倒換測試。為了減少拓撲管理協(xié)議在設(shè)備重啟期間對周邊網(wǎng)絡(luò)的沖擊，很多協(xié)議開發(fā)了GracefulRestart的功能，并通過控制與數(shù)據(jù)轉(zhuǎn)發(fā)分離的Non-StopForwarding技術(shù)使流量轉(zhuǎn)發(fā)近乎不中斷。H3C的IRF2技術(shù)也可以將多個物理設(shè)備組成一個邏輯設(shè)備，以降低對STP、VRRP等慢收斂協(xié)議的依賴。所有這些技術(shù)的目標(biāo)都是減少設(shè)備故障造成的網(wǎng)絡(luò)影響，提高組網(wǎng)的可靠性，而評價這些技術(shù)的指標(biāo)都是網(wǎng)絡(luò)收斂時間。測試執(zhí)行的步驟幾乎是相同的，首先構(gòu)建正常的網(wǎng)絡(luò)拓撲，模擬故障發(fā)生，監(jiān)測流量切換的過程和流量丟失的情況，計算切換需要的時間。

　　結(jié)束語

　　以上的幾種測試類型基本覆蓋了軟件可靠性相關(guān)的測試。在具體的產(chǎn)品開發(fā)過程中，協(xié)議健壯性測試、硬件故障模擬測試、內(nèi)存耗盡測試等適合在軟件功能組件的開發(fā)過程中進行測試，而壓力測試、收斂指標(biāo)測試、拷機測試需要在系統(tǒng)整合并且功能穩(wěn)定后才能實施，所以一般放在產(chǎn)品開發(fā)后期。經(jīng)過全方位的可靠性測試并解決所有問題之后，軟件系統(tǒng)可以應(yīng)對各種內(nèi)部外部的復(fù)雜情況，為用戶提供更高可用性的健壯網(wǎng)絡(luò)。