它提出了一種可預(yù)測的虛擬結(jié)構(gòu)解決方案——FAB，能夠?qū)崿F(xiàn)為所有流明確選擇適當(dāng)?shù)穆窂讲⑶以趤喓撩霑r間尺度內(nèi)收斂到理想的帶寬分配。

背景

在多租戶數(shù)據(jù)中心中，即使所有租戶共享相同的物理網(wǎng)絡(luò)，租戶的虛擬機(VMs)也應(yīng)通過虛擬網(wǎng)絡(luò)結(jié)構(gòu)(VF)進行邏輯互連。雖然已經(jīng)提出了許多解決方案來提高多租戶數(shù)據(jù)中心網(wǎng)絡(luò)的性能，但它們?nèi)匀粺o法提供高度可預(yù)測的VF服務(wù)——帶寬保證、有限的尾延遲。

因此本文提出FAB，這是一個為數(shù)據(jù)中心租戶提供高度可預(yù)測的VF服務(wù)的框架。它利用可編程數(shù)據(jù)平面來構(gòu)建活動邊緣(如NIC)和信息核心(如交換機)的融合。在核心中，每個交換機通過網(wǎng)絡(luò)遙測(INT)將關(guān)鍵信息(如鏈路利用率和活動帶寬訂閱)發(fā)送給活動邊緣。借助核心的實時反饋，邊緣可以對路徑選擇和流量準(zhǔn)入做出及時準(zhǔn)確的決策來實現(xiàn)預(yù)期的網(wǎng)絡(luò)性能。

設(shè)計

FAB整體系統(tǒng)架構(gòu)如圖所示：



圖中顯示了FAB將邊緣代理(FAB-E)和核心代理(FAB-C)分別安裝到DCN邊緣和DCN核心中，兩種類型的代理通過周期性探測和相應(yīng)的響應(yīng)協(xié)同工作。在邊緣，F(xiàn)AB-E通過隧道或源路由將一個租戶的應(yīng)用程序流從一個VM匯聚到一定數(shù)量的底層網(wǎng)絡(luò)(定向)路徑中再發(fā)送到另一個VM。

源FAB-E將本地的VF信息，即最小帶寬和發(fā)送窗口插入到探針中。沿著轉(zhuǎn)發(fā)路徑，F(xiàn)AB-C將聚合的VF信息，即總帶寬訂閱和總發(fā)送窗口以及網(wǎng)絡(luò)信息，即鏈路容量、隊列大小、TX速率通過INT插入到探針中。目標(biāo)FAB-E返回所有在探測器中搭載的信息和響應(yīng)以及它的本地最小帶寬。源FAB-E將目標(biāo)帶寬與其本地帶寬進行比較以確定VM對的最小帶寬保證。

FAB整體工作流程如圖所示：



圖中顯示了FAB的整體工作流程。首先，每個FAB-E沿著活動底層路徑發(fā)送探針(步驟1)。探針到達FAB-C后，F(xiàn)AB-C讀取搭載的VF信息并將其與內(nèi)部VF信息聚合(步驟2)，然后將更新的結(jié)果插入到探針(步驟3)。

接下來，探針沿著路徑轉(zhuǎn)發(fā)到目的地(步驟4)。當(dāng)目標(biāo)FAB-E發(fā)送的相應(yīng)返回時(步驟5)，源FAB-E將根據(jù)相應(yīng)中提供的信息決定是繼續(xù)使用經(jīng)過速率調(diào)整的路徑還是如果當(dāng)前路徑不再合格就遷移到其他的路徑(步驟6)。

性能實驗

本文通過使用商品SmartNIC和可編程交換機全面實施FAB。評估表明，在探測帶寬開銷有限的各種網(wǎng)絡(luò)情況下，F(xiàn)AB可以保持最小帶寬保證、高帶寬利用率和接近最優(yōu)的出傳輸延遲。

對于如計算和存儲場景的應(yīng)用級實驗，F(xiàn)AB相比于替代方案可以將QPS提高2.5倍，并將尾部延遲減少21倍以上。

總結(jié)

新推出的可編程數(shù)據(jù)平面是解決在多租戶DCN中提供可預(yù)測虛擬結(jié)構(gòu)所面臨特殊挑戰(zhàn)的關(guān)鍵。FAB就是利用可編程數(shù)據(jù)平面來融合信息核心和活動邊緣來構(gòu)建可預(yù)測的虛擬結(jié)構(gòu)服務(wù)。它的創(chuàng)新在于簡單有效的機制，使整個網(wǎng)絡(luò)收斂到可預(yù)測的租戶級性能(例如保證帶寬和有效延遲)和亞毫秒級時間尺度的高利用率。

個人觀點

在傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)中，網(wǎng)絡(luò)核心(交換機)通常與邊緣(終端主機)獨立工作，導(dǎo)致核心幾乎被視為沒有直接反饋的管道，對于這個問題，傳統(tǒng)的方式是要么假設(shè)一個理想的核心，要么利用啟發(fā)式推斷網(wǎng)絡(luò)狀態(tài)。從根本上來說，如果網(wǎng)絡(luò)核心能夠提供明確的信息，這個問題就可以得到解決。利用商品可編程交換機，以前無法訪問的網(wǎng)絡(luò)信息現(xiàn)在都可以被方便的計算、存儲和傳輸。

這類信息允許網(wǎng)絡(luò)邊緣對數(shù)據(jù)傳輸做出及時的決策，從而無需經(jīng)過耗時且不準(zhǔn)確的啟發(fā)式方法。因此，本文的創(chuàng)新點即是利用可編程數(shù)據(jù)平面來探索如何建立網(wǎng)絡(luò)核心與邊緣之間的協(xié)作關(guān)系從而在根本上提高VF的可預(yù)測性。

Using Trio -- Juniper Networks’ Programmable Chipset -- for Emerging In-Network Applications

Mingran Yang (Massachusetts Institute of Technology), Alex Baban (Juniper Networks), Valery Kugel (Juniper Networks), Jeff Libby (Juniper Networks), Scott Mackie (Juniper Networks), Swamy Sadashivaiah Renu Kananda (Juniper Networks), Chang-Hong Wu (Juniper Networks), Manya Ghobadi (Massachusetts Institute of Technology)

這篇文章來自麻省理工學(xué)院和瞻博網(wǎng)絡(luò)團隊的研究者。它介紹了一種用于瞻博網(wǎng)絡(luò)MX系列路由器和交換機的可編程芯片組——Trio。

背景

可編程交換機的出現(xiàn)，為設(shè)計新的數(shù)據(jù)包處理協(xié)議和編譯器創(chuàng)造了機會，Tofino交換機還為使用網(wǎng)絡(luò)內(nèi)計算來加速應(yīng)用程序(如緩存、數(shù)據(jù)庫查詢處理、機器學(xué)習(xí))鋪平了道路。盡管可編程交換機一直是這種新范式的關(guān)鍵推動力，但協(xié)議獨立交換機架構(gòu)(PISA)通常不適合新興的網(wǎng)絡(luò)內(nèi)應(yīng)用，因此限制了進一步的增長并阻礙了廣泛采用網(wǎng)絡(luò)內(nèi)計算的應(yīng)用程序。

因此，本文介紹了一種用于瞻博網(wǎng)絡(luò)MX系列路由器和交換機的可編程芯片組——Trio，它的架構(gòu)基于多線程可編程數(shù)據(jù)包處理引擎和高容量內(nèi)存系統(tǒng)的層次結(jié)構(gòu)，使其與基于流水線的架構(gòu)有根本的不同，此外，Trio還能夠處理不同的數(shù)據(jù)包處理速率，使其成為新興網(wǎng)絡(luò)應(yīng)用程序的理想平臺。

設(shè)計

1、非流水線架構(gòu)：基于 Trio 的路由器/交換機和基于 PISA 的交換機的高級比較如下圖所示：

Trio 的架構(gòu)與 Tofino 的架構(gòu)有著根本的不同。Trio 具有非流水線架構(gòu)，因此不同的數(shù)據(jù)包不會必然流經(jīng)芯片上相同的物理路徑。Trio 中的傳入數(shù)據(jù)包使用數(shù)以千計的并行線程獨立處理。

這些線程使用 run-tocompletion 模型，其中線程將執(zhí)行所需的指令，以完成對當(dāng)前正在處理的數(shù)據(jù)包的處理。Trio 有專門的邏輯來確保相同流的數(shù)據(jù)包按順序傳遞，但不同流的數(shù)據(jù)包可以亂序處理，從而使其能夠有效地處理并發(fā)應(yīng)用程序的混合。

2、中央處理元件：Trio中央處理元件如下圖所示：

PFE 是 Trio 轉(zhuǎn)發(fā)平面的中央處理元件，用于系統(tǒng)地將數(shù)據(jù)包移入和移出設(shè)備?；?Trio 的設(shè)備由一個或多個 PFE 組成。每個 PPE 都在入口和出口方向處理數(shù)據(jù)包。

每個 PFE 都有數(shù)百個多線程數(shù)據(jù)包處理引擎 (PPE)。當(dāng)一個新的數(shù)據(jù)包到達時，PFE 內(nèi)部的一個硬件模塊，稱為 Dispatch 模塊，根據(jù)可用性將數(shù)據(jù)包頭發(fā)送到 PPE 進行處理，PPE 為這個數(shù)據(jù)包頭生成一個新線程。數(shù)據(jù)包尾部保存在內(nèi)存和排隊子系統(tǒng)的 PFE 數(shù)據(jù)包緩沖區(qū)中，以避免在 PPE 線程中存儲大量字節(jié)。默認(rèn)情況下，每個線程處理一個數(shù)據(jù)包。許多 PPE 線程并行工作以提供所需的處理帶寬。

當(dāng)數(shù)據(jù)包處理完成時，修改后的數(shù)據(jù)包頭被發(fā)送到重新排序引擎。重新排序引擎保持更新的數(shù)據(jù)包頭，直到同一流中所有較早到達的數(shù)據(jù)包都已被處理以確保按順序交付。然后，重新排序引擎將修改后的數(shù)據(jù)包頭發(fā)送到內(nèi)存和排隊子系統(tǒng)，以便排隊進行傳輸。

3、共享內(nèi)存系統(tǒng)：Trio的共享存儲系統(tǒng)如下圖所示：

對于交換機和路由器，一些數(shù)據(jù)結(jié)構(gòu)，例如計數(shù)器和監(jiān)管器，需要高速修改。為了支持?jǐn)?shù)百個 PPE 線程對這些數(shù)據(jù)結(jié)構(gòu)的高效訪問，Trio 的共享內(nèi)存系統(tǒng)充當(dāng)所有線程訪問和修改數(shù)據(jù)的地方。數(shù)據(jù)修改發(fā)生在讀-修改-寫引擎內(nèi)部,這允許在內(nèi)存附近進行高速數(shù)據(jù)更新，很好地滿足了數(shù)據(jù)包處理應(yīng)用程序的需求。

相比之下，傳統(tǒng)處理器使用的基于緩存行的一致性模型需要在訪問期間將數(shù)據(jù)移動到線程,當(dāng)多個線程嘗試修改相同的內(nèi)存位置時，這會產(chǎn)生更長的延遲。

4、編程語言Microcode：程序員使用一種名為 Microcode 的類 C 語言來編寫新應(yīng)用程序并配置目標(biāo) Trio 路由器

Trio 的設(shè)備的編程語言是一種類似于 C 的語言，稱為 Microcode。程序員在 Microcode 中實現(xiàn)所有數(shù)據(jù)包處理操作，包括數(shù)據(jù)包解析、路由查找、數(shù)據(jù)包重寫和網(wǎng)絡(luò)內(nèi)計算（如果有）。

為了在 Trio 上編寫新應(yīng)用程序，程序員使用 Microcode 語言編寫新應(yīng)用程序并將新的 Microcode 程序添加到現(xiàn)有代碼庫中。然后程序員使用 Trio 的編譯器生成軟件映像并配置目標(biāo)器件。

性能實驗

本文使用三個真實的 DNN 模型（ResNet50、DenseNet161 和 VGG11）在測試平臺上對使用網(wǎng)絡(luò)內(nèi)聚合進行分布式機器學(xué)習(xí)訓(xùn)練和網(wǎng)絡(luò)內(nèi)落后者緩解兩個用例進行了原型設(shè)計，以展示 Trio 在執(zhí)行網(wǎng)絡(luò)內(nèi)聚合時緩解落后者的能力。評估表明，當(dāng)集群中出現(xiàn)落后者時，Trio 的性能比當(dāng)今基于管道的解決方案高出 1.8 倍。

總結(jié)

本文介紹了瞻博網(wǎng)絡(luò)的可編程芯片組Trio及其在新興密集數(shù)據(jù)型網(wǎng)絡(luò)應(yīng)用程序中的用途。本文通過描述Trio的多線程和可編程數(shù)據(jù)包轉(zhuǎn)發(fā)和數(shù)據(jù)包處理引擎對Trio的設(shè)計進行了介紹。然后，使用網(wǎng)絡(luò)內(nèi)聚合進行分布式機器學(xué)習(xí)訓(xùn)練和網(wǎng)絡(luò)內(nèi)落后者緩解兩個用例來進行了原型設(shè)計以展示 Trio 在執(zhí)行網(wǎng)絡(luò)內(nèi)聚合時緩解落后者的能力。

個人觀點

本文的創(chuàng)新點在于Trio芯片組的設(shè)計使其不僅具有傳統(tǒng)ASIC的性能， 而且它能夠完全利用可編程處理器的靈活性。它的靈活架構(gòu)能夠使其支持在芯片組發(fā)布很久之后開發(fā)的功能和協(xié)議。它的內(nèi)存系統(tǒng)也對于具有大內(nèi)存占用的新興應(yīng)用程序的可擴展性至關(guān)重要。

Thanos:Programmable Multi-Dimensional Table Filters for Line Rate Network Functions

Vishal Shrivastav (Purdue University)

這篇文章來自普渡大學(xué)的Vishal Shrivastav。它主要介紹了Thanos，可以增強現(xiàn)有的可編程交換機pipeline，支持對一組資源進行可編程的多維過濾。

背景

對于性能感知路由、資源感知負(fù)載平衡、網(wǎng)絡(luò)診斷、安全和防火墻等幾個關(guān)鍵網(wǎng)絡(luò)功能來說，基于多維策略在有狀態(tài)資源特定指標(biāo)上從一組資源中過濾數(shù)據(jù)平面中的條目的能力是至關(guān)重要的。然而，當(dāng)前的可編程交換機不支持行率的表級狀態(tài)過濾。

本文提出了Thanos，它增強了現(xiàn)有的可編程開關(guān)管道交換機pipeline，并且Thanos無縫集成多太比特可編程開關(guān)管道在名義芯片面積的開銷。此外，在交換數(shù)據(jù)平面表達豐富的過濾策略的能力不僅為網(wǎng)絡(luò)運營商提供了更多的靈活性，而且它還大大提高了網(wǎng)絡(luò)性能。然而，不幸的是，由于內(nèi)存和計算語義的限制，當(dāng)前一代的可編程交換機無法以線速度表達這樣的過濾策略。

Thanos 交換機整體架構(gòu)：



上圖顯示了Thanos的高級架構(gòu)，其中過濾器模塊與RMT管道的Match-Action階段內(nèi)聯(lián)集成。通常，可以有多個這樣的篩選器模塊與RMT管道集成，其中每個模塊將表示不同資源集上的篩選器策略。每當(dāng)有數(shù)據(jù)包到達過濾模塊時，該模塊就會被觸發(fā)。

信息包將不加修改地通過過濾器模塊，同時，編程的過濾策略將應(yīng)用于資源集。過濾操作的輸出被寫入包的元數(shù)據(jù)，以便在過濾模塊之后的RMT階段進行進一步處理。過濾器模塊是完全流水線的，因此可以在每個時鐘周期為一個新的包服務(wù)。此外，它不希望應(yīng)用過濾策略的包可以完全跳過過濾模塊。

硬件設(shè)計

1、資源表：



Thanos使用名為Sorted多維雙向映射(SMBM)的新硬件數(shù)據(jù)結(jié)構(gòu)將資源表存儲為關(guān)系表，具體結(jié)構(gòu)如上圖所示。

2、可編程過濾單元：



UFPU的輸入和輸出如圖上所示。

3、可編程過濾器鏈管道：



該管道是由N個uppu組成的線性鏈。我們稱之為K-UFPU。K-UFPU的接口與UFPU相同，除了一個名為K的額外輸入外，它指定了用操作碼中指定的操作來編程的upu的數(shù)量(從N開始)。編程后的K個ufpu總是流水線中最接近輸入的第一個K個ufpu，而最后剩下的N-K個ufpu使用操作碼no-op編程，只是作為一個對最終輸出沒有影響的旁路電路。

鏈中每個UFPU的輸入根據(jù)公式1生成，使用上圖所示的一系列I/O生成器實現(xiàn)。注意，通過設(shè)置K=1, K-UFPU在功能上等價于UFPU。最后，我們的設(shè)計是完全流水線的，假設(shè)它的構(gòu)建塊ufpu和bfpu的實現(xiàn)是完全流水線的。

性能測試

本文基于FPGA原型和模擬器進行的評估表明，與最先進的技術(shù)相比，Thanos中表達的策略可以將關(guān)鍵網(wǎng)絡(luò)功能的性能提高1.7倍。

個人觀點

Thanos可以使得RTM交換機架構(gòu)支持多維過濾一系列資源，相比于前代有了很大的性能提升。并且，對于支持Thanos的內(nèi)網(wǎng)，在一些常見的分布式應(yīng)用問題上都有很大的性能提升。

Stateful Multi-Pipelined Programmable Switches

Vishal Shrivastav (Purdue University)

這篇文章來自普渡大學(xué)的Vishal Shrivastav。它主要介紹了MP5的設(shè)計和實現(xiàn)。

背景

由于晶體管擴展速度放緩，單個包處理管道的時鐘速率已經(jīng)飽和，今天的可編程交換機采用多個并行管道來滿足高包處理速率。然而，并行處理對有狀態(tài)包處理提出了挑戰(zhàn)，在保持線速率處理的同時，很難保證功能的正確性。本文介紹了MP5的設(shè)計和實現(xiàn)，MP5是一種新的多流水線可編程交換機的結(jié)構(gòu)、編譯器和運行時，它在功能上相當(dāng)于邏輯上的單流水線交換機，同時處理數(shù)據(jù)包的速度也接近理想的所有數(shù)據(jù)包處理程序。

交換機架構(gòu)

MP5的架構(gòu)如上圖所示。MP5中的k個管道在架構(gòu)上是相同的。此外，每個管道階段都與Banzai的管道階段相同，并包含匹配表、作為操作單元的Banzai原子和有狀態(tài)寄存器。然而，與Banzai不同的是，MP5中連續(xù)管道階段之間的互連不是線性的，而是由一個交叉桿組成，遵循D3的設(shè)計原則。此外，MP5有兩個物理上獨立且并行的互連通道，一個用于傳輸數(shù)據(jù)包(“數(shù)據(jù)”通道)，另一個用于傳輸幻像數(shù)據(jù)包(“幻像”通道)，遵循D4的設(shè)計原則。

此外，MP5的每個階段也有k個fifo，每個管道一個，在它的輸入，緩沖數(shù)據(jù)包(數(shù)據(jù)或幻影)等待訪問該階段的寄存器狀態(tài)。當(dāng)來自多個管道的數(shù)據(jù)包可能希望進入相同時鐘周期的給定階段時，需要fifo來處理爭用場景。每個管道都有一個單獨的FIFO, MP5可以解決這樣的爭用。物理上，每個FIFO實現(xiàn)為一個獨立的環(huán)形緩沖區(qū)，但邏輯上，k個FIFO作為一個單獨的FIFO運行。

語言和編譯器

MP5可以使用Domino編程，Domino是一種用于編寫B(tài)anzai管道的領(lǐng)域特定語言。與P4相比，Domino是一種類似c語言的語言，它提供了編寫包處理程序(尤其是有狀態(tài)程序)的高級抽象。上圖展示了一個Domino示例程序。

實現(xiàn)和原型

本文在System Verilog中實現(xiàn)了MP5的設(shè)計。本文從單個RMT管道的開源硬件實現(xiàn)開始，并復(fù)制它來實現(xiàn)多個管道。本文還使用Banzai模型引入的有狀態(tài)動作單元來擴充管道。最后，本文加入了互聯(lián)的crossbar和每個階段的fifo，以及包轉(zhuǎn)向和動態(tài)分片邏輯。

接下來，本文在FPGA和ASIC模擬器上綜合了本文的實現(xiàn)。本文使用FPGA原型來運行和評估真正的有狀態(tài)數(shù)據(jù)包處理程序，而本文使用ASIC模擬器來估計我們設(shè)計的時鐘速度和芯片面積開銷。最后，由于本文的FPGA原型只有4個端口，每個端口的帶寬為10 Gbps，本文還在Python中實現(xiàn)了一個MP5模擬器，以評估MP5在更真實的交換機配置下的性能。

個人觀點

MP5既是一種新型的交換機架構(gòu)，也是一種新型的交換機編譯器和并行包處理管線，它和邏輯單數(shù)據(jù)包處理管線有著同等的效果，也能達到理想的包處理速率。

FAst In-Network GraY Failure Detection for ISPs

Edgar Costa Molero (ETH Zurich), Stefano Vissicchio (University College London), Laurent Vanbever (ETH Zurich)

這篇文章來自 ETH Zurich 和 University College London 的研究者們。主要描述了FANcY的設(shè)計和實現(xiàn)。

背景

避免丟包對isp來說至關(guān)重要。不幸的是，isp的硬件故障可能會導(dǎo)致長期的數(shù)據(jù)包丟失，也被稱為灰色故障，這是現(xiàn)有的監(jiān)控工具無法檢測到的。本文描述了FANcY的設(shè)計和實現(xiàn)，這是一個以isp為目標(biāo)的系統(tǒng)，可以快速準(zhǔn)確地檢測和定位灰色故障。FANcY是對以前監(jiān)控方法的補充，以前的監(jiān)控方法主要針對低延遲網(wǎng)絡(luò)，如數(shù)據(jù)中心網(wǎng)絡(luò)，不適用于ISP規(guī)模。

FANCY整體設(shè)計描述

FANcY工作在每個鏈路的粒度上，為每個交換機端口分別報告丟失。為了檢測和定位影響輸入表項的灰色故障，每個向下游發(fā)送報文的上游FANcY交換機都與下游建立計數(shù)會話，一旦上一個會話關(guān)閉，就會打開新的會話。在每個計數(shù)會話中，上游對下游計數(shù)的報文進行標(biāo)記，標(biāo)記為待增加的計數(shù)器，使兩臺交換機一致地對同一子集的報文進行相同的計數(shù)。

在每個會話結(jié)束時，下游將其計數(shù)器發(fā)回上游，上游將比較計數(shù)器，然后立即開始一個新的會話。當(dāng)它檢測到計數(shù)器與下游計數(shù)器之間的差異時，上游開關(guān)通過填充本地寄存器來標(biāo)記不匹配的計數(shù)器。

FANcY計數(shù)器被小心地放置，以避免記錄由于擁塞而造成的包丟失。在任何交換機中，擁塞通常發(fā)生在流量管理器(TM)，它實現(xiàn)了實際的交換邏輯，即將數(shù)據(jù)包從入口管道重定向到配置的出口管道。在FANcY模式中，報文的計數(shù)順序為上游交換機的TM之后，下游交換機的TM之前。

本文設(shè)計了FANcY的計數(shù)協(xié)議，使其對包丟失具有彈性，同時在交換機上使用最小的內(nèi)存。為了為最佳努力條目提供良好的準(zhǔn)確性，本文依賴于一種縮放算法，該算法允許交換機的數(shù)據(jù)平面在運行時動態(tài)地探索基于哈希的樹。這減少了FANcY在交換機上的內(nèi)存消耗，從而允許每個交換機與所有下游交換機保持計數(shù)會話。

性能測試

本文通過實驗證實了FANcY的能力，可以在數(shù)秒內(nèi)準(zhǔn)確檢測出灰色故障，只要交通損失的比例很小。本文還在Intel Tofino交換機中實現(xiàn)了FANcY，演示了它如何實現(xiàn)細(xì)粒度的快速重路由。本文的評估表明，F(xiàn)ANcY可以在ISP設(shè)置中快速、準(zhǔn)確地檢測和定位灰色故障，除了那些導(dǎo)致每個條目很少、零星數(shù)據(jù)包丟失的故障——正如預(yù)期的那樣，因為FANcY是一個數(shù)據(jù)驅(qū)動的系統(tǒng)。

個人觀點

FANcY是一種數(shù)據(jù)平面系統(tǒng)，它可以在ISPs中檢測內(nèi)網(wǎng)潛在錯誤。雖然FANcY主要用來檢測和報告錯誤，但是它的接口仍然能支持未來的一些可選擇的快速重路由應(yīng)用。此外，這篇文章還做了一系列測試，F(xiàn)ANcY都能快速檢測并定位錯誤。





審核編輯：劉清