已經(jīng)大規(guī)模普遍使用的互聯(lián)網(wǎng)增加云服務(wù)(例如：蘋果 iCloud)以后，數(shù)據(jù)中心的純計(jì)算與存儲要求正經(jīng)歷史無前例的增長。這種增長直接影響到了能耗。隨著它的不斷增長，工程師們也正在尋找控制功耗的解決方案。由于聯(lián)網(wǎng)系統(tǒng)所使用的連接器傳輸速度超出了每秒 10Gb (Gbps)，因此，本文中我們將專門研究連接器功率預(yù)算，以及降低這些高速通道功耗的解決方案。

　　引言

　　今天，毫無疑問互聯(lián)網(wǎng)數(shù)據(jù)傳輸正迅速增長。思科公司的最新(2011年6月)視覺網(wǎng)絡(luò)指數(shù) (VNI) 預(yù)測報告清楚地顯示了這一趨勢，其預(yù)測興趣點(diǎn)為移動空間的增長情況(請參見圖 1)。 “云”計(jì)算與存儲引入以后，在這種新穎模式的推動下，帶寬消耗越來越大。移動用戶從簡單的文本數(shù)據(jù)傳輸轉(zhuǎn)向高清照片和視頻傳輸，用戶迫切需要將這些內(nèi)容復(fù)制到云存儲，將視頻轉(zhuǎn)碼發(fā)布，并將多媒體數(shù)據(jù)復(fù)制到各種各樣的設(shè)備中(更不必說在社交網(wǎng)絡(luò)上發(fā)布)。這種性能壓力最終要求提高處理和通信能力。

　　圖 1 2010-2015 年互聯(lián)網(wǎng)帶寬趨勢

　　但是，這些增長是有代價的——不僅僅是費(fèi)用，還包括功耗方面。新一代服務(wù)器和網(wǎng)絡(luò)的設(shè)計(jì)人員已經(jīng)在同功耗做斗爭——在購置成本 (CoO) 和實(shí)用熱設(shè)計(jì)兩方面。怎樣構(gòu)建系統(tǒng)才能既提高性能又降低功率呢?在信息爆炸式增長的時代，這是一場永無止境的戰(zhàn)斗。

　　首先研究什么

　　同所有系統(tǒng)設(shè)計(jì)一樣，新一代服務(wù)器和網(wǎng)絡(luò)首先應(yīng)提高性能。在云計(jì)算架構(gòu)中，服務(wù)通常會隨加載變化而變化。已不再是一臺“服務(wù)器”，而是一種離散式硬件設(shè)備。在大多數(shù)情況下，提供服務(wù)的實(shí)際硬件可以放置在服務(wù)提供商基礎(chǔ)設(shè)施內(nèi)部的任何地方，其位置具有“不確定性”，隨時變化。這種性能提升被稱為軟件框架內(nèi)的服務(wù)“虛擬化”或者封裝，其允許服務(wù)在硬件主機(jī)之間自由移動。這樣便讓服務(wù)提供商可以根據(jù)需求改變資源，從而降低基礎(chǔ)設(shè)施的功耗。

　　由于服務(wù)得到控制，就有了大量的“機(jī)器到機(jī)器”(M2M)活動。在大多數(shù)數(shù)據(jù)中心，大多數(shù)數(shù)據(jù)傳輸都在機(jī)器之間進(jìn)行，而不用連接外部世界。虛擬化的加入，推動了從1 Gbps連接(許多老舊服務(wù)器上的標(biāo)準(zhǔn))轉(zhuǎn)向 10 Gbps 連接的需求。今天，這種需求正推動轉(zhuǎn)向使用 25 Gbps 連接。這些連線中的許多長度不到5米，而大多數(shù)的長度都在 1 米以內(nèi)。出現(xiàn)這種情況的原因是服務(wù)器集群的構(gòu)架。單個機(jī)架會放置許多刀片式服務(wù)器，其連接至機(jī)架頂部(或者底部)的開關(guān)。機(jī)架成行放置，通過集線器整合，然后將信息發(fā)送至其他服務(wù)器行或者網(wǎng)絡(luò)存儲器。

　　使用 1Gb 連接時，小型標(biāo)準(zhǔn)線可以在信號完整性丟失相當(dāng)小的情況下輕松傳輸數(shù)據(jù)。這很重要，原因是：1)由于線路阻塞氣流外流使服務(wù)器以外的氣流減少;2)決定你在機(jī)架中能夠布置多少條連線的彎曲半徑(參見圖 2)。

　　圖 2 機(jī)架內(nèi)部布線

　　轉(zhuǎn)向使用 10G 以太網(wǎng)以后，信號完整性問題更加突出，無源線纜開始使用更大標(biāo)準(zhǔn)線來補(bǔ)償。氣流/彎曲半徑問題開始顯現(xiàn)，安裝人員/設(shè)計(jì)人員開始想要使用光纖連接來解決這個問題。轉(zhuǎn)向使用光纖帶來了一些問題，例如：高成本和高功耗等。典型單個 10G 以太網(wǎng)SFP+模塊的功耗為 1 瓦左右。使用數(shù)以萬計(jì)的端口時，光纖連接的功耗需求量便急劇增加，并且功耗增加帶來的一些問題也隨之出現(xiàn)(機(jī)架溫度上升)。

　　線纜連接問題

　　如果用于高速連接的無源線纜受到體積龐大和彎曲半徑問題的困擾，則光纖解決方案的問題便是高功耗和高成本。看起來，似乎必須使用一種折中辦法來解決這個問題。答案就是一種被稱作“有源銅線”的技術(shù)—這是一個聰明的想法，其將一些有源元件嵌入到導(dǎo)體外殼中，以對由小標(biāo)號線引起的高頻損耗進(jìn)行補(bǔ)償。這種解決方案允許使用一些具有“光纖型”彎曲半徑和大體積且功耗較高的小標(biāo)號線。如 DS100BR111 等設(shè)備使用 10 Gbps時每條通道的功耗一般低于 65 mW，其常用于 SFP+ 有源線應(yīng)用。

　　應(yīng)用于 10 Gbps 以太網(wǎng)時，大多數(shù)情況下這種能夠提高線纜信號完整性的技術(shù)僅限于 15 米以下的連線長度。但是，如前所述，大多數(shù)連接線都在 3 米以下，可輕松地使用有源銅線替換無源或者光纖線。今天，這種方法常用于 10 Gbps 連接。但是，未來正快步向我們走來，即使是 10 Gbps 連接也將無法滿足需求。

　　在光纖連接世界里，基本上有兩種連接：1)短距離連接(小于 1000 米);2)遠(yuǎn)距離(大于 1000 米)通信。更長的光纖連接形成我們現(xiàn)代互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的骨干網(wǎng)絡(luò)，常使用 100 Gbps WDM 光纖技術(shù)。為了降低這種技術(shù)的成本，包括Google、博科通訊 (Brocade Communications)、JDSU 等在內(nèi)的各大公司，于 2011 年 3 月批準(zhǔn)了一個 10 x 10 Gbps 多源協(xié)議 (MSA)，用于物理媒介依賴 (PMD) 子層，其為 C 形狀系數(shù) (CFP) 模塊提供一種通用架構(gòu)。

　　CFP 連接器適用于要求 100 Gbps 通信的低數(shù)目/長距離連接。但是，SFP 和四通道SPF接口 (QSFP) 連接器擁有更高的密度，本地開關(guān)和路由器均要求這種高密度。今天，通過組合四條 10 Gbps 數(shù)據(jù)通道，四通道 SFP 連接器用于 40 Gbps 以太網(wǎng)。下一步的發(fā)展將是從 10 Gbps 轉(zhuǎn)到 25 Gbps 通道。它通過一些小 QSFP 連接器提供相當(dāng)于 100 Gbps 的數(shù)據(jù)傳輸，并為一些不支持 100 Gbps 標(biāo)準(zhǔn)的 40 Gbps 以太網(wǎng)系統(tǒng)提供向后兼容模式。最終，這種形狀系數(shù)可用于光纖模塊，因?yàn)椴辉傩枰?CFP模塊使用的 10 到 4 通道轉(zhuǎn)換。

　　這種技術(shù)已經(jīng)數(shù)家廠商多次證明，為廣大基礎(chǔ)設(shè)施設(shè)計(jì)人員提供了一種轉(zhuǎn)到高速連接的路線圖。但是，開關(guān)或者服務(wù)器背后的互連并非是出現(xiàn)這種問題的唯一地方。服務(wù)器和網(wǎng)絡(luò)存儲設(shè)備內(nèi)部的各種電氣連接都存在相同的問題。

　　距離是你的敵人

　　一個數(shù)字位的波形橫向傳輸線路和連接器，因此物理學(xué)開始起作用，并試圖通過阻抗錯配和相鄰?fù)ǖ来當(dāng)_引起的頻率反射型可變衰減，完全破壞原始信號。數(shù)據(jù)本身也存在問題，因?yàn)橹鞍l(fā)送的符號干擾了傳輸中的當(dāng)前位。這被稱作符號間干擾，即 ISI。信號通過 ASIC 到路由器或者開關(guān)背部這段距離后，無法再辨別出這些位。抹殺無源連線無誤差位傳輸?shù)南嗤?yīng)，也在這里發(fā)揮作用。

　　以前的一些設(shè)計(jì)，開關(guān)ASIC使用多條慢數(shù)據(jù)通路(一般為3.125 Gbps)，連接到某個物理層設(shè)備(PHY)，以在SFP連接器構(gòu)建10 Gbps NRZ連接。PHY的位置非?？拷谖锢磉B接器，因此信號完整性損失得到最小化。但是，由于 ASIC 技術(shù)轉(zhuǎn)而使用更小的幾何外形，吸納 10 Gbps 接口的高速連接便成為一種內(nèi)在要求。首先，由于移除了 PHY，因此這種變化可以降低電氣連接的總功耗。但是，PCB 邊緣的信號完整性損失，要求更昂貴、低功耗的電路板材料，或者再使用一種有源解決方案。

　　用于抗線纜信號損失的相同設(shè)備現(xiàn)在也正用于高性能路由器、開關(guān)和服務(wù)器內(nèi)部連接。使用低功耗緩沖中斷器和重定時器時，可使用標(biāo)準(zhǔn) FR-4 PCB 材料(控制成本)，并且功耗非常低。實(shí)際上，這些設(shè)備以一種類似的方式用于 10 Gbps NRZ以太網(wǎng) PHY，以恢復(fù)數(shù)據(jù)和再計(jì)時數(shù)據(jù)，滿足連接器規(guī)范。

　　達(dá)標(biāo)努力

　　在服務(wù)器中，包括 PCI express (PCIe) 在內(nèi)的標(biāo)準(zhǔn)比比皆是。由于數(shù)據(jù)傳輸速率更高，內(nèi)核處理器向(自)內(nèi)核傳輸信息的能力，推動 PCIe 等標(biāo)準(zhǔn)不斷提高傳輸速度。最新的標(biāo)準(zhǔn)為第 3 代，其標(biāo)稱擁有 8 Gbps 的連接速度。如前所述，在許多情況下，設(shè)備內(nèi)部物理距離不變，歸因于處理器硬件、連接器數(shù)目和間隔。服務(wù)器也不例外，同樣受到信號完整性問題和功耗的困擾。前面使用第 1 代或者第 2 代PCIe 的一些設(shè)計(jì)，只要小心謹(jǐn)慎地布局和選擇連接器，便能夠滿足操作規(guī)范。但是，隨著服務(wù)器轉(zhuǎn)向第 3 代，電路板材料和連接器正對信號完整性產(chǎn)生影響，以致于不再能夠滿足這種標(biāo)準(zhǔn)。

　　如 PCIe 等標(biāo)準(zhǔn)帶來另一個問題，讓問題的解決更加困難，而同時還要保持低功耗。這個問題便是帶外 (OoB) 信號傳輸，其出現(xiàn)在通道早期訓(xùn)練過程。由于在通道接入時標(biāo)準(zhǔn) PCIe 板并不了解，因此它必須與根組件溝通，并對通道做出調(diào)節(jié)，以幫助維持信號完整性。這種通信在帶外完成，并且如果失敗(因故受到阻塞)，通道便無法初始化。

　　一些PCIe 集成電路 (IC) 中斷器的廠商使用一種重復(fù)根組件的方法。這種方法將通道分成兩部分，有效地縮短了距離，并大大提高了信號完整性(連接器更少/距離更短)。這種方法存在的問題是功耗。重復(fù)根組件，要求理解通道傳輸，并在兩端正確地對其重復(fù)。另外，串行化和去串行化過程，還會引起過多的延遲。

　　其他廠商通過使用一種模擬方法對帶內(nèi)和帶外信號進(jìn)行調(diào)節(jié)(去除了所有信息處理)，暫時解決了這個問題。如 DS80PCI402 等器件使用這種方法，每條通道僅要求 65 mW。該器件插入到 PCIe 通道中以后，有效縮短了末節(jié)點(diǎn)和根組件之間的通道距離，其不干擾帶外過程，大大改善了 8 Gbps 數(shù)據(jù)信號完整性，同時能耗更小。

　　其他改善方面

　　我們的信息基礎(chǔ)設(shè)施正不斷增長，以滿足日益增加的用戶數(shù)和技術(shù)(例如：云計(jì)算等)需求。連接功耗預(yù)算只是這些系統(tǒng)總功耗的一部分而已。各大廠商都在尋找一種方法，以產(chǎn)生更低連接功耗的內(nèi)核。由于ARM內(nèi)核的易用性和極低的功耗，人們對于在云服務(wù)器中使用這種引擎的關(guān)注度正不斷上升。另外，一些專用處理器也使用其各自的方法進(jìn)入到信息基礎(chǔ)設(shè)施中提供各種服務(wù)，例如：視頻和圖像實(shí)時轉(zhuǎn)碼、語音識別等等。這些專用服務(wù)通常要求在通用處理器中執(zhí)行浮點(diǎn)運(yùn)算功能。這些專用處理器提供許多高能效的方法，執(zhí)行相同運(yùn)算功能。

　　結(jié)論

　　隨著云計(jì)算和存儲在規(guī)模和容量方面都不斷增長，節(jié)點(diǎn)之間的連接能力也不斷提高。設(shè)計(jì)人員面臨的挑戰(zhàn)會是在不斷增加網(wǎng)絡(luò)數(shù)據(jù)吞吐量的同時，維持最低的功率。這些解決方案不僅受到來自日益增長的高帶寬要求的挑戰(zhàn)，而且也會達(dá)到功耗最小化的上限。