當計算系統(tǒng)根據(jù)經(jīng)過訓練的機器學習算法進行預測時，就會發(fā)生推理。雖然推理的概念并不新鮮，但在邊緣執(zhí)行這些高級操作的能力相對較新。

基于邊緣的推理引擎背后的技術(shù)是嵌入式計算機。但顯然，它遠不止于此，具有增強的計算能力、大量存儲和必要的 I/O 來實時處理大量數(shù)據(jù)。目標是在盡可能靠近生成數(shù)據(jù)的位置執(zhí)行操作，從而在最短的時間內(nèi)獲得最準確的結(jié)果。該位置通常非?？拷?a target="_blank">傳感器，外部數(shù)據(jù)被輸入到系統(tǒng)中。一旦做出決策，它們通常會被發(fā)送回邊緣執(zhí)行，從而推動邊緣的實時決策。

基于邊緣的推理引擎的一個關(guān)鍵問題是其部署環(huán)境。例如，它是否必須設計為能夠承受沖擊和振動？它會產(chǎn)生極高或極低的溫度嗎？它能否在性能加速之間提供適當?shù)钠胶?？對這些問題中的每一個的回答可能會導致不同的設計，或者至少是不同的設計方式。

一些供應商為環(huán)境問題保留了全套內(nèi)部測試設備。這將包括熱調(diào)節(jié)的模擬，當然還有沖擊和振動。在大多數(shù)應用中，專為“堅固耐用和熱應用”而設計的系統(tǒng)意味著它可以在 -40°C 至 +70°C 的溫度范圍內(nèi)運行，并且可以承受高達 20 G 的沖擊和 3 Grms 的振動。

增強人工智能

通用嵌入式計算機和旨在處理推理算法的計算機之間存在明顯的區(qū)別。首先，推理引擎需要最高的計算性能。任何設計人員都可以將高端 X86 處理器從現(xiàn)成中取出并集成到系統(tǒng)中，甚至是包含數(shù)據(jù)中心平臺功能的系統(tǒng)。然而，在硬件和軟件方面，人工智能系統(tǒng)需要深厚的專業(yè)知識和經(jīng)驗，才能設計出具有最大吞吐量的系統(tǒng)。Premio的專家以其強大的硬件工程和工業(yè)級計算機平臺的設計符合這一要求。

Premio提出了一種稱為邊緣加速節(jié)點的模塊化技術(shù)，可以最大限度地提高邊緣的系統(tǒng)性能。硬件節(jié)點以物理方式連接到平臺的下部，并為需要數(shù)據(jù)采集以獲得實時洞察的邊緣級工作負載提供硬件加速。這種兩件式模塊化設計有助于保持平臺的堅固性，同時通過創(chuàng)新罐式模塊和 GPU 中的非易失性存儲器 （NVMe） 固態(tài)磁盤驅(qū)動器 （SSD） 提供性能加速，以實現(xiàn)并行計算性能。每個邊緣加速節(jié)點都使用高轉(zhuǎn)速主動冷卻來確保這些組件的可靠性。

Premio提供了許多不同的邊緣加速節(jié)點。例如，RCO-6000-CFL-2N2060S增加了一個熱插拔的NVMe SSD容器，能夠容納多達兩個15毫米U.2固態(tài)硬盤和一個PCIe GPU。第二種選擇是RCO-6000-CFL-4NH，可增強存儲能力，支持x2熱插拔NVMe SSD罐，可容納兩個15毫米U.2 SSD，用于支持硬件和軟件RAID的高容量NVMe存儲。第三種選擇是RCO-6000-CFL-8NS，專注于更多的高速NVMe存儲，使系統(tǒng)集成商能夠添加多達8個7毫米，2.5英寸。U.2 NVMe SSD，即將推出Premio的Edge Boost Node產(chǎn)品組合。

這種類型的拓撲非常重要，因為對于基于邊緣的推理系統(tǒng)，存儲與駐留在背板上的 I/O 分離，從而最大限度地提高性能?！懊卦E”在于平衡可用的PCIe通道數(shù)量以提供最佳性能，Premio能夠從其嵌入式和數(shù)據(jù)中心計算機架構(gòu)設計組合中提取這種設計技術(shù)。

其他必須考慮的 I/O 包括 USB、COM 接口，甚至 5G。對于電路板供應商和 OEM 來說，處理高吞吐量 I/O 的一種好方法是通過模塊化 I/O 子板來增加靈活性。通過這種方法，系統(tǒng)可以準確地提供所需的 I/O，并消除特定于應用程序的工作負載的不必要的 I/O 選擇。

面向 ADAS 應用的 AI

當今一個流行的應用是ADAS或高級駕駛員輔助系統(tǒng)。這些復雜的系統(tǒng)基于有效的數(shù)據(jù)收集和共享為自動駕駛汽車應用提供動力，旨在為五級自動駕駛不斷提供更智能的算法。

注意到這顯然是基于邊緣的應用，邊緣加速節(jié)點設計團隊確保納入適當?shù)募庸坦δ芎蜔嵴{(diào)節(jié)。例如，系統(tǒng)操作員需要始終動態(tài)了解箱內(nèi)的溫度。在這里，可能的情況包括風扇。作為耗電組件，該風扇僅在必要時打開電源。

在Premio為其客戶提供的軟件開發(fā)工具包中，有一個應用程序可以讓他們最大限度地利用這些風扇，確定它們應該何時打開，它們應該以什么速度運行等等。該軟件還提供了一個安全閥，因為它可以將所有I/O讀取操作從各種外設暫?；?a target="_blank">CPU。此操作也可以使用物理按鈕和LED指示燈進行。

最大化電源效率

電源效率是基于邊緣的推理引擎的重中之重。系統(tǒng)設計人員認識到需要將處理能力放置在更靠近物聯(lián)網(wǎng)傳感器的位置。直接的解決方案是添加各種性能加速器，通常以 GPU、NVMe 存儲和 M.2 加速器的形式出現(xiàn)。此設計策略的權(quán)衡是，每個組件都是高功耗組件，需要解決功耗與性能預算問題。將這些任務隔離到邊緣加速節(jié)點可增加處理能力并減少主機處理器上的負載，主機處理器在其堅固耐用的寬功率輸入（從 9 V DC 到 48 V DC）中隔離。模塊化邊緣加速節(jié)點的一個獨特功能是，它可以在可靠性至關(guān)重要的最苛刻邊緣工作負載中為強大的性能加速模塊（NVMe SSD、GPU 或 m.2 加速器）提供電源穩(wěn)定性。

由于基于邊緣的推理引擎會生成大量數(shù)據(jù)，因此存儲是關(guān)鍵。邊緣加速節(jié)點包括一個 6 Gbit/s SATA 接口，可以連接四個驅(qū)動器（兩個內(nèi)部驅(qū)動器和兩個外部驅(qū)動器）。然而，集成 NVMe 驅(qū)動器是此應用的潛在游戲規(guī)則改變者。在這種特殊情況下，它通過最多四個 2.5 英寸、15 毫米驅(qū)動器和另一個選項在八個 2.5 英寸、7 毫米驅(qū)動器中進行處理。

雖然板載存儲至關(guān)重要，但將數(shù)據(jù)與云協(xié)調(diào)的能力也至關(guān)重要。在此方案中，此過程通過標準千兆以太網(wǎng)或 10-Gbit/s 模塊進行處理。WiFi或蜂窩LTE也是選項，具體取決于應用和環(huán)境。由于該設計提供靈活的I/O子板，用戶甚至可以集成5G子板模塊，以實現(xiàn)與5G部署的超低延遲連接。

安全性和下一代可升級性

雖然任何工業(yè)平臺都必須包含適當?shù)陌踩胧?，但將系統(tǒng)性能推向邊緣會使安全性變得更加重要。Premio 建立在公認的行業(yè)標準（如 TPM 2.0）之上，用于加密數(shù)據(jù)。然后是物理方面需要解決的問題——有人從字面上竊取了物理系統(tǒng)。為了解決這個問題，邊緣加速節(jié)點上的 NVMe 驅(qū)動器位于鎖和鑰匙驅(qū)動器籠后面。

邊緣加速節(jié)點的模塊化使其本質(zhì)上是可升級的。只需在模塊可用時將其更換為更高性能的版本即可。雖然此功能可能會略微增加物料清單 （BOM），但它可以保護長期投資，因為可以保證系統(tǒng)具有更長的有效使用壽命。在軟件方面，可以通過局域網(wǎng)在現(xiàn)場進行無線升級，并且由于內(nèi)置的安全功能，可以放心地完成。隨著行業(yè)轉(zhuǎn)向云原生升級路徑，這已成為升級的首選方法。只要系統(tǒng)保持“容器化”，安全問題就會得到解決和管理——無論是在系統(tǒng)的生命周期內(nèi)，還是在不斷變化的數(shù)字安全威脅環(huán)境中。

Premio認識到其本地化制造使公司在競爭中占得先機。所有組裝均在其位于洛杉磯的工廠進行，無論訂單規(guī)模如何。這消除了海外供應鏈的潛在負擔，加快了上市時間并簡化了部署，使客戶能夠非?？焖俚貑雍瓦\行企業(yè)規(guī)模和部署。

審核編輯：郭婷