如今，幾乎所有企業(yè)都開(kāi)發(fā)或采用應(yīng)用軟件，對(duì)發(fā)票、人力資源檔案或產(chǎn)品規(guī)格等信息的處理進(jìn)行編碼。整個(gè)行業(yè)已經(jīng)開(kāi)始在集中式數(shù)據(jù)中心或云中，以及在商店、工廠和家用電器等邊緣位置部署和執(zhí)行這些企業(yè)應(yīng)用程序。

最近，企業(yè)軟件的性質(zhì)發(fā)生了變化，因?yàn)殚_(kāi)發(fā)人員現(xiàn)在將人工智能納入了他們的應(yīng)用程序中。根據(jù) Gartner 的數(shù)據(jù)，到 2027 年，深度學(xué)習(xí)形式的機(jī)器學(xué)習(xí)將包含在超過(guò) 65% 的 edge 用例中，而 2021 這一比例還不到 10% *。使用 AI ，您不需要為每個(gè)可能的輸入編碼輸出。相反，人工智能模型從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)模式，然后將這些模式應(yīng)用于新的輸入。

自然，管理基于 AI 的應(yīng)用程序所需的過(guò)程不同于為純粹確定性、基于代碼的應(yīng)用程序而發(fā)展的管理。這是真的，尤其是對(duì)于邊緣的基于 AI 的應(yīng)用程序，在這些應(yīng)用程序中，計(jì)算資源和網(wǎng)絡(luò)帶寬都很稀缺，并且容易訪問(wèn)設(shè)備會(huì)帶來(lái)安全風(fēng)險(xiǎn)。

基于 AI 的應(yīng)用程序受益于新的工具和過(guò)程，可以在邊緣安全地部署、管理和擴(kuò)展。

傳統(tǒng)企業(yè)軟件與邊緣 AI 應(yīng)用程序之間的差異

傳統(tǒng)企業(yè)軟件和邊緣 AI 應(yīng)用程序的設(shè)計(jì)和管理方式有四個(gè)根本區(qū)別：

集裝箱化

數(shù)據(jù)策略

更新

安全

集裝箱化

虛擬化一直是企業(yè)在世界各地的數(shù)據(jù)中心部署傳統(tǒng)應(yīng)用程序時(shí)采用的主要部署和管理工具。對(duì)于傳統(tǒng)的應(yīng)用程序和環(huán)境，虛擬化為在虛擬機(jī)監(jiān)控程序上運(yùn)行的這些工作負(fù)載提供了結(jié)構(gòu)、管理和安全性。

雖然虛擬化仍在幾乎每個(gè)數(shù)據(jù)中心使用，但我們看到容器技術(shù)在人工智能應(yīng)用程序中的廣泛應(yīng)用，尤其是在邊緣。在最近一份關(guān)于 The State of Cloud Native Development 的報(bào)告中，云原生計(jì)算基金會(huì)強(qiáng)調(diào)“……從事邊緣計(jì)算的開(kāi)發(fā)人員對(duì)容器和Kubernetes 的使用率最高。”76%的邊緣AI應(yīng)用程序使用容器，63%使用Kubernetes。

為什么那么多開(kāi)發(fā)人員在邊緣使用容器來(lái)處理 AI 工作負(fù)載？

表演

可擴(kuò)展性

彈性

可移植性

表演

容器虛擬化主機(jī)操作系統(tǒng)的內(nèi)核，而在傳統(tǒng)的虛擬化中，虛擬機(jī)監(jiān)控程序虛擬化物理硬件，并在每個(gè)實(shí)例中創(chuàng)建來(lái)賓操作系統(tǒng)。這允許容器以完全裸機(jī)性能運(yùn)行，而不是接近裸機(jī)性能。這對(duì)于許多邊緣 AI 應(yīng)用程序來(lái)說(shuō)是至關(guān)重要的，尤其是那些具有安全相關(guān)用例的應(yīng)用程序，其中響應(yīng)時(shí)間以亞毫秒為單位。

容器還可以在同一個(gè)系統(tǒng)上運(yùn)行多個(gè)應(yīng)用程序，從而提供整合，而不需要虛擬化的性能開(kāi)銷(xiāo)。

可擴(kuò)展性

邊緣 AI “數(shù)據(jù)中心”可能分布在數(shù)百個(gè)位置。基于云的管理平臺(tái)為管理員提供了集中管理環(huán)境的工具，這些環(huán)境可以擴(kuò)展到數(shù)百和數(shù)千個(gè)位置。通過(guò)利用網(wǎng)絡(luò)和智能軟件進(jìn)行擴(kuò)展，而不是讓人員前往每個(gè)邊緣位置，可以降低成本、提高效率和恢復(fù)能力。

彈性

AI 應(yīng)用程序通常通過(guò)擴(kuò)展提供彈性。同一應(yīng)用程序的多個(gè)克隆在負(fù)載平衡器后面運(yùn)行，當(dāng)克隆失敗時(shí)，服務(wù)將繼續(xù)。

即使邊緣環(huán)境只有一個(gè)節(jié)點(diǎn)，容器策略也可以確保應(yīng)用程序自動(dòng)重新啟動(dòng)，使停機(jī)時(shí)間降到最低。

可移植性

將應(yīng)用程序容器化后，可以將其部署在任何基礎(chǔ)設(shè)施上，無(wú)論是裸機(jī)、虛擬機(jī)還是各種公共云上。還可以根據(jù)需要放大或縮小它們。有了容器，應(yīng)用程序可以像在任何云中一樣輕松地在邊緣服務(wù)器上運(yùn)行。

虛擬機(jī)和容器在幾個(gè)方面有所不同，但它們是在單個(gè)平臺(tái)上部署多個(gè)獨(dú)立服務(wù)的兩種方法。許多供應(yīng)商提供的解決方案同時(shí)適用于 Red Hat OpenShift 和 VMware Tanzu 這兩種環(huán)境。

邊緣環(huán)境既有虛擬化，也有容器化，但隨著越來(lái)越多的邊緣 AI 工作負(fù)載投入生產(chǎn)，預(yù)計(jì)將朝著裸機(jī)和容器的方向發(fā)展。

數(shù)據(jù)策略

下一個(gè)區(qū)別是數(shù)據(jù)在傳統(tǒng)邊緣應(yīng)用程序和邊緣 AI 應(yīng)用程序生命周期中的作用。

傳統(tǒng)的邊緣應(yīng)用程序通常會(huì)接收少量結(jié)構(gòu)化數(shù)據(jù)流，如買(mǎi)賣(mài)點(diǎn)交易、患者病歷或說(shuō)明。處理后，應(yīng)用程序會(huì)發(fā)回類似的結(jié)構(gòu)化信息流，例如支付授權(quán)、分析結(jié)果或記錄搜索。當(dāng)數(shù)據(jù)被使用時(shí)，它對(duì)應(yīng)用程序不再有用。

與傳統(tǒng)應(yīng)用程序不同，人工智能應(yīng)用程序的生命周期超越了分析和推理，包括重新培訓(xùn)和持續(xù)更新。 AI 應(yīng)用程序從傳感器（通常是攝像頭）傳輸數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行推斷。一部分?jǐn)?shù)據(jù)在邊緣位置收集，并共享回集中的數(shù)據(jù)中心或云，以便用于重新培訓(xùn)應(yīng)用程序。

由于這種對(duì)數(shù)據(jù)的依賴可以改進(jìn)應(yīng)用程序，因此，強(qiáng)大的數(shù)據(jù)策略至關(guān)重要。

從邊緣向數(shù)據(jù)中心或云傳輸數(shù)據(jù)的成本受數(shù)據(jù)大小、網(wǎng)絡(luò)帶寬以及應(yīng)用程序需要更新的頻率的影響。以下是人們?cè)谶吘?AI 應(yīng)用程序中采用的一些不同的數(shù)據(jù)策略：

收集錯(cuò)誤推論

收集所有數(shù)據(jù)

收集有趣的數(shù)據(jù)

收集錯(cuò)誤推論

至少，一個(gè)組織應(yīng)該收集所有錯(cuò)誤的推論。當(dāng)人工智能做出錯(cuò)誤推斷時(shí)，需要識(shí)別、重新標(biāo)記數(shù)據(jù)，并用于重新培訓(xùn)，以提高模型精度。

然而，如果只使用錯(cuò)誤的推斷進(jìn)行再培訓(xùn)，模型可能會(huì)經(jīng)歷一種稱為模型漂移的現(xiàn)象。

收集所有數(shù)據(jù)

選擇將其所有數(shù)據(jù)發(fā)送到中央存儲(chǔ)庫(kù)的組織通常會(huì)遇到帶寬和延遲不是限制因素的情況。這些組織使用這些數(shù)據(jù)重新培訓(xùn)或調(diào)整并構(gòu)建新模型?；蛘?，他們也可以將其用于批量數(shù)據(jù)處理，以收集不同的見(jiàn)解。

收集所有數(shù)據(jù)的好處是可以利用巨大的數(shù)據(jù)池。缺點(diǎn)是它的成本非常高。通常，移動(dòng)那么多數(shù)據(jù)甚至都不可行。

收集有趣的數(shù)據(jù)

這是數(shù)據(jù)收集的最佳點(diǎn)，因?yàn)樗胶饬藢?duì)有價(jià)值數(shù)據(jù)的需求與傳輸和存儲(chǔ)數(shù)據(jù)的成本。

有趣的數(shù)據(jù)可以包含組織預(yù)期對(duì)其當(dāng)前或未來(lái)模型或數(shù)據(jù)分析項(xiàng)目有價(jià)值的任何數(shù)據(jù)。例如，對(duì)于自動(dòng)駕駛汽車(chē)，從天氣相似的相同街道收集的大多數(shù)數(shù)據(jù)不會(huì)顯著改變模型的訓(xùn)練。然而，如果正在下雪，這些數(shù)據(jù)將有助于發(fā)送回中央存儲(chǔ)庫(kù)，因?yàn)樗梢愿倪M(jìn)極端天氣下駕駛的模型。

更新

傳統(tǒng) edge 軟件的功能內(nèi)容是通過(guò)代碼傳遞的。開(kāi)發(fā)人員編寫(xiě)并編譯在邊緣設(shè)備上執(zhí)行的指令序列。任何管理和編排平臺(tái)都必須適應(yīng)軟件的更新，以修復(fù)缺陷、添加功能和修復(fù)漏洞。

開(kāi)發(fā)團(tuán)隊(duì)通常每月、每季度或每年發(fā)布新代碼，但并不是每個(gè)新版本都會(huì)立即推送到邊緣系統(tǒng)。相反， IT 團(tuán)隊(duì)傾向于等待大量更新，只有在必要時(shí)才進(jìn)行更實(shí)質(zhì)性的更新。

相反， Edge AI 應(yīng)用程序遵循不同的軟件生命周期，該生命周期以 AI 模型的培訓(xùn)和再培訓(xùn)為中心。每次模型更新都有可能提高準(zhǔn)確性和精度，或增加或調(diào)整功能。模型更新的頻率越高，它就變得越準(zhǔn)確，從而為組織提供額外的價(jià)值。

例如，如果一個(gè)檢驗(yàn) AI 應(yīng)用程序的準(zhǔn)確率從 75% 提高到 80% ，那么該組織會(huì)發(fā)現(xiàn)遺漏的缺陷更少，從而提高產(chǎn)品質(zhì)量。此外，更少的誤報(bào)導(dǎo)致更少的產(chǎn)品浪費(fèi)。

?

圖 1 ：。典型邊緣 AI 解決方案的生命周期

在圖 1 中，步驟 5 和 6 詳細(xì)說(shuō)明了再培訓(xùn)過(guò)程，這對(duì)于更新模型至關(guān)重要。

部署邊緣人工智能解決方案的組織應(yīng)該經(jīng)常更新模型。通過(guò)從一開(kāi)始就通過(guò)容器等云本地部署實(shí)踐構(gòu)建再培訓(xùn)流程，并實(shí)施強(qiáng)大的數(shù)據(jù)戰(zhàn)略，組織可以開(kāi)發(fā)可持續(xù)的 edge AI 解決方案。

安全

對(duì)于許多 IT 團(tuán)隊(duì)來(lái)說(shuō)，邊緣計(jì)算代表著安全范式的巨大轉(zhuǎn)變。在 castle and moat 網(wǎng)絡(luò)安全模型中，網(wǎng)絡(luò)外部沒(méi)有人能夠訪問(wèn)內(nèi)部數(shù)據(jù)，但網(wǎng)絡(luò)內(nèi)部的每個(gè)人都可以訪問(wèn)。相反，邊緣環(huán)境本質(zhì)上是不安全的，因?yàn)閹缀趺總€(gè)人都有物理訪問(wèn)權(quán)限。

邊緣人工智能應(yīng)用程序加劇了這一問(wèn)題，因?yàn)樗鼈兪鞘褂脙r(jià)值極高的企業(yè)知識(shí)產(chǎn)權(quán)構(gòu)建的，而企業(yè)知識(shí)產(chǎn)權(quán)是企業(yè)的生命線。它代表了允許企業(yè)差異化的競(jìng)爭(zhēng)優(yōu)勢(shì)，是其功能的核心。

雖然安全性對(duì)所有應(yīng)用程序都很重要，但在使用 AI 應(yīng)用程序時(shí)，提高邊緣的安全性也很重要。有關(guān)更多信息，請(qǐng)參閱 邊緣計(jì)算：安全架構(gòu)師的考慮事項(xiàng) 。

人身安全

數(shù)據(jù)隱私

企業(yè)知識(shí)產(chǎn)權(quán)

訪問(wèn)控制

人身安全

由于邊緣設(shè)備位于物理數(shù)據(jù)中心之外，因此邊緣計(jì)算站點(diǎn)的設(shè)計(jì)必須假定惡意參與者可以物理訪問(wèn)計(jì)算機(jī)。為了應(yīng)對(duì)這種情況，可以采用物理篡改檢測(cè)和安全引導(dǎo)等技術(shù)，作為額外的安全檢查。

數(shù)據(jù)隱私

Edge AI 應(yīng)用程序通常存儲(chǔ)真實(shí)世界的數(shù)據(jù)，如語(yǔ)音和圖像，這些數(shù)據(jù)傳達(dá)了有關(guān)人們生活和身份的高度隱私信息。 Edge AI 開(kāi)發(fā)人員肩負(fù)著保護(hù)此類私人數(shù)據(jù)寶庫(kù)的責(zé)任，以維護(hù)其用戶的信任并遵守法規(guī)。

企業(yè)知識(shí)產(chǎn)權(quán)

推理引擎結(jié)合了對(duì)大量專有數(shù)據(jù)的學(xué)習(xí)以及機(jī)器學(xué)習(xí)團(tuán)隊(duì)的專業(yè)知識(shí)和工作。將這些推理機(jī)的控制權(quán)交給競(jìng)爭(zhēng)對(duì)手可能會(huì)極大地削弱公司在市場(chǎng)上的競(jìng)爭(zhēng)力。

訪問(wèn)控制

由于這些環(huán)境的分布式特性，幾乎可以保證有人需要遠(yuǎn)程訪問(wèn)它們。實(shí)時(shí)（ JIT ）訪問(wèn)是一種策略，用于確保向人員授予在有限時(shí)間內(nèi)完成任務(wù)所需的最低權(quán)限。

設(shè)計(jì)邊緣 AI 環(huán)境

隨著企業(yè)從部署傳統(tǒng)企業(yè)應(yīng)用程序轉(zhuǎn)向邊緣 AI 應(yīng)用程序，維護(hù)支持傳統(tǒng)應(yīng)用程序的相同基礎(chǔ)架構(gòu)并不是一個(gè)可擴(kuò)展的解決方案。

對(duì)于成功的 edge AI 應(yīng)用程序，更新組織的部署方法、數(shù)據(jù)策略、更新節(jié)奏和安全策略非常重要。

NVIDIA 提供的軟件可幫助企業(yè)在任何地方開(kāi)發(fā)、部署和管理其 AI 應(yīng)用程序。

例如，幫助組織跨我們創(chuàng)建的分布式位置管理和部署多個(gè) AI 工作負(fù)載 NVIDIA Fleet Command ，一個(gè)用于容器編排的托管平臺(tái)，可優(yōu)化邊緣系統(tǒng)和 AI 應(yīng)用程序的供應(yīng)和部署。

為了幫助企業(yè)快速起步，我們創(chuàng)建了 NVIDIA LaunchPad ，這是一個(gè)免費(fèi)的程序，提供對(duì)必要硬件和軟件堆棧的即時(shí)、短期訪問(wèn)，以體驗(yàn)端到端解決方案工作流，例如構(gòu)建和部署 AI 應(yīng)用程序。

關(guān)于作者

Tiffany Yeung 是 NVIDIA Edge 和企業(yè)計(jì)算解決方案的產(chǎn)品營(yíng)銷(xiāo)經(jīng)理。 Tiffany 專注于利用 NVIDIA 邊緣解決方案使醫(yī)院、商店、倉(cāng)庫(kù)、工廠等實(shí)現(xiàn)創(chuàng)新。在 NVIDIA 之前， Tiffany 的背景是創(chuàng)業(yè)，她曾為許多財(cái)富 500 強(qiáng)公司提供咨詢。

審核編輯：郭婷