邊緣生成式人工智能（GenAI）的興起

過去十年間，人工智能（AI）和機(jī)器學(xué)習(xí)（ML）領(lǐng)域發(fā)生了巨大的變化。卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）逐漸被Transformer和生成式人工智能（GenAI）所取代，這標(biāo)志著該領(lǐng)域進(jìn)入了一個(gè)全新的發(fā)展階段。這一轉(zhuǎn)變源于人們需要更準(zhǔn)確、高效且具備上下文理解能力、能處理復(fù)雜任務(wù)的模型。

起初，AI和ML模型在執(zhí)行音頻、文本、語音和視覺處理等任務(wù)時(shí)，高度依賴數(shù)字信號處理器（DSP）。這些模型雖有一定成效，但在準(zhǔn)確性和可擴(kuò)展性方面存在局限。神經(jīng)網(wǎng)絡(luò)，尤其是CNN的出現(xiàn)，帶來了重大突破，大幅提升了模型的準(zhǔn)確率。比如，AlexNet作為開創(chuàng)性的CNN，在圖像識別方面的準(zhǔn)確率達(dá)到了65%，超越了DSP的50%。

Transformer的誕生帶來了又一次重大突破。2017年，谷歌在論文《Attention is All You Need》中提出了該模型，憑借更高效的序列數(shù)據(jù)處理方式，在該領(lǐng)域掀起了一場革命。與局部處理數(shù)據(jù)的CNN不同，Transformer使用注意力機(jī)制來評估輸入數(shù)據(jù)不同部分的重要性，能夠捕捉數(shù)據(jù)中的復(fù)雜關(guān)系與依賴，在自然語言處理（NLP）和圖像識別等任務(wù)中展現(xiàn)出卓越的性能。

Transformer推動了GenAI的興起。GenAI借助這些模型，可以依據(jù)學(xué)習(xí)到的模式生成新數(shù)據(jù)，例如文本、圖像甚至音樂。Transformer能夠理解和生成復(fù)雜數(shù)據(jù)，因此成為ChatGPT和DALL-E等熱門AI應(yīng)用的基礎(chǔ)。這些模型已展現(xiàn)出卓越能力，比如生成邏輯連貫的文本、根據(jù)文字描述生成圖像，充分彰顯了GenAI的巨大潛力。

為何要在邊緣設(shè)備上部署GenAI

對于實(shí)時(shí)處理、隱私和安全要求極高的應(yīng)用來說，在邊緣設(shè)備上部署GenAI具有顯著優(yōu)勢。智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和自動駕駛汽車等邊緣設(shè)備，都能從GenAI的強(qiáng)大能力中獲益。

在邊緣設(shè)備上部署GenAI的主要原因之一，是對低延遲處理的需求。自動駕駛、實(shí)時(shí)翻譯、語音助手等應(yīng)用需要即時(shí)響應(yīng)，云端處理的延遲會嚴(yán)重影響其響應(yīng)速度。直接在邊緣設(shè)備上運(yùn)行GenAI模型，能最大限度地減少延遲，確保響應(yīng)快速可靠。

隱私和安全也是重要的考慮因素。將敏感數(shù)據(jù)傳到云端進(jìn)行處理，存在數(shù)據(jù)泄露和未經(jīng)授權(quán)訪問的風(fēng)險(xiǎn)。通過在邊緣設(shè)備上部署GenAI，數(shù)據(jù)處理始終在設(shè)備本地進(jìn)行，這既能增強(qiáng)隱私保護(hù)，又能降低安全漏洞風(fēng)險(xiǎn)。這在數(shù)據(jù)處理需格外謹(jǐn)慎的應(yīng)用中尤為關(guān)鍵，例如醫(yī)療健康應(yīng)用中的患者數(shù)據(jù)處理。

網(wǎng)絡(luò)連接受限也是推動在邊緣設(shè)備上部署GenAI的因素。在互聯(lián)網(wǎng)接入不可靠的偏遠(yuǎn)或欠發(fā)達(dá)地區(qū)，搭載GenAI的邊緣設(shè)備可以脫離云連接獨(dú)立運(yùn)行，確保功能持續(xù)可用。這對災(zāi)難救援等可能缺乏可靠通信基礎(chǔ)設(shè)施的應(yīng)用場景至關(guān)重要。

應(yīng)對邊緣設(shè)備上部署GenAI的挑戰(zhàn)

在邊緣設(shè)備上部署GenAI好處眾多，但也面臨多種挑戰(zhàn)，必須克服這些挑戰(zhàn)，才能確保其有效實(shí)施與運(yùn)行。這些挑戰(zhàn)主要涉及計(jì)算復(fù)雜性、數(shù)據(jù)要求、帶寬限制、功耗和硬件約束。

GenAI模型的計(jì)算復(fù)雜性是一大挑戰(zhàn)。Transformer作為GenAI模型的基礎(chǔ)，因其注意力機(jī)制和大規(guī)模矩陣乘法運(yùn)算，計(jì)算量極大。這些運(yùn)算需要強(qiáng)大的處理能力和大量內(nèi)存，給邊緣設(shè)備有限的計(jì)算資源帶來沉重壓力。此外，邊緣設(shè)備常常需要實(shí)時(shí)處理，尤其是在自動駕駛或?qū)崟r(shí)翻譯等應(yīng)用中。GenAI模型對算力的高要求，使得在邊緣設(shè)備上實(shí)現(xiàn)所需的速度和響應(yīng)能力困難重重。

▲表1：GenAI模型（包括大語言模型（LLM）和圖像生成器）的參數(shù)量明顯大于CNN

數(shù)據(jù)要求也帶來了巨大挑戰(zhàn)。訓(xùn)練GenAI模型需要海量數(shù)據(jù)。例如，GPT-4等模型訓(xùn)練使用了數(shù)TB的數(shù)據(jù)，要在存儲和內(nèi)存容量有限的邊緣設(shè)備上處理和存儲這些數(shù)據(jù)，根本不現(xiàn)實(shí)。即便在推理階段，為生成準(zhǔn)確且相關(guān)的輸出，GenAI模型也可能需要大量數(shù)據(jù)。受存儲限制，在邊緣設(shè)備上管理和處理這些數(shù)據(jù)頗具挑戰(zhàn)性。

帶寬限制讓GenAI在邊緣設(shè)備上的部署變得更為復(fù)雜。邊緣設(shè)備通常使用低功耗內(nèi)存接口，如低功耗雙倍數(shù)據(jù)速率（LPDDR）內(nèi)存，其帶寬低于數(shù)據(jù)中心使用的高帶寬內(nèi)存（HBM）。這會限制邊緣設(shè)備的數(shù)據(jù)處理能力，從而影響GenAI模型的性能。在內(nèi)存和處理單元之間高效傳輸數(shù)據(jù)，對GenAI模型的性能至關(guān)重要。有限的帶寬會妨礙這一過程，導(dǎo)致處理時(shí)間延長、效率降低。

功耗是在邊緣設(shè)備上部署GenAI的又一關(guān)鍵問題。GenAI模型因計(jì)算需求大，耗電量高。這對依靠電池供電的邊緣設(shè)備，如智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和自動駕駛汽車等，是個(gè)嚴(yán)重問題。高功耗會導(dǎo)致發(fā)熱增加，因此需要有效的熱管理解決方案。在緊湊的邊緣設(shè)備進(jìn)行散熱管理難度大，還可能影響設(shè)備壽命和性能。

硬件約束同樣是在邊緣設(shè)備上部署GenAI的一大挑戰(zhàn)。與數(shù)據(jù)中心服務(wù)器相比，邊緣設(shè)備的處理能力通常有限。選擇既能滿足GenAI的需求、又能兼顧低功耗和高性能的合適處理器至關(guān)重要。邊緣設(shè)備有限的內(nèi)存和存儲容量，限制了可部署GenAI模型的規(guī)模和復(fù)雜性。因此，必須開發(fā)能在這些約束條件下運(yùn)行且性能不受影響的優(yōu)化模型。

模型優(yōu)化對于應(yīng)對這些挑戰(zhàn)至關(guān)重要。模型量化（降低模型參數(shù)精度）和剪枝（去除冗余參數(shù)）等技術(shù)，可幫助降低GenAI模型的計(jì)算和內(nèi)存需求。不過，在采用這些技術(shù)時(shí)需要謹(jǐn)慎，以保證模型的準(zhǔn)確性和功能性。開發(fā)專門針對邊緣部署優(yōu)化的模型，能幫助應(yīng)對部分挑戰(zhàn)。這需要創(chuàng)建GenAI模型的輕量級版本，使其能在邊緣設(shè)備上高效運(yùn)行，同時(shí)不降低性能。

軟件和工具鏈支持也很關(guān)鍵。在邊緣設(shè)備上高效部署GenAI，離不開支持模型優(yōu)化、部署和管理的強(qiáng)大軟件工具和框架。確保與邊緣硬件兼容并提供高效的開發(fā)流水線至關(guān)重要。優(yōu)化推理過程以縮短延遲并提高效率，對實(shí)時(shí)應(yīng)用非常重要。這涉及微調(diào)模型并利用硬件加速器實(shí)現(xiàn)最佳性能。

安全和隱私問題也必須得到妥善解決。確保邊緣設(shè)備所處理數(shù)據(jù)的安全性極為重要。采用魯棒的加密技術(shù)和安全的數(shù)據(jù)處理做法，是保護(hù)敏感信息的關(guān)鍵。在邊緣設(shè)備上本地處理數(shù)據(jù)，可最大限度地減少將敏感數(shù)據(jù)傳到云端的需求，有助于解決隱私問題。但同時(shí)，也要確保GenAI模型本身不會無意中泄露敏感信息。

通過精心挑選硬件、優(yōu)化模型并利用先進(jìn)軟件工具來應(yīng)對這些挑戰(zhàn)，可讓邊緣設(shè)備部署GenAI變得更加可行和有效。這將使眾多應(yīng)用受益于GenAI的強(qiáng)大能力，同時(shí)保留邊緣計(jì)算的優(yōu)勢。

邊緣GenAI的處理器選擇

在邊緣設(shè)備上運(yùn)行GenAI，選擇合適的嵌入式處理器對于克服上述挑戰(zhàn)至關(guān)重要。選擇時(shí)必須兼顧計(jì)算能力、功耗和處理各種AI工作任務(wù)的靈活性。

GPU和CPU靈活性高且可編程，適用于廣泛的AI應(yīng)用。但從功耗角度看，它們可能并非邊緣設(shè)備的最佳選擇。尤其是GPU，耗電量大，對電池供電的設(shè)備不太友好。

ASIC是針對特定任務(wù)優(yōu)化的硬連線解決方案，具有高能效和高性能。然而，它缺乏靈活性，難以適應(yīng)不斷發(fā)展的AI模型和工作任務(wù)。

神經(jīng)處理單元（NPU）在靈活性和能效之間取得了平衡。NPU（包括新思科技ARC NPX NPU IP）專為AI工作任務(wù)設(shè)計(jì)，針對矩陣乘法和張量運(yùn)算等運(yùn)行GenAI模型的關(guān)鍵任務(wù)，能實(shí)現(xiàn)優(yōu)化的性能。NPU解決方案可編程且功耗低，適合邊緣設(shè)備。

▲圖2：CPU、GPU、NPU和ASIC在邊緣AI/ML中的表現(xiàn)比較。NPU除了可編程性和易于使用之外，還擁有最高效的處理能力。

例如，在NPU上運(yùn)行Stable Diffusion等GenAI模型僅需2瓦電力，而在GPU上運(yùn)行則需200瓦，節(jié)能效果顯著。NPU還支持混合精度算法和內(nèi)存帶寬優(yōu)化等高級功能，對滿足GenAI模型的計(jì)算需求至關(guān)重要。

結(jié)語

向Transformer和生成式人工智能（GenAI）的過渡，是人工智能（AI）和機(jī)器學(xué)習(xí)（ML）領(lǐng)域的重大進(jìn)步。這些模型性能卓越、功能多樣，支持從自然語言處理到圖像生成的廣泛應(yīng)用。在邊緣設(shè)備上部署GenAI能夠開啟新的可能，提供低延遲、安全、可靠的AI能力。

然而，要充分發(fā)揮邊緣GenAI的潛力，必須克服計(jì)算復(fù)雜性、數(shù)據(jù)要求、帶寬限制和功耗等挑戰(zhàn)。選擇NPU等合適的處理器，能為邊緣應(yīng)用提供兼顧性能與能效的平衡解決方案。

隨著AI持續(xù)發(fā)展，GenAI在邊緣設(shè)備上的集成將發(fā)揮關(guān)鍵作用，有助于推動創(chuàng)新并擴(kuò)大智能技術(shù)的應(yīng)用范圍。通過克服這些挑戰(zhàn)并利用先進(jìn)處理器的優(yōu)勢，我們將為AI全面融入日常生活的美好未來鋪平道路。