隨著物聯(lián)網(wǎng)和下一代智能設(shè)備的普及，低功耗電子設(shè)備和芯片正在越來(lái)越多地進(jìn)入千家萬(wàn)戶，低功耗設(shè)計(jì)也在變得越來(lái)越重要。物聯(lián)網(wǎng)和智能設(shè)備一方面對(duì)于設(shè)備尺寸有限制，另一方面對(duì)于成本也有很高的需求，此外在一些使用場(chǎng)景中對(duì)于電池的更換和充電周期有需求（例如需要每個(gè)月或更長(zhǎng)的電池更換周期），因此對(duì)于電池的容量有很高的限制，這要求芯片能使用低功耗設(shè)計(jì)。

另一方面，物聯(lián)網(wǎng)和智能設(shè)備正在越來(lái)越多地加入人工智能的特性。人工智能可以為物聯(lián)網(wǎng)和智能設(shè)備提供重要的新特性，例如語(yǔ)音類人工智能可以提供喚醒詞識(shí)別，語(yǔ)音指令識(shí)別等，而機(jī)器視覺(jué)類人工智能可以提供人臉檢測(cè)，事件檢測(cè)等等。如前所述，物聯(lián)網(wǎng)和智能設(shè)備對(duì)于低功耗有需求，因此人工智能特性的加入也需要是低功耗人工智能。

目前，人工智能芯片已經(jīng)在云端和智能設(shè)備終端普及，例如在云端以Nvidia和AMD為代表的GPU和以Intel/Habana為代表的人工智能加速芯片；而在終端智能設(shè)備則主要是在SoC上的人工智能加速IP，但是無(wú)論是GPU和SoC上的人工智能加速IP，都沒(méi)有考慮到低功耗的需求，因此在未來(lái)的物聯(lián)網(wǎng)和智能設(shè)備中的人工智能都需要有新的低功耗相關(guān)的設(shè)計(jì)。

傳感器計(jì)算：低功耗AI的重要技術(shù)路徑

在智能設(shè)備和物聯(lián)網(wǎng)應(yīng)用中的低功耗人工智能需要把功耗降到非常低，從而能實(shí)現(xiàn)實(shí)時(shí)在線（always-on）的人工智能服務(wù)。這里所謂的always-on，指的就是人工智能需要永遠(yuǎn)可用，而不需要用戶主動(dòng)打開(kāi)后才工作。這一方面需要相關(guān)的傳感器要一直打開(kāi)從而實(shí)時(shí)檢測(cè)相關(guān)模態(tài)的信號(hào)，另一方面也需要人工智能能做到低功耗。

傳統(tǒng)設(shè)計(jì)中，傳感器的功能就是負(fù)責(zé)高性能信號(hào)采集，并且把采集到的信號(hào)傳輸?shù)?a target="_blank">處理器（SoC或者MCU）上去做進(jìn)一步計(jì)算和處理，而傳感器本身并沒(méi)有計(jì)算能力。然而，傳統(tǒng)設(shè)計(jì)的假設(shè)是傳感器在打開(kāi)時(shí)相關(guān)的處理器就要同時(shí)打開(kāi)，而這并不能滿足always-on AI的需求，因?yàn)镾oC和MCU如果一直在運(yùn)行AI算法的話對(duì)于電池的消耗很大。另一方面，從實(shí)際角度來(lái)看，這類always-on人工智能應(yīng)用主要是希望人工智能一直運(yùn)行從而一旦重要的相關(guān)事件發(fā)生時(shí)可以實(shí)時(shí)響應(yīng)（例如IMU檢測(cè)到用戶在開(kāi)車則把智能設(shè)備的推送通知關(guān)掉等），但是事實(shí)上這類相關(guān)事件的發(fā)生頻率并不會(huì)很高，如果一直把SoC或者M(jìn)CU的人工智能模塊打開(kāi)，絕大多數(shù)時(shí)候AI模型的輸出都是“未檢測(cè)到事件”。

結(jié)合這兩點(diǎn)，運(yùn)行在傳感器端的計(jì)算就在變得越來(lái)越得到重視。首先，在always-on的低功耗人工智能中，無(wú)論如何傳感器是需要一直打開(kāi)的，因此如果傳感器能有人工智能計(jì)算能力，那么可以讓人工智能模型運(yùn)行在傳感器端，而無(wú)需一直打開(kāi)SoC或者M(jìn)CU上面的人工智能模塊。

另外，在傳感器端運(yùn)行人工智能也可以避免傳感器和SoC/MCU之間一直傳輸數(shù)據(jù)，從而進(jìn)一步降低功耗。最后，在傳感器端的人工智能模塊可以做到為傳感器量身定制而無(wú)需考慮通用性，因此可以為最適合傳感器的人工智能算法做定制化優(yōu)化，從而實(shí)現(xiàn)非常高的能效比。

當(dāng)然，傳感器端的人工智能也有其自己的局限。一方面從性能和成本上來(lái)說(shuō)，通常傳感器端的計(jì)算和存儲(chǔ)空間都較小，人工智能模塊無(wú)法做到支持大模型，因此模型的性能會(huì)比較有限。另一方面，如前所述傳感器端的人工智能也很難做到支持通用模型，而往往只會(huì)支持一些特定的算子和模型結(jié)構(gòu)。

綜上所述，傳感器端的人工智能可以做到低功耗，但是其模型性能也較為有限；但是另一方面低功耗人工智能場(chǎng)景中，真正需要處理的相關(guān)事件的發(fā)生頻率也并不高。結(jié)合這兩點(diǎn)，傳感器端人工智能最適合運(yùn)行一些較為專用的小模型，用于過(guò)濾掉絕大多數(shù)的無(wú)關(guān)事件；而在傳感器端人工智能檢測(cè)到相關(guān)事件后，傳感器可以喚醒SoC或MCU上的人工智能進(jìn)行下一步的確認(rèn)，從而同時(shí)滿足低功耗和always-on的需求。

在圖像傳感器領(lǐng)域，Sony已經(jīng)推出了IMX500系列傳感器，其中把傳感器芯片和集成了人工智能計(jì)算能力的邏輯芯片做了堆疊，從而可以把像素信號(hào)傳輸給邏輯芯片上的人工智能計(jì)算引擎，從而傳感器的輸出可以是圖像，可以是人工智能模型的輸出，或者是兩者的結(jié)合。這樣一來(lái)，就可以讓傳感器運(yùn)行在低功耗always-on狀態(tài)，而僅僅當(dāng)其模型輸出符合某些特定條件（例如檢測(cè)到人臉）時(shí)才去喚醒MCU或者SoC做下一步動(dòng)作。我們預(yù)計(jì)，Sony將會(huì)在接下來(lái)的傳感器芯片中進(jìn)一步加強(qiáng)其人工智能能力，從而增強(qiáng)在這個(gè)領(lǐng)域的領(lǐng)先地位。

傳感器和人工智能結(jié)合的另一個(gè)例子是ST推出的IMU系列產(chǎn)品。ST在擁有相關(guān)人工智能特性的IMU中集成了機(jī)器學(xué)習(xí)核（Machine Learning Core）和有限狀態(tài)機(jī)（Finite State Machine），從而可以用非常高效的方式支持IMU上直接進(jìn)行人工智能計(jì)算。

ST目前支持的人工智能算法主要是決策樹(shù)算法，并且可以支持IMU信號(hào)的一些重要特征提?。ɡ缧盘?hào)幅度，信號(hào)方差等），從而能在IMU上直接實(shí)現(xiàn)用戶活動(dòng)分類（例如靜止，行走，騎車，駕駛汽車等等分類），這樣能在檢測(cè)到相關(guān)事件時(shí)喚醒MCU/SoC進(jìn)行下一步操作。

根據(jù)ST公布的資料，MLC的功耗僅僅在微瓦數(shù)量級(jí)，從而能很好地支持always-on需求。當(dāng)然，另一方面我們也看到?jīng)Q策樹(shù)算法事實(shí)上的能力有限，難以對(duì)于復(fù)雜的活動(dòng)進(jìn)行建模，因此如同我們之前討論的，這里的IMU傳感器內(nèi)人工智能適合完成事件的初篩來(lái)過(guò)濾掉無(wú)關(guān)事件，而更復(fù)雜的分類和確認(rèn)可以通過(guò)運(yùn)行在MCU或者SoC上的模型來(lái)完成。

低功耗人工智能MCU

除了傳感器內(nèi)人工智能之外，另一個(gè)重要的低功耗人工智能技術(shù)路徑是運(yùn)行在MCU內(nèi)的人工智能。無(wú)論是物聯(lián)網(wǎng)還是智能設(shè)備，都離不開(kāi)低功耗MCU作為最關(guān)鍵的控制單元，而通常來(lái)說(shuō)MCU的功耗會(huì)比SoC要低一到兩個(gè)數(shù)量級(jí)。通過(guò)在MCU上集成人工智能，我們可以把運(yùn)行人工智能的任務(wù)放到MCU上，從而無(wú)需喚醒SoC；或者在一些低成本應(yīng)用中，成本考量使得無(wú)法集成SoC，這時(shí)候如果需要人工智能的話，擁有人工智能能力的MCU就是一個(gè)重要選項(xiàng)了。

值得注意的是，MCU上的人工智能和傳感器端的人工智能并不矛盾。如前所述，傳感器里的人工智能通常能運(yùn)行的模型種類的復(fù)雜度都會(huì)比較有限，同時(shí)一個(gè)傳感器里的模型顯然只能使用該傳感器的信號(hào)作為輸入。另一方面，MCU上的人工智能模塊通常可以支持較為通用的人工智能模型，同時(shí)也有機(jī)會(huì)做到使用多個(gè)傳感器的信號(hào)作為模型輸入。

當(dāng)然，MCU上的人工智能模塊的能效比通常會(huì)略遜于傳感器端的人工智能模塊，因此，在一個(gè)系統(tǒng)中可以把具有人工智能能力的傳感器和具有人工智能能力的MCU聯(lián)用，在傳感器端運(yùn)行較為專用的第一級(jí)較為簡(jiǎn)單的模型初篩事件，在需要的時(shí)候喚醒MCU上的 人工智能模塊去執(zhí)行較為通用的模型去進(jìn)行事件確認(rèn)。

目前，MCU芯片市場(chǎng)上已經(jīng)有一些相關(guān)的產(chǎn)品，例如NXP的RT600 MCU，該產(chǎn)品在ARM M33核之外，還集成了Tensilica HiFi 4 DSP并且擁有4.5 MB的片上存儲(chǔ)，從而可以加速通用人工智能模型。除了NXP之外，ADI的MAX78000 MCU集成了ARM M4和RISC-V核心，還集成了CNN加速器用來(lái)實(shí)現(xiàn)人工智能加速。我們認(rèn)為，未來(lái)會(huì)有越來(lái)越多的低功耗MCU加入人工智能能力從而滿足物聯(lián)網(wǎng)和智能設(shè)備的需求。

低功耗人工智能的市場(chǎng)格局

如我們之前所討論的，低功耗人工智能更多并非創(chuàng)造一種新的芯片品類，而是在現(xiàn)有的芯片中加入人工智能能力，從而創(chuàng)造一定的差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。我們目前看到，無(wú)論是在傳感器端還是在MCU端，都有市場(chǎng)中處于領(lǐng)先地位的企業(yè)（例如傳感器領(lǐng)域的Sony，ST；MCU領(lǐng)域的NXP，ADI等等）在積極加入人工智能功能，未來(lái)可望會(huì)有越來(lái)越多的公司的產(chǎn)品也會(huì)在人工智能方面進(jìn)行投入。

對(duì)于中國(guó)半導(dǎo)體企業(yè)來(lái)說(shuō)，傳感器和MCU方面的人工智能也是一個(gè)值得重視的方向。目前來(lái)看，加入人工智能更多的是一個(gè)產(chǎn)品定位和集成度問(wèn)題（即如何把握好產(chǎn)品對(duì)應(yīng)的市場(chǎng)，并且去集成最合適的人工智能模塊），但是在未來(lái)隨著技術(shù)的進(jìn)步，相關(guān)的技術(shù)積累也會(huì)逐漸加深，因此中國(guó)半導(dǎo)體廠商如果能在這個(gè)領(lǐng)域從目前就開(kāi)始布局，可以加深自己在這方面的技術(shù)實(shí)力并且增加產(chǎn)品在未來(lái)智能物聯(lián)網(wǎng)和下一代智能設(shè)備里的競(jìng)爭(zhēng)力。

審核編輯：劉清