過(guò)去兩年，隨著AI的興起，還有有志于做人工智能芯片的企業(yè)開(kāi)始在自有的CPU中嵌入類(lèi)似寒武紀(jì)等品牌的NPU，或者如華為這樣自研NPU。蜂擁而起的AI造芯潮使得很多人認(rèn)為在這個(gè)新興的AI市場(chǎng)，Arm已經(jīng)喪失了先機(jī)，甚至有激進(jìn)者認(rèn)為Arm在這個(gè)即將爆發(fā)的人工智能市場(chǎng)將毫無(wú)建樹(shù)。

但在2018年二月公布代號(hào)為Project Trillium的機(jī)器學(xué)習(xí)計(jì)劃，2019年10月發(fā)布包括Ethos N77/N57/N37，并于日前發(fā)布全新的Ethos U55 NPU之后，這家IP巨頭的AI布局開(kāi)始逐漸浮出水面。

在談Arm的AI芯片布局之前，我們先來(lái)了解一下Arm以及當(dāng)前的AI芯片現(xiàn)狀。

AI時(shí)代錯(cuò)失先機(jī)

這家在英國(guó)成立，最終被軟銀巨額收購(gòu)的芯片公司是IP領(lǐng)域的絕對(duì)龍頭。

如果統(tǒng)計(jì)處理器市場(chǎng)，特別是嵌入式處理器，Arm的IP是當(dāng)中毫無(wú)疑問(wèn)的大贏家。以大家熟悉的智能手機(jī)市場(chǎng)為例，無(wú)論是國(guó)際知名的蘋(píng)果和三星，還是國(guó)內(nèi)的華為、小米，他們使用的處理器無(wú)一例外都是基于Arm-Cortex-A系列IP設(shè)計(jì)。

再看嵌入式MCU，因?yàn)镾T、NXP和瑞薩的力拱，以及一眾本土廠商的加入，Arm MCU的市場(chǎng)在過(guò)去多年里也節(jié)節(jié)攀升。關(guān)于Arm MCU的份額，并不能找到相關(guān)數(shù)據(jù)，但從Arm公司2017年的一份PPT中我們可以看到，物聯(lián)網(wǎng)設(shè)備中，有90%的控制器都是基于Arm產(chǎn)品設(shè)計(jì)的，微控制器市場(chǎng)，Arm的份額也高達(dá)20%。如果統(tǒng)計(jì)整個(gè)帶有處理器的芯片，則使用Arm相關(guān)IP的產(chǎn)品占比達(dá)到39%。

Arm在不同市場(chǎng)的份額和機(jī)會(huì)（source：Arm）此外，Arm還有GPU和DPU等一系列IP在市場(chǎng)上表現(xiàn)不錯(cuò)，這也幫助Arm獲得了不錯(cuò)的市場(chǎng)份額。

據(jù)IP Nest的統(tǒng)計(jì)數(shù)據(jù)顯示，整個(gè)IP市場(chǎng)2018年的總值為36.02億美元，當(dāng)中雖然Arm的份額連續(xù)第三年下滑，但是他們的占有率還是高達(dá)44.7%，遙遙領(lǐng)先于第二位。IP Nest在報(bào)告中還談到，高端產(chǎn)品的授權(quán)轉(zhuǎn)向了架構(gòu)授權(quán)，而最低端的處理器則開(kāi)始擁抱RISC-V。在2018年的IP市場(chǎng)里，還有一個(gè)值得關(guān)注的點(diǎn)，那就是機(jī)器學(xué)習(xí)和其他專(zhuān)用架構(gòu)產(chǎn)品的興起。

但在AI發(fā)展的前幾年，Arm在這方面是缺失的。

2018年的IP供應(yīng)商排名回看過(guò)去幾年的AI芯片發(fā)展，云端市場(chǎng)是GPU、ASIC和FPGA這些大規(guī)模芯片的自留地，這是大部分的芯片廠商所無(wú)法設(shè)計(jì)的，但在終端的推理市場(chǎng)，則百花盛開(kāi)，百家爭(zhēng)鳴。有廠商一開(kāi)始就通過(guò)自研去步入這個(gè)領(lǐng)域（如蘋(píng)果），在MCU市場(chǎng)，ST也推出了代號(hào)為Orlando Project的專(zhuān)用卷積神經(jīng)網(wǎng)絡(luò)加速器；有廠商則依靠第三方IP去進(jìn)攻這個(gè)市場(chǎng)。這就催生了寒武紀(jì)和耐能一些新興的NPU IP供應(yīng)商，也讓一些老牌廠商的產(chǎn)品在AI加速器這個(gè)市場(chǎng)尋找了新的機(jī)遇，如CEVA、Cadence（Tensilica）和Verisilicon就是當(dāng)中的代表。

根據(jù)ABIRe-search預(yù)測(cè)，2024年，終端AI芯片市場(chǎng)規(guī)模將增長(zhǎng)至710億美元，2019年至2024年間的年復(fù)合增長(zhǎng)率將達(dá)31%?？紤]到AIoT市場(chǎng)的潛力，當(dāng)中必然有相當(dāng)大一部分營(yíng)收來(lái)自于Arm MCU供應(yīng)商。那就意味著如果Arm握不住這個(gè)市場(chǎng)，他們將會(huì)錯(cuò)失一大塊蛋糕。甚至有可能在一些集成了RISC-V 與加速器的MCU的倒逼下，連本身領(lǐng)先的Cortex-M MCU城池也失守。

為此，Arm加速AI部署刻不容緩，這就促使Arm在昨日放了個(gè)大招。

投下NPU重磅炸彈

其實(shí)Arm NPU并不是什么新鮮事物。在文章開(kāi)頭我們已經(jīng)說(shuō)到，Arm在去年就推出了其Ethos N77/N57/N37系列NPU。Arm的這個(gè)家族的NPU是瞄準(zhǔn)手機(jī)、AR/VR和智能監(jiān)控等市場(chǎng)。

但很顯然，Arm的NPU在這些市場(chǎng)幾無(wú)勝算。

Arm Ethos N77/N57/N37家族首先看手機(jī)市場(chǎng)，盤(pán)點(diǎn)現(xiàn)在的手機(jī)處理器廠商華為、高通、蘋(píng)果、三星、MTK和展銳，除了展銳授權(quán)了Imagination的AI加速器之外之外，其他所有的廠商都是使用的自研NPU或者使用異構(gòu)的硬件來(lái)做AI加速，當(dāng)中的華為和MTK等NPU忠實(shí)玩家甚至都已經(jīng)將其AI加速器推進(jìn)到第三代。在這個(gè)發(fā)展過(guò)程中，他們也同步發(fā)展了其AI軟件和生態(tài)，這就讓他們沒(méi)有任何理由轉(zhuǎn)向Arm的加速器。上圖的其他市場(chǎng)大多也有這種境況。

但在未來(lái)巨大的市場(chǎng)當(dāng)中，還有一個(gè)目前還沒(méi)有被大幅挖掘的金礦，那就是低功耗的終端應(yīng)用。這也是Arm Ethos U55所瞄準(zhǔn)的目標(biāo)。而據(jù)行業(yè)的專(zhuān)家告訴半導(dǎo)體行業(yè)觀察記者，AI加速器能否應(yīng)用到超低功耗的物聯(lián)網(wǎng)市場(chǎng)，首先要關(guān)注的一點(diǎn)就是它的功耗表現(xiàn)，這也是Arm在致力于解決的。

日前發(fā)布的Ethos U55 和與之搭配的Cortex-M55則是Arm在這個(gè)市場(chǎng)的小試牛刀。

Arm為終端AI帶來(lái)的全新方案Arm的官方表示，新增的Cortex-M55是Arm歷來(lái)AI能力最為強(qiáng)大的Cortex-M處理器，也是首款基于Armv8.1-M架構(gòu)、內(nèi)建Arm Helium向量處理技術(shù)的處理器，它可以大幅提升DSP與ML的性能，同時(shí)更省電。Arm同時(shí)指出，在這個(gè)新的處理器上，客戶(hù)可以使用Arm Custom Instructions （Arm自定義指令集）延伸處理器的能力，對(duì)特定工作負(fù)載進(jìn)行優(yōu)化。來(lái)到Ethos-U55，這是一個(gè)可從32個(gè)MAC擴(kuò)展到256個(gè)MAC的micro NPU，在與Cortex-M55耦合之后，能夠?yàn)槲⒖刂破鲙?lái)480倍的機(jī)器學(xué)習(xí)性能飛躍。

Arm方面還強(qiáng)調(diào)，這個(gè)全新搭配還得到了Cortex-M軟件開(kāi)發(fā)工具鏈的支持，這就使得其針對(duì)傳統(tǒng)DSP與ML等工作負(fù)載，有了一致的開(kāi)發(fā)流程；同時(shí)從TensorFlow Lite Micro開(kāi)始，能針對(duì)先進(jìn)機(jī)器學(xué)習(xí)框架進(jìn)行特定的整合與優(yōu)化，確保開(kāi)發(fā)人員擁有無(wú)縫的開(kāi)發(fā)體驗(yàn)，并能夠在任何一種Cortex-M與Ethos-U55的配置上，獲取最佳性能。

Arm首款microNPU業(yè)內(nèi)專(zhuān)家也告訴半導(dǎo)體行業(yè)觀察記者，考慮到Arm當(dāng)前的地位和名聲，這套方案帶給市場(chǎng)的影響是顯而易見(jiàn)的。Cortex-M方面自不用多說(shuō)，這是他們?cè)谇度胧绞袌?chǎng)安身立命的重要武器。而來(lái)到NPU方面，也同樣亮點(diǎn)不少。一方面，這是一個(gè)帶兩級(jí)SRAM，L2 SRAM可擴(kuò)展到數(shù)MB的產(chǎn)品；另一方面，Ethos-U55自帶DMA+control unit， 可完成異步數(shù)據(jù)流管理；第三，Ethos-U55的Weight Decoder可將神經(jīng)網(wǎng)絡(luò)中的weights進(jìn)行壓縮，提高帶寬；第四，這個(gè)NPU還有針對(duì)element wise運(yùn)算的特殊加速單元，能幫助矩陣運(yùn)算。

“還有一點(diǎn)，Arm CMSIS-NN所積聚的生態(tài)，也會(huì)是一個(gè)重要的X因素”，業(yè)內(nèi)專(zhuān)家強(qiáng)調(diào)。

據(jù)介紹，所謂CMSIS的全稱(chēng)是Cortex Microcontroller Software Interface Standard （Cortex微處理器軟件接口標(biāo)準(zhǔn)），這是Arm為了解決微處理器生態(tài)中軟件無(wú)法兼容的問(wèn)題而推出的。而CMSIS-NN則是Arm為了緩解微處理器神經(jīng)網(wǎng)絡(luò)相關(guān)軟件優(yōu)化壓力而推出的CMSIS新成員。

CMSIS-NN的框架圖行業(yè)專(zhuān)家表示，在Arm剛推出這個(gè)庫(kù)的時(shí)候，彼時(shí)的Arm Cortex-M還不能跑出讓人眼前一亮的結(jié)果。但因?yàn)锳rm強(qiáng)大的號(hào)召力，即使很多廠商并不知道它的真正用途，但都紛紛將其融入了其OS和生態(tài)里。

而在上述的M55和U55出來(lái)以后，Arm的計(jì)劃似乎也明朗了起來(lái)。

勝負(fù)未知

也許Arm的想法是這樣的——我們有足夠多的MCU客戶(hù)，有足夠多終端用戶(hù)，過(guò)去的十幾年里，我們也構(gòu)建了無(wú)可比擬的生態(tài)，只要我們把這套工具磨利，就能讓大家投奔我門(mén)下，讓Arm在嵌入式AI領(lǐng)域重現(xiàn)Cortex-A和Cortex-M時(shí)代的輝煌。

但市場(chǎng)已經(jīng)不再是以前的市場(chǎng)。

我們可以看到，無(wú)論是Cortex-A所支持的AP或者是Cortex-M所驅(qū)動(dòng)的MCU生態(tài)，他們所面對(duì)的都是相對(duì)單一的需求。換而言之打造一些通用化的方案就能通吃市場(chǎng)。但進(jìn)入了當(dāng)前的AIoT市場(chǎng)，市場(chǎng)需求千差萬(wàn)別，定制化或者會(huì)更為一股重要的趨勢(shì)，這也是Arm Custom Instructions面世的原因之一。

更重要的是，Arm不但迎來(lái)了新的技術(shù)，還迎來(lái)了更強(qiáng)悍的競(jìng)爭(zhēng)對(duì)手。

首先，以大家過(guò)去一兩年常談的RISC-V為例，因?yàn)槠洫?dú)特的開(kāi)源特性和成本優(yōu)勢(shì)，很多分析人士都認(rèn)為其可以在AIoT時(shí)代大展拳腳。而在最近，RISC-V的領(lǐng)先廠商SiFive也宣布，將攜手IP廠商CEVA，在CPU、DSP、AI處理器和軟件方面進(jìn)行合作，幫助芯片企業(yè)開(kāi)發(fā)出大批量面向智能家居、汽車(chē)、機(jī)器人、安保、增強(qiáng)現(xiàn)實(shí)、工業(yè)和物聯(lián)等一系列邊緣智能SoC。在官方新聞稿里，他們也強(qiáng)調(diào)了面向特定領(lǐng)域的超低功耗Edge AI處理器，這正是Arm新產(chǎn)品所聚焦的。

其次，Lattice這些小容量FPGA供應(yīng)商，也無(wú)限看好這個(gè)市場(chǎng)。Lattice方面表示，基于他們的Lattice sensAI可以幫助OEM廠商為下一代毫瓦級(jí)智能設(shè)備賦予AI和ML功能。對(duì)于Arm陣型來(lái)說(shuō)，這也是一個(gè)潛在的挑戰(zhàn)者。

第三，類(lèi)似Greenwaves這些初創(chuàng)企業(yè)，也成為嵌入式AI市場(chǎng)的一個(gè)不確定因素。資料顯示，他們最新推出的GAP 9可提供41.6 GB /秒的峰值群集內(nèi)存帶寬和高達(dá)50 GOPS的組合計(jì)算能力，而總功耗僅僅為50mW，再搭配其完整的工具，這也成為了嵌入式AI市場(chǎng)一股不可忽視的勢(shì)力。

第四，在Arm芯片陣型里，有一些大客戶(hù)在研發(fā)自己的加速器方案，如瑞薩的動(dòng)態(tài)可配置處理器 （DRP） 技術(shù)就是當(dāng)中一個(gè)代表。再搭配其SOTB制程來(lái)降低功耗，這就讓日本巨頭的嵌入式AI方案變得非常有競(jìng)爭(zhēng)力。

最后，Arm的嵌入式AI方案是否真的能如他們所說(shuō)，減輕了很多客戶(hù)的開(kāi)發(fā)工作？這是一個(gè)值得推敲的問(wèn)題。行業(yè)專(zhuān)家表示，在嵌入式AI這個(gè)領(lǐng)域，其實(shí)大家在軟件開(kāi)發(fā)上面的難度差不多，迄今為止也沒(méi)有人能建立其一個(gè)很強(qiáng)大的生態(tài)。

而對(duì)于那些購(gòu)買(mǎi)了Arm NPU IP的人，他們除了需要面對(duì)數(shù)據(jù)搬運(yùn)的挑戰(zhàn)外，還要直面是否有完整的工具，能很好幫助他們完成模型訓(xùn)練到片上移植的過(guò)程。最重要的一點(diǎn)，Arm的這些新IP授權(quán)費(fèi)用怎么收？這也是一個(gè)重要考量點(diǎn)。但即使如此，Arm也邁開(kāi)了嵌入式AI市場(chǎng)的一大步。

從分析師預(yù)測(cè)看來(lái)，AIoT是發(fā)展的必然趨勢(shì)，這也是一個(gè)多個(gè)陣營(yíng)虎視眈眈，但誰(shuí)都沒(méi)有把握穩(wěn)贏的市場(chǎng)。作為一個(gè)擁用強(qiáng)大的生態(tài)合作伙伴的Arm，能否憑借新產(chǎn)品成為這個(gè)賽道的領(lǐng)跑者，尚待觀察。但對(duì)他們來(lái)說(shuō)，這關(guān)鍵一戰(zhàn)的沖鋒號(hào)已經(jīng)吹響。
責(zé)任編輯：tzh