作者：高靜宜 來源：機(jī)器之能

「嵌入式 AI」這個概念非常火。不過，它到底是什么？更適合應(yīng)用到哪些場景里？還有什么是它做不到的？我們應(yīng)該來聽聽業(yè)內(nèi)做這一行的專家們的意見。

在人工智能迅猛發(fā)展的當(dāng)下，幾乎每一家企業(yè)都在探索行業(yè)的切入點(diǎn)，試圖在人工智能大潮中分一杯羹。

而在追尋 AI 商業(yè)化的道路上，人們逐漸發(fā)現(xiàn)，要實(shí)現(xiàn)技術(shù)的落地，不僅需要性能優(yōu)越的算法模型以及可靠的硬件支持，還需要把 AI 技術(shù)和硬件環(huán)境進(jìn)行有機(jī)結(jié)合，再應(yīng)用到具體的實(shí)際場景中，進(jìn)而滿足用戶的需求。

而「嵌入式 AI」就是當(dāng)前最熱門的 AI 商業(yè)化途徑之一。

「通過觀察市場我們發(fā)現(xiàn)，在 AI 領(lǐng)域主要有兩撥人。一方是高大上的算法團(tuán)隊(duì)，一方則是以深圳老板為代表的實(shí)體出貨商。有趣的是這兩撥人是完全不溝通的，就像一幫人看愛奇藝，一幫人看快手一樣。」Perceptln 公司聯(lián)合創(chuàng)始人劉少山根據(jù)算法與硬件之間存在的壁壘，舉了一個有意思的例子。

Perceptln 于 2016 年成立于硅谷，旨在提供機(jī)器人整體軟硬件解決方案。創(chuàng)始人劉少山先后就職于 LinkedIn、英特爾、微軟研究院，曾擔(dān)任百度無人車高級架構(gòu)師，對于嵌入式 AI 有一些獨(dú)到的見解。

「我們做的就是把 AI 技術(shù)帶給那些應(yīng)用廠商，推動整個市場發(fā)展。」據(jù)劉少山介紹，Perceptln 已針對高、中、低端等不同場景的應(yīng)用推出三條產(chǎn)品線，分別將 AI 技術(shù)嵌入到智能玩具、服務(wù)類機(jī)器人以及自動駕駛等應(yīng)用中。

事實(shí)上，嵌入式并非是一個新鮮或者「高大上」的概念。

所謂嵌入式，就是指一種可被內(nèi)置于設(shè)備或裝置的專用計(jì)算機(jī)系統(tǒng)。通常來說，具有數(shù)字接口的設(shè)備都具有嵌入式系統(tǒng)，如手機(jī)、車載電腦、智能手表等等。

而嵌入式 AI，則是一種讓 AI 算法可以在終端設(shè)備上運(yùn)行的技術(shù)概念。很簡單，換句話說，它的作用就是能讓音箱、手機(jī)、機(jī)器人等智能硬件在不聯(lián)網(wǎng)的情況下實(shí)時完成環(huán)境感知、人機(jī)交互、決策控制等功能。

而一位資深算法工程師告訴機(jī)器之能，通常來講他把程序編完了扔給公司里的嵌入式工程師，后者再負(fù)責(zé)把它嵌入到板子里。其實(shí)傳統(tǒng)做嵌入也是這個思路，兩端都要考慮，俗稱「兩頭堵」：

「按照我的理解，那些專注做嵌入式 AI 的可能是在針對 AI 模型做一些優(yōu)化或是板子的優(yōu)化，讓算法更高效地跑在板子上?！?/p>

那么嵌入式 AI 到底能做到什么？與云端 AI 相比，更適合應(yīng)用到哪些場景里？還有什么是它做不到的？我們來聽聽更多業(yè)內(nèi)做這一行的專家們的意見：

什么樣的垂直場景更需要嵌入式 AI？

眾所周知，神經(jīng)網(wǎng)絡(luò)包括模型訓(xùn)練和推斷兩個過程。而一提訓(xùn)練，就必定會涉及海量的數(shù)據(jù)輸入，計(jì)算規(guī)模也會根據(jù)場景復(fù)雜性的遞增而變得愈加龐大。

因此，受到計(jì)算資源的限制，嵌入式端很難實(shí)現(xiàn)模型訓(xùn)練的過程，也是我們下面要說的「幾個挑戰(zhàn)之一」。

而在推斷環(huán)節(jié)，云端推斷和嵌入式推斷，二者訴求不同，因此也在不同的應(yīng)用場景能夠發(fā)揮自己的優(yōu)勢：

前者的好處是，能夠承受高吞吐量并滿足復(fù)雜計(jì)算對資源的要求，因此多用于深度學(xué)習(xí)模型和計(jì)算較復(fù)雜的情況；而后者，則更多的應(yīng)用于對「實(shí)時處理」有更高要求的場景中。

什么是「實(shí)時處理」？我們來舉個最實(shí)際的例子。無人駕駛汽車需要實(shí)時監(jiān)測周圍環(huán)境，但是如果無人車突然進(jìn)入隧道，或者進(jìn)入某個連不了網(wǎng)的環(huán)境中呢？

是的，駕駛場景復(fù)雜多變，并不能保證時刻都能有一個百分之百可用的網(wǎng)絡(luò)。因此，嵌入式 AI 憑借其實(shí)時性優(yōu)勢及脫機(jī)運(yùn)行的能力得以自動駕駛領(lǐng)域展現(xiàn)實(shí)力。

國內(nèi)自動駕駛卡車技術(shù)研發(fā)公司圖森未來 COO 郝佳男就曾在接受機(jī)器之能采訪時表示：「從理論上講，在云端處理傳感器信號并不可行，存在延遲和可用性問題?！?/p>

因此，信號的本地處理也是整個自動駕駛領(lǐng)域的一大訴求，因?yàn)樵O(shè)備端采集到數(shù)據(jù)后上傳到計(jì)算完成返回終端的過程會不可避免地帶來一定的延時，駕駛的危險系數(shù)也隨之提升。

而中科創(chuàng)達(dá)副總裁孫力在前天舉辦的嵌入式人工智能技術(shù)論壇上也提到了這一問題：「自動駕駛汽車每秒鐘可以產(chǎn)生 1G 的數(shù)據(jù)，必須及時的、迅速的在本地來處理決策，不可能移到云端?！?br />
除了無人駕駛，在智能家居方面，試想一下如果用戶家中安裝了一個監(jiān)控攝像頭，那么把數(shù)據(jù)傳到云端很可能會增加個人隱私泄露的風(fēng)險。而由于嵌入式 AI 是在本地處理數(shù)據(jù)，數(shù)據(jù)沒有上云的過程，就可以保證用戶的信息安全，免除不必要的麻煩。

除了這些特定的應(yīng)用場景，一些 AI 技術(shù)公司對嵌入式 AI 也有著廣泛的需求。而近來因巨額融資引起廣泛熱議的 Face++就是其中的一員。

「雖然我們主攻金融、安防以及手機(jī)智能這三個垂直領(lǐng)域?！构?CTO 唐文斌向機(jī)器之能表示，「但是我們在手機(jī)端遇到了第一個問題?！顾忉尩馈?/p>

他們在手機(jī)端做實(shí)名認(rèn)證及人臉解鎖的時候發(fā)現(xiàn)，算法會不斷「吃」計(jì)算力。也就是說，即便計(jì)算力不斷增長，算法對計(jì)算力也總是處于「欲求不滿」的狀態(tài)。

其次是在攝像機(jī)端。他談到算法研發(fā)人員希望在做人臉識別的時候，可以讓人臉在視頻中的檢測、抓拍環(huán)節(jié)在相機(jī)端實(shí)現(xiàn)。這樣一來，就可以只傳輸有價值的信息，而非原始的大容量視頻，能夠有效減少傳輸帶寬以及后端部署服務(wù)器的計(jì)算量及存儲量，讓系統(tǒng)的整體架構(gòu)變得更加輕便。

「那么，本來信息可以存 3 個月，現(xiàn)在可以存 3 年，這會帶來非常大的價值。」唐文斌補(bǔ)充道。

嵌入式 AI 挑戰(zhàn)也很多，AI 公司都是如何選擇的？

在把 AI 技術(shù)部署于終端設(shè)備的過程中，嵌入式技術(shù)至關(guān)重要。簡單來說，這一過程需要對芯片進(jìn)行全方位考量以評估芯片的性能，然后根據(jù)神經(jīng)網(wǎng)絡(luò)算法做特殊化處理，「無縫對接」嵌入式設(shè)備的能力?！讣葲]有浪費(fèi)運(yùn)算單元，又最大程度地體現(xiàn)算法的精度，這是一個藝術(shù)活，也是技術(shù)活?！箤O力如是說。

然而，把嵌入式 AI 從云端遷移到終端卻并非易事。孫力表示，目前嵌入式 AI 面臨三大挑戰(zhàn)，分別為運(yùn)算能力、功耗及散熱。這些也是經(jīng)典嵌入式設(shè)備所面臨的問題。

此外，你還需要考慮算法新增的神經(jīng)網(wǎng)絡(luò)處理單元與原有 DSP、GPU 計(jì)算架構(gòu)的算法精度二者之間的平衡問題，以及如何對傳統(tǒng)運(yùn)算力較低的智能硬件設(shè)備進(jìn)行升級，或者怎樣為傳統(tǒng)硬件添加 SoC 以實(shí)現(xiàn)智能化轉(zhuǎn)型等等問題。

而這些也基本都與成本掛鉤（一提錢現(xiàn)場都笑了）。如何讓嵌入式 AI 展現(xiàn)出應(yīng)有的商業(yè)價值，也是真實(shí)存在且亟待解決的問題。

因此，孫力表示，在具體操作上，技術(shù)人員不僅需要剪裁優(yōu)化出最佳的計(jì)算模型并集成到移動設(shè)備上，還要保證操作系統(tǒng)向下驅(qū)動底層硬件，向上支持軟件算法，而且對于終端設(shè)備他們必須有深入的理解。

「只有這樣，才能保證整個嵌入式 AI 算法模型經(jīng)濟(jì)、高效的運(yùn)算?！?/strong>他強(qiáng)調(diào)。