據(jù)麥姆斯咨詢介紹，神經(jīng)形態(tài)視覺(jué)傳感是一種受生物啟發(fā)的相機(jī)，可以捕捉場(chǎng)景中的活動(dòng)，降低數(shù)據(jù)冗余和延遲。這些基于事件的傳感器使機(jī)械的自主性更加接近現(xiàn)實(shí)，并在工業(yè)自動(dòng)化、消費(fèi)電子和自動(dòng)駕駛車輛等領(lǐng)域基于視覺(jué)的高速應(yīng)用中找到用武之地。

“為什么說(shuō)基于事件的視覺(jué)傳感器是神經(jīng)形態(tài)的？因?yàn)槊總€(gè)像素都是一個(gè)神經(jīng)元，把人工智能引入像素邊緣完全有意義?！盰ole首席分析師Pierre Cambou稱。

最近幾個(gè)月，沉寂多年的神經(jīng)形態(tài)視覺(jué)傳感產(chǎn)業(yè)似乎又重新回到了人們的視野。去年11月，三星為其移動(dòng)和平板電腦應(yīng)用的動(dòng)態(tài)視覺(jué)傳感器（Dynamic Vision Sensor， DVS）技術(shù)提交了商標(biāo)申請(qǐng)。Pierre Cambou說(shuō)，“這算是一個(gè)驚喜！因?yàn)槿亲畛跏袌?chǎng)化的動(dòng)態(tài)視覺(jué)傳感器主要用于汽車高級(jí)駕駛輔助系統(tǒng)（ADAS）?！?/p>

2019年12月，索尼悄悄收購(gòu)了總部位于蘇黎世的Insightness公司，該公司的視覺(jué)傳感器即使在運(yùn)動(dòng)中也可以在幾毫秒內(nèi)實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè)。2020年2月，總部位于巴黎的Prophesee公司在完成2800萬(wàn)美元額外融資后不久，和索尼一起在美國(guó)舊金山舉行的國(guó)際固態(tài)電路會(huì)議（International Solid-State Circuits Conference）上聯(lián)合宣布，他們已經(jīng)開發(fā)出一種基于事件的堆疊式圖像傳感器。

Prophesee基于事件的圖像傳感器的成像圖片

神經(jīng)形態(tài)傳感起源于1991年蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）神經(jīng)信息學(xué)研究所Misha Mahowald開發(fā)的“硅視網(wǎng)膜”技術(shù)。Mahowald解釋稱，“模仿人類視網(wǎng)膜，這種‘硅視網(wǎng)膜’通過(guò)從圖像中減去平均強(qiáng)度水平，只報(bào)告空間和時(shí)間變化，從而減少了帶寬。”這種靈感推動(dòng)了動(dòng)態(tài)視覺(jué)傳感器背后的概念，使蘇黎世聯(lián)邦理工學(xué)院成為該技術(shù)的創(chuàng)新中心，并孕育了像Prophesee、Insightness等無(wú)數(shù)初創(chuàng)企業(yè)。瑞士創(chuàng)新公司iniVation也是其中之一。

iniVation開發(fā)的DAVIS346

這家總部位于蘇黎世的初創(chuàng)公司由基于事件的視覺(jué)先驅(qū)們于2015年創(chuàng)建，他們開發(fā)了一種動(dòng)態(tài)視覺(jué)平臺(tái)，結(jié)合硬件和軟件用于高性能機(jī)器視覺(jué)系統(tǒng)。iniVation的神經(jīng)形態(tài)動(dòng)態(tài)視覺(jué)傳感器芯片DAVIS346模仿了人類視網(wǎng)膜的特性。只有在發(fā)生局部像素級(jí)的變化時(shí)才會(huì)進(jìn)行傳輸，以微秒級(jí)的分辨率生成事件流，與傳統(tǒng)的視覺(jué)傳感器相當(dāng)，但數(shù)據(jù)量卻少得多。該公司聲稱，由于采用本地化處理，其功耗（最多減少90%）、數(shù)據(jù)存儲(chǔ)和計(jì)算要求顯著降低，同時(shí)還提高了傳感器的動(dòng)態(tài)范圍（高于120 dB）。

iniVation通過(guò)300個(gè)客戶的網(wǎng)絡(luò)，與賓夕法尼亞大學(xué)（University of Pennsylvania）、蘇黎世大學(xué)（University of Zurich）和美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）的研究人員合作開發(fā)了IBM的TrueNorth仿人腦芯片。這項(xiàng)研究的重點(diǎn)是無(wú)人駕駛飛機(jī)的自主飛行。

暢想智能制造

現(xiàn)代制造業(yè)正在發(fā)生一場(chǎng)無(wú)聲的革命。機(jī)器自主和自動(dòng)化相輔相成，大量制造自動(dòng)化的發(fā)展背后是機(jī)器視覺(jué)。與簡(jiǎn)單的傳感器不同，機(jī)器視覺(jué)傳感器會(huì)產(chǎn)生大量的數(shù)據(jù)以識(shí)別有缺陷的系統(tǒng)，了解它們的缺陷并進(jìn)行快速干預(yù)。其結(jié)果是節(jié)約的成本和提高的生產(chǎn)率。

iniVation稱，其動(dòng)態(tài)視覺(jué)平臺(tái)適用于工業(yè)視覺(jué)，可實(shí)現(xiàn)基礎(chǔ)設(shè)施的高速3D掃描，用于預(yù)測(cè)性維護(hù)、高速生產(chǎn)檢測(cè)、顆粒、熒光成像顯微鏡以及人體運(yùn)動(dòng)分析。換句話說(shuō)，它能夠以高速度、高精度和高一致性執(zhí)行普通或復(fù)雜的重復(fù)任務(wù)。

“我們花了一段時(shí)間才找到一個(gè)好的策略?！眎niVation首席執(zhí)行官Kynan Eng說(shuō)，“很多公司可以提供高速計(jì)數(shù)，由于傳統(tǒng)相機(jī)可以實(shí)現(xiàn)每秒1000幀甚至更高，所以高速計(jì)數(shù)并不是根本。如果應(yīng)用不需要即時(shí)響應(yīng)，那么，使用我們的傳感器就沒(méi)有什么意義?！?/p>

對(duì)于iniVation傳感器應(yīng)用，關(guān)鍵的是延遲而不是數(shù)據(jù)吞吐量，iniVation的傳感器具有快速響應(yīng)時(shí)間，例如一個(gè)不斷移動(dòng)執(zhí)行任務(wù)的機(jī)器人，它需要實(shí)時(shí)調(diào)整它的路徑。如果調(diào)整得越快，它就能移動(dòng)得越快，同時(shí)檢測(cè)自己錯(cuò)誤的速度也越快。

“在我看來(lái)，工業(yè)視覺(jué)是一個(gè)相對(duì)低風(fēng)險(xiǎn)，但市場(chǎng)規(guī)模也低的市場(chǎng)。”Eng說(shuō)。因此，風(fēng)險(xiǎn)投資基金很少有興趣。著眼于有機(jī)增長(zhǎng)，iniVation正在考慮規(guī)模經(jīng)濟(jì)。通過(guò)2019年與三星（Samsung）的合作，iniVation從制造和芯片銷售轉(zhuǎn)向?qū)C(jī)器視覺(jué)行業(yè)銷售相機(jī)?！澳憧梢再u100美元的芯片，也可以把它裝在相機(jī)里，賣1000美元的相機(jī)?！盰ole分析師Cambou指出。

通過(guò)轉(zhuǎn)向系統(tǒng)級(jí)產(chǎn)品，iniVation正在往高價(jià)值鏈上拓展。

“我們認(rèn)識(shí)到，只成為一家芯片公司沒(méi)有意義。”Eng說(shuō)，“我們可以融資10億美元，但這仍不足以自己制造芯片?？蛻粢恢眴?wèn)我們，為什么我們的相機(jī)價(jià)格昂貴，如何才能讓它們便宜。與三星合作，就是問(wèn)題的答案?！?/p>

對(duì)產(chǎn)品質(zhì)量的高要求，推動(dòng)了食品、包裝、消費(fèi)電子、航空航天以及汽車行業(yè)的機(jī)器視覺(jué)。Eng說(shuō)，iniVation的目標(biāo)是進(jìn)入更大的市場(chǎng)。

移動(dòng)領(lǐng)域空間巨大

基于事件的相機(jī)只傳輸強(qiáng)度的變化。它們不會(huì)受到運(yùn)動(dòng)模糊的影響，延遲時(shí)間約為微秒級(jí)。加上很高的動(dòng)態(tài)范圍和很低的功耗，使基于事件的相機(jī)非常適合虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用（VR/AR）?！斑@是一個(gè)巨大的潛在市場(chǎng)，不過(guò)，現(xiàn)在還不知道什么時(shí)候會(huì)真正起量?，F(xiàn)在，它是一個(gè)利基市場(chǎng)?！盓ng說(shuō)。

基于事件的相機(jī)也可以應(yīng)用于移動(dòng)設(shè)備?！爸攸c(diǎn)在于說(shuō)服手機(jī)制造商在手機(jī)背面再增加一顆傳感器?！盓ng說(shuō)。最初，iniVation和其它基于事件相機(jī)的廠商只生產(chǎn)使用DVS像素的相機(jī)。Eng補(bǔ)充說(shuō)：“這些特性有利于應(yīng)對(duì)高速變化，但在很多情況下，人們只是想自拍或者給美食拍照。幾年前，我們開始開發(fā)一種兼具基于事件像素和正常像素的傳感器。用戶可以拍攝普通照片，進(jìn)行普通處理，但對(duì)于特定的用例，用戶會(huì)用到我們基于事件的像素?！?/p>

因此，手機(jī)制造商不必做出非此即彼的決定，并能維持同樣水平的價(jià)格。

Cambou說(shuō)：“手機(jī)市場(chǎng)或?qū)⒃?021年~2022年前后開啟?，F(xiàn)在，我們已經(jīng)在華為手機(jī)的背面看到了5顆攝像頭。除了‘永久在線’的神經(jīng)形態(tài)相機(jī)，我想不出再下一顆攝像頭還有誰(shuí)。有人會(huì)說(shuō)‘多光譜相機(jī)’，但我認(rèn)為更多的可能是讓智能手機(jī)始終保持‘意識(shí)’。基于事件的相機(jī)可以實(shí)現(xiàn)無(wú)接觸的交互，如鎖定和解鎖手機(jī)。”

與Prophesee和索尼的合作一樣，和三星的合作為iniVation在智能手機(jī)市場(chǎng)上提供了一條新的發(fā)展道路。Cambou說(shuō)，一如既往，這是一個(gè)如何落地的問(wèn)題。“永久在線意識(shí)已經(jīng)提出好多年了，但現(xiàn)在的問(wèn)題是如何實(shí)現(xiàn)它。這取決于應(yīng)用，以及在客戶體驗(yàn)方面可以提供哪些改善?！?/p>

為汽車提供智慧雙眼

基于事件的相機(jī)很節(jié)能，因?yàn)橄袼鼗顒?dòng)微不足道；對(duì)于“靜默時(shí)”的像素幾乎不需要能量。這是一個(gè)賣點(diǎn)，因?yàn)樽詣?dòng)駕駛汽車正從內(nèi)燃機(jī)向電動(dòng)引擎過(guò)渡。對(duì)于汽車公司來(lái)說(shuō)，功耗比最初認(rèn)為的要重要得多。Eng說(shuō)，“在目前的電動(dòng)汽車設(shè)計(jì)中，如果一輛汽車以恒定速度使用4 kW的總功率預(yù)算，那么其中一半會(huì)用于推動(dòng)汽車，另一半則要用于計(jì)算。計(jì)算環(huán)節(jié)省下來(lái)的每一瓦特電能，都可以延長(zhǎng)汽車的續(xù)航里程，或者使用更小的電池?！?/p>

iniVation的動(dòng)態(tài)視覺(jué)傳感器平臺(tái)能夠在惡劣的照明條件下實(shí)現(xiàn)車輛量距、高速即時(shí)定位和地圖繪制（SLAM）以及自動(dòng)駕駛輔助。“隨著處理技術(shù)的發(fā)展，自動(dòng)駕駛汽車的前景將會(huì)越來(lái)越明朗?！盓ng說(shuō)，“我們將提供一種混合傳感器，它將同時(shí)具備幀速和基于事件的傳感能力，這樣汽車制造商就可以繼續(xù)使用它們已經(jīng)投入數(shù)十億美元開發(fā)的產(chǎn)品?！?/p>

傳感器是解鎖自動(dòng)駕駛的關(guān)鍵。Cambou表示，這些傳感器會(huì)產(chǎn)生大量的數(shù)據(jù)，系統(tǒng)將嚴(yán)重受限于處理能力。更多的攝像頭和隨之而來(lái)的更多數(shù)據(jù)意味著“計(jì)算爆炸”。一個(gè)解決方案是提高數(shù)據(jù)質(zhì)量。Cambou 補(bǔ)充說(shuō)，“真的要解決自動(dòng)駕駛問(wèn)題，就需要更多類型的傳感數(shù)據(jù)，例如激光雷達(dá)、熱像儀和高光譜相機(jī)等。我認(rèn)為汽車廠商也應(yīng)該考慮基于事件的相機(jī)。”

神經(jīng)形態(tài)工程的潛力仍有待開發(fā)。Yole稱，到2029年，神經(jīng)形態(tài)半導(dǎo)體、傳感和計(jì)算將成長(zhǎng)為71億美元規(guī)模的市場(chǎng)。如果在未來(lái)4~5年內(nèi)可以解決所有技術(shù)問(wèn)題，神經(jīng)形態(tài)計(jì)算市場(chǎng)將從2024年的6900萬(wàn)美元增長(zhǎng)到2029年的50億美元，以及2034年的213億美元。神經(jīng)形態(tài)傳感市場(chǎng)將從2024年的3400萬(wàn)美元增長(zhǎng)到2029年的20億美元，以及2034年的47億美元。