透過生物啟發(fā)方式擷取影像中的“事件”(event)聽起來不僅酷炫，而且未來感十足。但有多少開發(fā)人員真正目睹基于事件的機器視覺技術效果？

大多數(shù)的開發(fā)人員都聽說過或讀過這一類的消息，他們可能感到很好奇。但是，他們多半只能在局外觀看，而不曾經(jīng)有過這種所謂“事件導向”(event-driven)的新型機器視覺技術之實戰(zhàn)經(jīng)驗。

總部位于法國巴黎的新創(chuàng)公司Prophesee鎖定的正是這些在此競賽中的“旁觀者”。該公司日前推出其首款針對視覺系統(tǒng)開發(fā)人員的參考系統(tǒng)，協(xié)助其用于嘗試、測試以及了解神經(jīng)形態(tài)(neuromorphic)視覺如何運作。

Prophesse首席執(zhí)行官Luca Verre在接受《EE Times》訪問時表示，該公司的參考設計最初鎖定的用戶將是“工業(yè)自動化機器和機器人領域的開發(fā)人員。此外，在汽車和物聯(lián)網(wǎng)(IoT)系統(tǒng)的客戶也將找到有助于表征[Prophesee]傳感器性能的參考系統(tǒng)。”

還有，研發(fā)實驗室和大學的研究人員也將從中受益。但Verre解釋說，真正的關鍵在于該參考系統(tǒng)將觸發(fā)圍繞著Prophesee事件導向、非影格基礎(frame-based)的視覺系統(tǒng)打造一個“生態(tài)系統(tǒng)”。“唯有建立了生態(tài)系統(tǒng)，才會帶來革命?！?/p>

Prophesee的Onboard參考系統(tǒng)將包含一個支持VGA分辨率的攝影機，內(nèi)建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon處理器、六軸慣性測量單元(IMU)，并支持一系列的連接器，包括USB 3.0、以太網(wǎng)絡、微型HDMI、Wi-Fi (802.11ac)與MIPI CSI-2。

Prophesee聲稱其功率效率和系統(tǒng)延遲均“低于10毫秒(ms)”。該公司之前曾經(jīng)說，其傳感器支持低于10mW的工作特性。

不同于傳統(tǒng)frame-based影像傳感器

數(shù)十年來，機器視覺系統(tǒng)設計人員依靠的是他們對于傳統(tǒng)影像傳感器如何擷取視覺信息的知識和經(jīng)驗。傳統(tǒng)的傳感器被設計為以一種預定的影格速率(frame rate)運作，而無論動態(tài)場景如何變化，而每個影格(frame)傳送來自所有像素的信息，同時對其進行均勻采樣。

所以，提高機器視覺系統(tǒng)的性能一直著重于由新型影像傳感器所實現(xiàn)的更高影格速率和更高分辨率。

Prophesee認為現(xiàn)在正是重新思考這種典范的時候了。

相較于傳統(tǒng)的frame-based攝影機，在Prophesee開發(fā)基于異步時間的影像傳感器中，每個像素均以不同速率各自決定對場景的每一部份進行采樣。Prophesee首席技術官Christoph Posch曾經(jīng)對為《EE Times》解釋：“透過對光線作出反應或改變接收到的入射光量，每個像素單獨控制其采樣，而不涉及頻率?！?/p>

因此，Prophesee的傳感器僅選擇場景中最有用和最相關的元素，從而有助于降低傳統(tǒng)frame-based系統(tǒng)所造成的功耗、延遲和數(shù)據(jù)處理等需求。

Prophesee的傳感器建立在“神經(jīng)形態(tài)”視覺的基礎上。人眼和大腦并不會將視覺信息記錄在一連串的影格中。Prophesee共同創(chuàng)辦人Ryad Benosman解釋，“人類擷取感興趣的東西——空間和時間的變化，并以極高的效率將這些信息傳送至大腦?！?/p>

由于影像傳感器并不受限于影格，因此，Verre解釋：“我們的技術不會錯過每個影格之間可能發(fā)生的重要事件?！?/p>

讓懷疑論者變成信徒

要求視覺系統(tǒng)工程師放棄神圣的影格概念，轉(zhuǎn)而開始使用事件導向的影像傳感器來打造新系統(tǒng)，可說是一項艱巨的任務。Verre在德國斯圖加特與博世(Bosch)晤談后，他在電話訪問中告訴我們：“這是許多工程師都難以接受的提議?！?/p>

Prophesee參考系統(tǒng)

協(xié)助設計工程師克服心理障礙的方法之一是為他們提供一個兼容于現(xiàn)有frame-based攝影機的參考系統(tǒng)，讓他們能復制現(xiàn)有結果作為默認選項。同時，Verre解釋說，相同的參考系統(tǒng)還可用于展示non-frame-based的影像傳感器如何執(zhí)行，使其比較新型成像數(shù)據(jù)的優(yōu)點。

他表示，該公司的Onboard參考系統(tǒng)采用“嵌入了大量工具庫的單板計算機，可用于檢測、追蹤、計數(shù)和測量等應用”。

鎖定工業(yè)自動化和機器人市場

Prophesee在德國國際‘Control’展會上展示其Onboard參考系統(tǒng)。據(jù)主辦單位表示，該展會專注于質(zhì)量保證，是“工業(yè)4.0計劃的驅(qū)動力”。

然而，Prophesee要追求典型保守的工業(yè)自動化市場并不容易。Verre坦承，這是一個成熟的市場，由機器制造商、系統(tǒng)整合商和機器視覺專家組成，他們已經(jīng)習慣于為每個機器視覺應用開發(fā)一系列昂貴且體積龐大的獨立設備。

Prophesee積極追逐工業(yè)自動化和機器人市場（來源：Prophesee）

Verre認為，Prophesee有能力改變游戲規(guī)則。Verre聲稱，透過導入基于單板移動平臺的機器視覺技術，自動化系統(tǒng)設計人員將能以更低功率和更多彈性，開發(fā)出更便宜、更小型的系統(tǒng)。

例如，Prophesee說，這是一種基于事件的方法，“讓傳感器達到較高速視覺相關應用更高的動態(tài)范圍。”該公司補充說，它讓具有成本效益的傳感器和系統(tǒng)記錄事件，否則這些事件需要傳統(tǒng)攝影機以每秒10,000格或更快的速率執(zhí)行。

Verre說，設計人員還可以進一步將Prophesee的技術應用于“監(jiān)測機器的健康狀態(tài)”。“機器是由移動組件組成。事件導向的攝影機可以檢測振動機器的機動組件，并以高頻率(超過100Hz)監(jiān)測任何異常行為?！?/p>

他解釋說：“傳統(tǒng)的機器視覺系統(tǒng)并不容易做到這一點。它們必須始終開啟，才能在振動發(fā)生之際實時擷取影像，而這將會要求傳統(tǒng)系統(tǒng)必須具有大量處理能力和數(shù)據(jù)儲存?！?/p>

Prophesee Onboard參考系統(tǒng)的軟件堆棧（來源：Prophesee）

相較于傳統(tǒng)工業(yè)自動化領域習以為常的單點機器視覺系統(tǒng)解決方案，Verre認為，Prophesee的參考系統(tǒng)的優(yōu)勢就在于透過高性能、多功能和低成本解決方案，讓整體產(chǎn)業(yè)運作更流暢、更簡單。

Prophesee目前正與對事件導向解決方案感興趣的汽車和IoT系統(tǒng)公司合作。華為(Huawei)透露Prophesee正是其合作伙伴，在開發(fā)增強現(xiàn)實/虛擬現(xiàn)實(AR/VR)和IoT計劃中使用了Prophesee技術。Verre說，Prophesee還與一家大型消費電子公司達成了合作協(xié)議，但他并未透露更多有關細節(jié)。