計算機(jī)視覺是否會再次自我改造？

匹茲堡大學(xué)眼科教授、CMU 機(jī)器人研究所兼職教授 Ryad Benosman 認(rèn)為確實如此。作為基于事件的視覺技術(shù)的創(chuàng)始人之一，Benosman 預(yù)計神經(jīng)形態(tài)視覺——基于事件的相機(jī)的計算機(jī)視覺——是計算機(jī)視覺的下一個方向。

“計算機(jī)視覺已經(jīng)被改造了很多很多次，”他說。“我已經(jīng)看到它至少重新發(fā)明了兩次，從零開始，從零開始?！?/p>

Benosman 引用了 1990 年代從帶有一點攝影測量的圖像處理到基于幾何的方法的轉(zhuǎn)變，然后是今天機(jī)器學(xué)習(xí)的快速變化。盡管發(fā)生了這些變化，現(xiàn)代計算機(jī)視覺技術(shù)仍然主要基于圖像傳感器——產(chǎn)生類似于人眼所見圖像的相機(jī)。

根據(jù) Benosman 的說法，在圖像傳感范式不再有用之前，它會阻礙替代技術(shù)的創(chuàng)新。這種影響因 GPU 等高性能處理器的發(fā)展而延長，延遲了尋找替代解決方案的需要。

“我們?yōu)槭裁磳D像用于計算機(jī)視覺？這是一個價值百萬美元的問題，”他說?！拔覀儧]有理由使用圖像，這只是因為歷史的動力。甚至在沒有相機(jī)之前，圖像就有動力?！?/p>

圖像相機(jī)

自從公元前五世紀(jì)針孔相機(jī)出現(xiàn)以來，圖像相機(jī)就一直存在到 1500 年代，藝術(shù)家們建造了房間大小的設(shè)備，用于在畫布上追蹤房間外的人或風(fēng)景的圖像。多年來，這些畫被替換為膠片來記錄圖像。數(shù)碼攝影等創(chuàng)新最終使圖像相機(jī)很容易成為現(xiàn)代計算機(jī)視覺技術(shù)的基礎(chǔ)。

然而，Benosman 認(rèn)為，基于圖像相機(jī)的計算機(jī)視覺技術(shù)效率極低。他的類比是中世紀(jì)城堡的防御系統(tǒng)：位于城墻周圍的守衛(wèi)向各個方向?qū)ふ医咏臄橙?。鼓手穩(wěn)定地敲打，每一個鼓點，每個守衛(wèi)都會大聲喊出他們所看到的。在所有的呼喊聲中，聽到一個守衛(wèi)在遙遠(yuǎn)的森林邊緣發(fā)現(xiàn)敵人是多么容易？

21世紀(jì)的鼓聲硬件等價物是電子時鐘信號，而守衛(wèi)是像素——創(chuàng)建了大量數(shù)據(jù)，并且必須在每個時鐘周期進(jìn)行檢查，這意味著存在大量冗余信息和大量信息。需要不必要的計算。

“人們正在燃燒如此多的能量，它占用了城堡的整個計算能力來保護(hù)自己，”貝諾斯曼說。如果發(fā)現(xiàn)一個有趣的事件，在這個類比中以敵人為代表，“你必須四處走走收集無用的信息，到處都是人在尖叫，所以帶寬很大……現(xiàn)在想象你有一座復(fù)雜的城堡。 所有這些人都必須被聽到。”

進(jìn)入神經(jīng)形態(tài)視覺。基本思想受到生物系統(tǒng)工作方式的啟發(fā)，即檢測場景動態(tài)的變化，而不是連續(xù)分析整個場景。在我們的城堡類比中，這意味著讓守衛(wèi)保持安靜，直到他們看到感興趣的東西，然后喊出他們的位置以發(fā)出警報。在電子版中，這意味著讓單個像素決定他們是否看到相關(guān)的東西。

“像素可以自行決定他們應(yīng)該發(fā)送什么信息，而不是獲取系統(tǒng)信息，他們可以尋找有意義的信息——特征，”他說?！斑@就是與眾不同的地方?！?/p>

與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量電力并減少延遲。

“你想要一些更具適應(yīng)性的東西，這就是［基于事件的視覺］的相對變化給你的東西，一個適應(yīng)性的采集頻率，”他說?！爱?dāng)你觀察幅度變化時，如果某些東西移動得非?？?，我們就會得到很多樣本。如果某些東西沒有改變，你會得到幾乎為零，所以你正在根據(jù)場景的動態(tài)調(diào)整你的采集頻率。這就是它帶來的東西。這就是為什么它是一個好的設(shè)計?！?/p>

Benosman 于 2000 年進(jìn)入神經(jīng)形態(tài)視覺領(lǐng)域，他堅信先進(jìn)的計算機(jī)視覺永遠(yuǎn)無法發(fā)揮作用，因為圖像不是正確的方法。

“最大的轉(zhuǎn)變是說我們可以在沒有灰度和沒有圖像的情況下進(jìn)行視覺，這在 2000 年底是異端——完全是異端，”他說。

Benosman 提出的技術(shù)——今天基于事件的傳感的基礎(chǔ)——是如此不同，以至于提交給當(dāng)時最重要的 IEEE 計算機(jī)視覺期刊的論文未經(jīng)審查就被拒絕了。事實上，直到 2008 年動態(tài)視覺傳感器 （DVS） 的開發(fā)，該技術(shù)才開始獲得動力。

神經(jīng)科學(xué)靈感

神經(jīng)形態(tài)技術(shù)是受生物系統(tǒng)啟發(fā)的技術(shù)，包括終極計算機(jī)、大腦及其計算元素神經(jīng)元。問題是沒有人完全理解神經(jīng)元是如何工作的。雖然我們知道神經(jīng)元對傳入的稱為尖峰的電信號起作用，但直到最近，研究人員仍將神經(jīng)元描述為相當(dāng)草率，認(rèn)為只有尖峰的數(shù)量很重要。這個假設(shè)持續(xù)了幾十年。最近的研究證明，這些尖峰的時間是絕對關(guān)鍵的，并且大腦的結(jié)構(gòu)正在這些尖峰中產(chǎn)生延遲以編碼信息。

今天的尖峰神經(jīng)網(wǎng)絡(luò)模擬大腦中看到的尖峰信號，是真實事物的簡化版本——通常是尖峰的二進(jìn)制表示。“我收到一個 1，我醒來，我計算，我睡覺，”Benosman 解釋說?，F(xiàn)實要復(fù)雜得多。當(dāng)尖峰到來時，神經(jīng)元開始隨著時間的推移對尖峰的值進(jìn)行積分；神經(jīng)元也有泄漏，這意味著結(jié)果是動態(tài)的。還有大約 50 種不同類型的神經(jīng)元具有 50 種不同的集成配置文件。今天的電子版本缺少集成的動態(tài)路徑、神經(jīng)元之間的連接以及不同的權(quán)重和延遲。

“問題是要制造一個有效的產(chǎn)品，你不能［模仿］所有的復(fù)雜性，因為我們不理解它，”他說。“如果我們有好的大腦理論，我們會解決它——問題是我們只是不知道［足夠］?！?/p>

今天，Bensoman 經(jīng)營著一個獨特的實驗室，致力于了解皮層計算背后的數(shù)學(xué)，旨在創(chuàng)建新的數(shù)學(xué)模型并將其復(fù)制為硅設(shè)備。這包括直接監(jiān)測來自真實視網(wǎng)膜的尖峰。

目前，貝諾斯曼反對忠實地復(fù)制生物神經(jīng)元，稱這種方法過時。

“在硅中復(fù)制神經(jīng)元的想法的產(chǎn)生是因為人們觀察了晶體管并看到了一個看起來像真正神經(jīng)元的機(jī)制，所以一開始它背后有一些想法，”他說。“我們沒有細(xì)胞；我們有硅。你需要適應(yīng)你的計算基板，而不是相反……如果我知道我在計算什么并且我有芯片，我可以優(yōu)化這個方程式并以最低的成本、最低的功耗、最低的延遲運(yùn)行它?！?/p>

處理能力

意識到?jīng)]有必要精確復(fù)制神經(jīng)元，再加上 DVS 相機(jī)的發(fā)展，是當(dāng)今神經(jīng)形態(tài)視覺系統(tǒng)背后的驅(qū)動力。雖然今天的系統(tǒng)已經(jīng)上市，但在我們擁有完全類似于人類的視覺可用于商業(yè)用途之前，還有很長的路要走。

最初的 DVS 相機(jī)具有“大而粗的像素”，因為光電二極管本身周圍的組件大大降低了填充因子。雖然對開發(fā)這些攝像機(jī)的投資加速了這項技術(shù)，但 Benosman 明確表示，今天的事件攝像機(jī)只是對早在 2000 年開發(fā)的原始研究設(shè)備的改進(jìn)。來自索尼的最先進(jìn)的 DVS 攝像機(jī)，三星和 Omnivision 擁有微小的像素，融合了 3D 堆疊等先進(jìn)技術(shù)并降低了噪點。Benosman 擔(dān)心的是今天使用的傳感器類型能否成功擴(kuò)大規(guī)模。

“問題是，一旦你增加像素數(shù)量，你就會得到大量數(shù)據(jù)，因為你的速度仍然非?？欤彼f?！澳憧赡苋匀豢梢詫崟r處理它，但是你會從太多的像素中得到太多的相對變化。這現(xiàn)在正在殺死所有人，因為他們看到了潛力，但他們沒有合適的處理器來支持它?！?/p>

通用神經(jīng)形態(tài)處理器落后于 DVS 相機(jī)對應(yīng)物。一些業(yè)內(nèi)最大的參與者（IBM Truenorth、英特爾 Loihi）的努力仍在進(jìn)行中。Benosman 表示，正確的處理器和正確的傳感器將是無與倫比的組合。

“［今天的 DVS］ 傳感器速度極快，帶寬超低，動態(tài)范圍大，因此您可以在室內(nèi)和室外看到，”Benosman 說?！斑@是未來。它會起飛嗎？絕對地！”

“誰能把處理器放在那里并提供完整的堆棧，誰就贏了，因為它將是無與倫比的，”他補(bǔ)充道。

— Ryad Benosman 教授在5 月 17 日在加利福尼亞州圣克拉拉舉行的嵌入式視覺峰會上發(fā)表主題演講。