一．概述

事件相機(jī)（Event-based camera）是一種受生物啟發(fā)的新型視覺(jué)傳感器，有時(shí)也稱(chēng)動(dòng)態(tài)視覺(jué)傳感器（DVS，dynamic visionsensor）或DAVIS（Dynamic and Active-Pixel VisionSensor）。相比于以固定幀率采集圖像的標(biāo)準(zhǔn)相機(jī)，它具有低延遲、高動(dòng)態(tài)范圍、低功耗、高時(shí)間分辨率等特點(diǎn)。

圖1展示了事件相機(jī)和標(biāo)準(zhǔn)相機(jī)的數(shù)據(jù)采集過(guò)程，從中可看出，當(dāng)物體運(yùn)動(dòng)時(shí)，標(biāo)準(zhǔn)相機(jī)受到采樣頻率的影響會(huì)丟失部分?jǐn)?shù)據(jù)，而事件相機(jī)采集的數(shù)據(jù)則相對(duì)更加完整。另外，當(dāng)目標(biāo)物體與相機(jī)具有相對(duì)運(yùn)動(dòng)時(shí)，受到曝光時(shí)間等因素的影響，用標(biāo)準(zhǔn)相機(jī)獲得的圖像極易產(chǎn)生運(yùn)動(dòng)模糊，而用事件相機(jī)獲得的數(shù)據(jù)則沒(méi)有這個(gè)問(wèn)題。

下面，我將從工作原理、常見(jiàn)的應(yīng)用場(chǎng)景和數(shù)據(jù)處理范式出發(fā)，對(duì)事件相機(jī)做一個(gè)簡(jiǎn)要介紹。

圖1. 事件相機(jī)與標(biāo)準(zhǔn)相機(jī)輸出數(shù)據(jù)對(duì)比[1]

二．事件相機(jī)的工作原理

事件相機(jī)可以簡(jiǎn)單理解為一種“僅感知運(yùn)動(dòng)物體”的傳感器。在事件相機(jī)的每個(gè)像素處都有一個(gè)獨(dú)立的光電傳感模塊，當(dāng)該像素處的亮度變化超過(guò)設(shè)定閾值時(shí)，就會(huì)生成、輸出事件數(shù)據(jù)（有時(shí)也稱(chēng)脈沖數(shù)據(jù)）。另外，由于所有的像素都是獨(dú)立工作的，所以事件相機(jī)的數(shù)據(jù)輸出是異步的，在空間上呈現(xiàn)稀疏的特點(diǎn)。這也是事件相機(jī)與標(biāo)準(zhǔn)相機(jī)的最大不同之處，也是事件相機(jī)的核心創(chuàng)新。這種成像范式的好處是可以大大減少冗余數(shù)據(jù)，從而提高后處理算法的計(jì)算效率。 傳感器的工作原理通?；谝粋€(gè)特定的數(shù)學(xué)模型，下面我們介紹一下事件相機(jī)的數(shù)學(xué)模型。為了方便介紹，我們首先定義一些名詞和變量。設(shè)定亮度為；事件相機(jī)中的亮度定義為實(shí)際亮度的對(duì)數(shù)值，即。那么，時(shí)刻在像素處的亮度增益記為 ? 其中，表示微小時(shí)間間隔。當(dāng)亮度變化超過(guò)設(shè)定的閾值時(shí)，那么就會(huì)觸發(fā)事件，該過(guò)程表示為 ? 其中，表示設(shè)定亮度變化閾值，通常情況下，的值設(shè)置為亮度的10%~50%；表示事件的極性，若亮度增強(qiáng)，則表示發(fā)生正事件，否則，表示發(fā)生負(fù)事件。最終，觸發(fā)的事件數(shù)據(jù)表示為。 圖2展示了事件觸發(fā)的效果。其中，左圖表示時(shí)間內(nèi)在各像素處生成的離散數(shù)據(jù)點(diǎn)，藍(lán)色的點(diǎn)表示正事件，紅色的點(diǎn)表示負(fù)事件；右圖是將時(shí)間內(nèi)的全部事件，按像素位置堆疊在一起，放到一張圖像上的效果。從右圖中可以看出，事件都發(fā)生在物體的邊緣。這主要是因?yàn)?，?dāng)物體運(yùn)動(dòng)時(shí)（或相機(jī)運(yùn)動(dòng)時(shí)），物體的邊緣與背景有更大的亮度變化。

圖2. 事件相機(jī)工作原理[2]

三．常見(jiàn)應(yīng)用場(chǎng)景及處理范式

事件相機(jī)可以完成一些基于幀的標(biāo)準(zhǔn)相機(jī)無(wú)法完成的任務(wù)，比如高速運(yùn)動(dòng)估計(jì)，高動(dòng)態(tài)范圍建圖等等。除此之外，它還被研究用于一些傳統(tǒng)的視覺(jué)任務(wù)，如特征檢測(cè)與跟蹤、光流估計(jì)、3D重建和姿態(tài)估計(jì)等。

為了充分開(kāi)發(fā)事件相機(jī)的性能，研究人員也開(kāi)始思考能從事件數(shù)據(jù)中提取更多有效信息的方法。目前，常見(jiàn)的事件數(shù)據(jù)表征方法包括獨(dú)立事件、事件包、事件幀、體素柵格、3D點(diǎn)集等。這些事件表征方法可以被應(yīng)用在事件處理系統(tǒng)中的各個(gè)部分，包含前處理，核心處理和后處理。

事件數(shù)據(jù)的主流處理方法可以分為兩類(lèi)，分別是event-by-event的方法和group of events的方法[3]。前者可以理解為逐個(gè)事件的處理方法。這類(lèi)方法常見(jiàn)于各種用于降低事件噪聲、提取特征和圖像重建的濾波器中。它們通過(guò)對(duì)比當(dāng)前事件與過(guò)去事件完成系統(tǒng)狀態(tài)的更新。另外，現(xiàn)在也有許多數(shù)據(jù)驅(qū)動(dòng)的方法在使用逐個(gè)事件處理的方法，包括采用監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)方法來(lái)訓(xùn)練分類(lèi)器。基于group of events的處理方法可以理解為累積時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行處理。由于單個(gè)事件攜帶的信息十分有限，這種累積事件群的處理方法極大地降低了噪聲的干擾，提升了算法的可靠性。這種處理方法主要使用的數(shù)據(jù)表征方法包括事件幀，體柵格和3D點(diǎn)集。在基于模型的方法中，往往將事件數(shù)據(jù)累積為事件幀，然后利用基于圖像的處理方法來(lái)解決問(wèn)題。另外還有一種基于數(shù)據(jù)驅(qū)動(dòng)的方法，它們直接將整個(gè)事件包輸入神經(jīng)網(wǎng)絡(luò)，目前該類(lèi)方法已經(jīng)廣泛應(yīng)用于分類(lèi)、光流估計(jì)、深度估計(jì)等任務(wù)中，并且取得了不錯(cuò)的效果。

四. 小結(jié)

本文簡(jiǎn)要地介紹了事件相機(jī)的工作原理與常見(jiàn)應(yīng)用，同時(shí)也對(duì)事件數(shù)據(jù)的表征方式和處理方法做了說(shuō)明。

編輯：黃飛

?