背景

近年來，基于純視覺的感知方法由于其較高的信噪比和較低的成本，在自動駕駛領(lǐng)域占有重要地位。其中，鳥瞰圖（BEV）感知已成為主流的方法。在以視覺為中心的自動駕駛?cè)蝿?wù)中，BEV表示學(xué)習(xí)是指將周圍多個攝像頭的連續(xù)幀作為輸入，然后將像平面視角轉(zhuǎn)換為鳥瞰圖視角，在得到的鳥瞰圖特征上執(zhí)行諸如三維目標(biāo)檢測、地圖視圖語義分割和運(yùn)動預(yù)測等感知任務(wù)。

BEV感知性能的提高取決于如何快速且精準(zhǔn)地獲取道路和物體特征表示。圖1中展示了現(xiàn)有的兩類基于不同交互機(jī)制的BEV感知管道：（a）后交互和（b）中間交互。后交互管道［1］在每個相機(jī)視角上獨(dú)立地進(jìn)行感知，然后將感知結(jié)果在時間和空間上融合到一個統(tǒng)一的BEV特征空間中。中間交互管道［2，3，4］是最近使用得最廣泛的方案，它將所有的相機(jī)視角圖像耦合輸入到網(wǎng)絡(luò)中，通過網(wǎng)絡(luò)將它們轉(zhuǎn)換到BEV空間，然后直接輸出結(jié)果。中間交互管道中的特征提取、空間轉(zhuǎn)換和BEV空間的學(xué)習(xí)都有一個明確的順序。



圖1：后交互、中間交互和我們提出的前置交互框架示意圖

基于視覺的BEV感知的核心挑戰(zhàn)是從仿射視角（Perspective View， PV）向鳥瞰圖視角（BEV）的轉(zhuǎn)換。然而，利用現(xiàn)有的兩種交互策略將PV轉(zhuǎn)換到BEV仍然存在許多問題：

（1） 圖像空間backbone只依次提取不同分辨率的圖像特征，而沒有融合任何跨分辨率的信息；

（2） 現(xiàn)有的交互策略中核心模塊的計算量主要由圖像空間backbone占據(jù)，但它不包含任何BEV空間信息，導(dǎo)致大量的計算并沒有執(zhí)行PV到BEV轉(zhuǎn)換這一關(guān)鍵任務(wù)；

（3） 后交互策略和中間交互策略的前向處理中的信息流是單向的，信息從圖像空間流到BEV空間，而BEV空間中的信息并沒有有效地影響圖像空間中的特征。

為了解決這些問題，我們提出了一種新的基于Transformer的雙向前置交互框架，以有效地將多尺度圖像特征聚合成更好的BEV特征表示，并執(zhí)行BEV語義分割任務(wù)。 與現(xiàn)有的兩種策略相比，我們提出的前置交互方法具有明顯的優(yōu)勢。首先，我們提出的雙向前置交互方法可以融合全局上下文信息和局部細(xì)節(jié)，從而能夠向BEV空間傳遞更豐富的語義信息。其次，我們提出PV到BEV的轉(zhuǎn)換不僅可以是圖像特征提取后，而且可以在提取過程中進(jìn)行逐步轉(zhuǎn)換，于是，通過我們提出的雙向交叉注意力機(jī)制，信息流可以隱式地進(jìn)行雙向交互，從而對齊PV和BEV中的特征。此外，我們的方法可以將跨空間對齊學(xué)習(xí)擴(kuò)散到整個框架中，即圖像網(wǎng)絡(luò)學(xué)習(xí)不僅可以學(xué)習(xí)到良好的特征表示，而且可以起到跨空間對齊的作用。 方法

　　整體框架

　　BAEFormer的整體框架如圖2所示，總共包含兩個部分：（1）雙向前置交互編碼器，用于提取圖像特征并將其從PV轉(zhuǎn)換為BEV；（2）將低分辨率BEV特征上采樣到高分辨率BEV特征的解碼器，用于執(zhí)行下游任務(wù)。



圖2：BAEFormer整體框架圖

　　前置交互

　　對于前置交互模塊，我們使用EfficientNet［5］的預(yù)訓(xùn)練模型來提取環(huán)視圖像的特征，特征提取器包含三層，分別提取圖像的4x，8x，16x分辨率的特征。4x分辨率的特征首先被提取出來，通過一個降采樣模塊之后和BEV特征進(jìn)行交互得到更新之后的4x分辨率特征，將更新之后的4x特征上采樣，并作為特征提取器的下一層的輸入來提取8x分辨率特征。以此類推，我們得到更新之后的8x特征并作為特征提取器最后一層的輸入，由此得到16x圖像特征。我們的多尺度前置交互方法可以充分利用分層預(yù)訓(xùn)練的模型來整合多尺度圖像特征。同時，BEV的空間信息可以流入主干網(wǎng)絡(luò)，使前置交互主干網(wǎng)絡(luò)承擔(dān)了部分異質(zhì)空間對齊的功能。

　　雙向交叉注意力

　　如圖3中所示，我們提出的雙向交叉注意力模型包含兩個分支，一個用于多視圖圖像特征的精細(xì)化，另一個用于BEV特征的精細(xì)化。 首先，N個環(huán)視圖像特征首先被編碼為查詢特征，鍵特征和值特征，其中c表示特征維度，h和w分別表示特征的高和寬。相似的，BEV特征編碼也被轉(zhuǎn)換為查詢特征，鍵特征和值特征。于是圖像特征和BEV特征的交叉注意力可以表示為： 整個Transformer模塊就可以使用下式計算： 其中， 和 表示第l層的輸入， 和 表示第l層的輸出。LN（?）表示層歸一化操作，MLP（?）表示有2個全連接層和一個非線性層的多層感知機(jī)模塊，MHBiCA（?）表示擁有多頭交叉注意力機(jī)制的BiCA（?）模塊。



圖3：雙向交叉注意力框架圖 實驗結(jié)果

表1展示了BAEFormer方法和之前的方法在兩種設(shè)置下的性能、參數(shù)和推理速度的對比結(jié)果?？梢钥闯觯珺AEFormer在使用相同輸入分辨率（224x480）的設(shè)置下，在精度上超過了現(xiàn)有的實時方法。同時，雖然先前的BEVFormer［2］實現(xiàn)了高性能，但它非常耗時，模型參數(shù)高達(dá)68.1M。我們的BAEFormer在大輸入圖像分辨率（504x1056）下的運(yùn)行速度比BEVFormer快12倍，而參數(shù)量大約是它的1/12。

表1：nuScenes數(shù)據(jù)集上車輛類別的語義分割結(jié)果

　　消融實驗

　　表2展示了我們在nuScenes數(shù)據(jù)集上對車輛類別進(jìn)行的不同交互方式的消融實驗。實驗結(jié)果表明，我們的BAEFormer方法可以將雙向交叉注意力機(jī)制和前置交互方式充分地結(jié)合以得到更好的BEV特征表示。

表2：不同交互方式的消融實驗

表3展示了具有不同輸入分辨率和圖像特征尺度的模型的mIoU性能和內(nèi)存使用情況。結(jié)果說明，使用多尺度特征可以帶來更好的性能；增大輸入圖像分辨率可以提高性能，但會帶來顯存的劇增；我們發(fā)現(xiàn)，如（j）-（n）所示，在交互過程中，輸入圖像的分辨率對最終的精度沒有太大的影響；因此我們可以在提高輸入圖像分辨率來提升性能的同時，通過對交互時的圖像特征進(jìn)行降采樣來保證計算量是可控的。



表3： 不同輸入分辨率和不同圖像特征尺度的組合

　　可視化結(jié)果

　　圖4展示了BEV下的可視化結(jié)果，可以看出BAEFormer對比baseline模型，不僅對于近處物體漏檢（紅色圈）的數(shù)目有效減少，且對于遠(yuǎn)處物體（綠色圈）也能進(jìn)行有效的感知，進(jìn)一步說明了我們方法的感知能力具有一定的優(yōu)勢。



圖4：不同模型的可視化結(jié)果對比

結(jié)論

在本文中，我們提出了一種稱為BAEFormer的BEV語義分割新框架，采用雙向交叉注意力機(jī)制，通過對圖像特征空間和 BEV 特征空間中的信息流施加雙向約束來建立改進(jìn)的跨空間對齊，同時利用前置交互方法來合并跨尺度信息，并實現(xiàn)更精細(xì)的語義表示。實驗結(jié)果表明，BAEFormer在保持實時推理速度的同時能夠提高BEV語義分割的性能。?

　


審核編輯：劉清