高精度的實(shí)時(shí)立體匹配網(wǎng)絡(luò)是時(shí)下研究的一個(gè)熱點(diǎn)，它在自動(dòng)駕駛、機(jī)器人導(dǎo)航和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域中有著廣泛的應(yīng)用。雖然近年來(lái)對(duì)立體匹配網(wǎng)絡(luò)的研究已經(jīng)取得了顯著的成果，但要同時(shí)兼顧實(shí)時(shí)性和高精度仍然是一個(gè)挑戰(zhàn)?，F(xiàn)有的高精度立體匹配網(wǎng)絡(luò)，通常需要在較高的分辨率建立代價(jià)空間。比如，GANet在1/3分辨率建立代價(jià)空間，PSMNet在1/4分辨率，但這會(huì)影響網(wǎng)絡(luò)的效率（GANet處理一對(duì)1242×375的圖像，需要1.8s，PSMNet需要0.41s）。

本文的動(dòng)機(jī)是期望尋求一種解決方案：用高分辨率代價(jià)空間預(yù)測(cè)視差圖，以保持高的精度，同時(shí)要保持高的計(jì)算效率。

［CVPR 2021］ Bilateral Grid Learning for Stereo Matching Networks

徐彬1，徐玉華1，2，*，楊曉立1，賈偉2，郭裕蘭3

（ 1奧比中光，2合肥工業(yè)大學(xué)，3國(guó)防科技大學(xué)）

論文鏈接： https://arxiv.org/pdf/2101.01601.pdf

代碼開源： https://github.com/3DCVdeveloper/BGNet

1.創(chuàng)新點(diǎn)

（1）本文提出一種新的基于可學(xué)習(xí)的雙邊網(wǎng)格的代價(jià)空間上采樣模塊（Cost volume Upsampling in the learned Bilateral Grid， CUBG）。基于這個(gè)具有邊緣保持特性的上采樣模塊，通過(guò)無(wú)參數(shù)的切片層（slicing layer）可以高效地從低分辨率的代價(jià)空間獲得高質(zhì)量的高分辨率代價(jià)空間。這樣，費(fèi)時(shí)的代價(jià)聚合只需要在低分辨率執(zhí)行。該模塊能夠無(wú)縫嵌入到許多現(xiàn)有的立體匹配網(wǎng)絡(luò)（如GCNet，PSMNet，GANet等）中，在保持相當(dāng)精度的條件下取得4-29倍的加速。據(jù)我們所知，這是可微雙邊網(wǎng)格首次在立體匹配網(wǎng)絡(luò)中的應(yīng)用。

（2）基于本文提出的代價(jià)空間上采樣模塊，我們?cè)O(shè)計(jì)了一個(gè)高精度的實(shí)時(shí)立體匹配網(wǎng)絡(luò)（稱為BGNet），該網(wǎng)絡(luò)在KITTI數(shù)據(jù)集的分辨率下能夠達(dá)到39fps，且精度超過(guò)了之前所有實(shí)時(shí)立體匹配網(wǎng)絡(luò)。

2. 相關(guān)工作

基于深度學(xué)習(xí)的立體匹配網(wǎng)絡(luò)研究已經(jīng)持續(xù)了很多年。MC-CNN ［1］首次使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)計(jì)算兩個(gè)圖像塊之間的匹配代價(jià)，但后續(xù)步驟（如代價(jià)聚合、視差后處理等）仍然使用傳統(tǒng)方法。DispNetC ［2］是第一個(gè)端到端的立體匹配網(wǎng)絡(luò)，后續(xù)的工作引入了殘差優(yōu)化模塊，對(duì)網(wǎng)絡(luò)預(yù)測(cè)的視差圖做一步的優(yōu)化。GCNet ［6］首次使用3D卷積學(xué)習(xí)構(gòu)建4D代價(jià)空間，并使用soft argmin操作進(jìn)行視差回歸。

基于3D卷積的立體匹配網(wǎng)絡(luò)在各大數(shù)據(jù)集榜單上都取得了很好的結(jié)果，但是 3D卷積比2D卷積計(jì)算量大的多，現(xiàn)有的基于3D卷積的實(shí)時(shí)立體匹配網(wǎng)絡(luò)［7， 8］都是對(duì)低分辨率代價(jià)空間進(jìn)行代價(jià)聚合，得到低分辨率的視差圖，然后對(duì)視差圖進(jìn)行逐級(jí)上采樣和優(yōu)化，這種策略不如使用高分辨率代價(jià)空間計(jì)算視差圖的方法精度高。

我們的工作受到雙邊網(wǎng)格［9］的啟發(fā)。雙邊網(wǎng)格最早用于加速雙邊濾波器，主要包含三個(gè)步驟，即splat，blur和slice。splat操作對(duì)圖像進(jìn)行下采樣構(gòu)建雙邊網(wǎng)格，blur操作對(duì)雙邊網(wǎng)格進(jìn)行平滑濾波，最后通過(guò)slice操作將濾波后的雙邊網(wǎng)格上采樣到高分辨率。slice操作主要涉及在高分辨率引導(dǎo)圖的指引下進(jìn)行線性插值，因此其計(jì)算是非常高效的。

3. 方法描述

雙邊網(wǎng)格代價(jià)空間上采樣

本文采用的思路是使用3D卷積在低分辨率構(gòu)建雙邊網(wǎng)格代價(jià)空間，并通過(guò)提出的上采樣模塊（CUBG）得到高質(zhì)量的高分辨率代價(jià)空間，在高分辨率代價(jià)空間進(jìn)行視差回歸。

如圖1所示，CUBG模塊的輸入是一個(gè)低分辨率的代價(jià)空間和高分辨率的圖像特征，輸出是高分辨率的代價(jià)空間，該模塊包含雙邊網(wǎng)格的生成和slicing上采樣操作。

給定一個(gè)維度為 的低分辨率的代價(jià)空間。其中， 分別表示圖像寬度，圖像高度，視差范圍和特征通道數(shù)。我們使用一個(gè)3*3*3的3D卷積完成向雙邊網(wǎng)格的轉(zhuǎn)換，其中的維度為 ， 為引導(dǎo)特征的通道數(shù)。

為了得到維度為 的三維高分辨率的代價(jià)空間（其中 和 分別是圖像寬度和高度， 是給定的最大視差值），我用雙邊網(wǎng)絡(luò)中的slicing操作進(jìn)行上采樣。slicing操作一種基于引導(dǎo)圖的無(wú)參數(shù)插值算法。slicing的操作可以表示為公式（1）：

其中為低分辨率代價(jià)空間相對(duì)于高分辨率代價(jià)空間的寬度或者高度比例， 是生成的引導(dǎo)圖特征，范圍為［0，255］。不同于雙邊網(wǎng)格［9］原文，我們的雙邊網(wǎng)格是從低分辨率的代價(jià)空間中學(xué)習(xí)得到的。在本文的所有試驗(yàn)，我們?cè)O(shè)置雙邊網(wǎng)格的維度為 。

嵌入式模塊

CUBG模塊可以無(wú)縫嵌入到許多現(xiàn)有的立體匹配網(wǎng)絡(luò)結(jié)構(gòu)中。在本文中，我把CUBG模塊嵌入到四種具有代表性的網(wǎng)絡(luò)，分別是GCNet， PSMNet， GANet和DeepPrunerFast。嵌入后的模型用后綴BG表示。比如，GCNet-BG表示在GCNet中嵌入了CUBG模塊后的網(wǎng)絡(luò)結(jié)構(gòu)。

對(duì)于前三種網(wǎng)絡(luò)結(jié)構(gòu)，我們分別在1/8， 1/8， 1/6分辨率上重新建立代價(jià)空間，然后用CUBG模塊把濾波后的代價(jià)空間分別上采樣到1/2， 1/4和1/3分辨率。對(duì)于DeepPrunerFast，類似PatchMatch的視差上、下界估計(jì)模塊和窄代價(jià)空間被1/8分辨率的完整的代價(jià)空間所代替。然后，用CUBG把濾波后的代價(jià)空間上采樣到1/2分辨率。網(wǎng)絡(luò)其余的結(jié)構(gòu)都保持不變。

BGNet

基于CUBG模塊，我們?cè)O(shè)計(jì)了一個(gè)高精度實(shí)時(shí)立體匹配網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要包含四個(gè)模塊：特征提取，代價(jià)空間聚合，代價(jià)空間上采樣和殘差優(yōu)化模塊。在不使用殘差優(yōu)化的情況下（對(duì)應(yīng)BGNet），對(duì)于KITTI分辨率，速度為39fps。使用殘差優(yōu)化時(shí)（對(duì)應(yīng)BGNet+），速度為30fps。

4.實(shí)驗(yàn)結(jié)果

消融實(shí)驗(yàn)

為了驗(yàn)證所提出CUBG上采樣模塊的有效性，我們?cè)赟ceneFlow、Middlebury 2014數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)?？梢?jiàn)無(wú)論是在合成數(shù)據(jù)集還是在真實(shí)數(shù)據(jù)集上，CUBG都優(yōu)于線性插值上采樣（LU）。尤其是在深度邊緣附近區(qū)域，CUBG優(yōu)勢(shì)更加明顯（EPE-edge）。

編輯：jq