【導(dǎo)讀】從立體圖像或視頻幀中進(jìn)行遮擋物的檢測(cè)，對(duì)許多計(jì)算機(jī)視覺(jué)應(yīng)用而言都是非常重要的。在本文中，我們利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)解決傳統(tǒng)交錯(cuò)的計(jì)算框架中遮擋物檢測(cè)問(wèn)題。

我們提出一個(gè)對(duì)稱(chēng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) (SymmNet)，它能夠直接利用圖像對(duì)的信息，而無(wú)需提前估計(jì)視覺(jué)差異或動(dòng)作的影響。我們所提出的網(wǎng)絡(luò)是一種左右的對(duì)稱(chēng)結(jié)構(gòu)，在學(xué)習(xí)雙目下的遮擋問(wèn)題的同時(shí)，旨在共同改善檢測(cè)結(jié)果。通過(guò)綜合的實(shí)驗(yàn)分析來(lái)驗(yàn)證我們模型的有效性：實(shí)驗(yàn)結(jié)果表明，在立體圖像和運(yùn)動(dòng)遮擋問(wèn)題中，我們的模型能夠取得當(dāng)前最先進(jìn)的檢測(cè)表現(xiàn)。

▌前言

對(duì)多視角圖像或視頻序列數(shù)據(jù)的遮擋或無(wú)遮擋區(qū)域的定位問(wèn)題，一直以來(lái)是許多計(jì)算機(jī)視覺(jué)任務(wù)中非常感興趣的研究方向。解決這個(gè)問(wèn)題我們需要考慮與其最相關(guān)的兩個(gè)任務(wù)：立體圖像計(jì)算和視頻光流估計(jì)。

圖像中被遮擋的像素是違反了圖像內(nèi)部的對(duì)應(yīng)約束，從而導(dǎo)致像素匹配的模糊性。當(dāng)前最先進(jìn)的處理立體圖像和光流方法都是基于對(duì)遮擋物的檢測(cè)：通過(guò)在視差和運(yùn)動(dòng)計(jì)算過(guò)程中排除遮擋物的像素，或通過(guò)修復(fù)這些被遮擋的區(qū)域。因此，遮擋物檢測(cè)也被應(yīng)用于幫助改善諸如動(dòng)作識(shí)別、目標(biāo)追蹤和 3D 重建等任務(wù)的表現(xiàn)。

現(xiàn)有的大多數(shù)方法都是視差或光流估計(jì)來(lái)解決遮擋物的檢測(cè)問(wèn)題。最簡(jiǎn)單也是最廣泛使用的方法是左右交叉檢查 (left-right-cross-checking，LRC)，這種方法直接通過(guò)預(yù)先計(jì)算的視差結(jié)果來(lái)推斷遮擋的位置。然而，LRC 方法中未引入遮擋物的先驗(yàn)知識(shí)，這將無(wú)法精確地計(jì)算出視差結(jié)果，影響后續(xù)的檢測(cè)結(jié)果。其他一些研究提出通過(guò)交替改進(jìn)視差和運(yùn)動(dòng)準(zhǔn)確性，來(lái)迭代地改善遮擋物的映射圖。總的說(shuō)來(lái)，先前研究中對(duì)遮擋物的檢測(cè)依賴(lài)于預(yù)先計(jì)算的視差或光流估計(jì)，這種方法容易受到噪聲、低或重復(fù)的紋理特征的理影響，具有很大局限性。

這促使我們探索一種檢測(cè)立體圖像或視頻連續(xù)幀中遮擋物的解決方案。在本文中，我們主要關(guān)注的是立體圖像的遮擋物檢測(cè)問(wèn)題。隨著卷積神經(jīng)網(wǎng)絡(luò) (CNN) 在單目深度和相機(jī)定位方面的成功應(yīng)用，我們利用 CNN 結(jié)構(gòu)來(lái)解決遮擋物檢測(cè)中的視差估計(jì)問(wèn)題。我們將遮擋檢測(cè)視為二元分類(lèi)問(wèn)題，并提出一種對(duì)稱(chēng)卷積網(wǎng)絡(luò) (SymmNet) 作為分類(lèi)器。SymmNet是一種利用雙目圖像信息的沙漏架構(gòu) (hourglass architecture)。利用左右對(duì)稱(chēng)的網(wǎng)絡(luò)結(jié)構(gòu)，我們能夠推斷出雙眼條件下遮擋物的情況，從而同時(shí)同步改善左右的檢測(cè)結(jié)構(gòu)。

本文的貢獻(xiàn)主要包含以下三個(gè)方面：

這項(xiàng)工作是第一個(gè)無(wú)需利用視差和運(yùn)動(dòng)估計(jì)的先驗(yàn)知識(shí)，而直接對(duì)遮擋物進(jìn)行檢測(cè)的研究。

我們提出了一個(gè)對(duì)稱(chēng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) SymmNet，它能直接以圖像對(duì)作為輸入并進(jìn)行協(xié)同工作。

我們進(jìn)行了綜合的實(shí)驗(yàn)以驗(yàn)證我們的模型設(shè)計(jì)，實(shí)驗(yàn)結(jié)果表明該方法在立體圖像和運(yùn)動(dòng)遮擋的檢測(cè)方面有著非常有前景的表現(xiàn)。

▌模型結(jié)構(gòu)

我們提出了一種對(duì)稱(chēng)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò) (SymmNet)，通過(guò)左右對(duì)稱(chēng)結(jié)構(gòu)來(lái)預(yù)測(cè)堆疊雙目圖像流的遮擋問(wèn)題。下圖1說(shuō)明了我們所提出的網(wǎng)絡(luò)的簡(jiǎn)要架構(gòu)，我們遵循 FlowNet 的結(jié)構(gòu)來(lái)構(gòu)建一個(gè)完整的卷積網(wǎng)絡(luò)，其中包含一個(gè)收縮部分 (contractive) 和擴(kuò)展部分 (expanding)，以跳躍連接的方式連接這兩部分。

圖1 SymmNet 網(wǎng)絡(luò)結(jié)構(gòu)。中間層和殘差連接在圖中省略。網(wǎng)絡(luò)以雙目圖像對(duì)作為輸入，輸出的是雙目圖像中的遮擋物。沿著特征通道，網(wǎng)絡(luò)整體呈一種左右對(duì)稱(chēng)的結(jié)構(gòu)。

下表1中列出了詳細(xì)的逐層定義。由于遮擋物檢測(cè)可能依賴(lài)于來(lái)自廣闊視野的信息，因此網(wǎng)絡(luò)的收縮模塊通過(guò)特征子采樣來(lái)編碼大型結(jié)構(gòu)。它包含6個(gè)步長(zhǎng)為2下采樣層來(lái)逐步增加接收域，并且將特征映射圖的空間大小縮小64倍。為了在擴(kuò)展模塊中獲得原始輸入分辨率的逐像素預(yù)測(cè)，我們使用6個(gè)反卷積層進(jìn)行上采樣特征。在每個(gè)下采樣或上采樣層后都連接一個(gè)卷積層來(lái)平滑結(jié)果輸出。為了保留更多的局部細(xì)粒度信息，低層次的特征通過(guò)跳躍連接進(jìn)行解碼。每層后采用 ReLU 作為層激活函數(shù)，以更好應(yīng)對(duì)梯度消失問(wèn)題。

表1 SymmNet 結(jié)構(gòu)參數(shù)。除預(yù)測(cè)層 pr，其余每一層后都接上一個(gè)ReLU 函數(shù)，而 pr 層后激活函數(shù)采用的是 softmax 函數(shù)以輸出檢測(cè)概率。表格的排列方式是從上到下，從左到右的，其中 + 代表加法運(yùn)算，⊕ 代表的是跳躍連接中的串聯(lián)操作。

與 FlowNet 結(jié)構(gòu)不同，我們的 SymmNet 模型采取了幾種網(wǎng)絡(luò)修剪策略以提高網(wǎng)絡(luò)的計(jì)算效率。首先，我們對(duì)特征通道的數(shù)量進(jìn)行壓縮。第一層有16個(gè)過(guò)濾器。每次對(duì)特征映射圖的空間大小進(jìn)行下采樣時(shí)，網(wǎng)絡(luò)的特征長(zhǎng)度都將翻倍，并在收縮模塊的最后一層達(dá)到最大值，該層包含512個(gè)過(guò)濾器。然后，我們更換了跳躍連接中的連接方式，并相應(yīng)地減小擴(kuò)展模塊的特征長(zhǎng)度以匹配收縮模塊。另一個(gè)修改是我們的網(wǎng)絡(luò)在擴(kuò)展模塊后又包含一個(gè)額外上采樣模塊，以獲得全分辨率的輸出。由上采樣到全分辨率，原始圖像的特征將與最后一層的卷積層特征相連接。這是出于圖像低層次特征可以幫助定位遮擋物的考慮而做的處理。

▌實(shí)驗(yàn)

我們?cè)?SceneFlow 數(shù)據(jù)集上訓(xùn)練我們的模型，該數(shù)據(jù)集由合成序列渲染后的立體圖像構(gòu)成。該數(shù)據(jù)集的規(guī)模足夠大，共包含35454對(duì)訓(xùn)練數(shù)據(jù)和和4370 對(duì)測(cè)試數(shù)據(jù)，以此訓(xùn)練的模型不會(huì)產(chǎn)生過(guò)擬合現(xiàn)象。此外，該數(shù)據(jù)集還提供了密集而完美的地面實(shí)況差異的兩種視圖，可用于生成雙目圖像中真實(shí)的遮擋物。我們首先進(jìn)行對(duì)比實(shí)驗(yàn)以驗(yàn)證我們模型的有效性，接著在 SceneFlow 和 Middleburry 數(shù)據(jù)集上對(duì)比其他方法。然后，我們?cè)?MPI Sintel 數(shù)據(jù)集上測(cè)試模型學(xué)習(xí)運(yùn)動(dòng)遮擋物的容量。最終，我們還測(cè)試了我們結(jié)構(gòu)的效率，包括運(yùn)行的時(shí)間和內(nèi)存使用。

值得注意的是，我們采用三個(gè)在遮擋物檢測(cè)任務(wù)中廣泛使用的評(píng)估指標(biāo)，包括精度值 P，回召值 R 以及 F 分?jǐn)?shù)。在預(yù)測(cè)遮擋物時(shí)，我們將閾值設(shè)置為0.5。

▌結(jié)構(gòu)分析

為了驗(yàn)證模型設(shè)計(jì)的有效性，我們?cè)?SceneFlow 數(shù)據(jù)集上測(cè)試了SymmNet 及其一些變體。在圖2我們提供了示例結(jié)果，并在圖4中可視化 PR 曲線結(jié)果。

圖2 不同結(jié)構(gòu)變體的示例結(jié)果。MonoNet (L/R) 的第一排是MonoNetL 的結(jié)果，而第二行是 MonoNetR 的結(jié)果。MonoNetL中的粉色箭頭指向圖像邊緣發(fā)生的假遮擋現(xiàn)象，而 MonoNetR中的箭頭指向錯(cuò)誤的遮擋物形狀。

圖3 PR曲線。在 PR 曲線上標(biāo)注了最大 Fscore。曲線越靠近右上角代表該模型的表現(xiàn)更好。因此我們可以看到 SymmNet 的表現(xiàn)由于其他兩種變體結(jié)構(gòu)。

我們提出的 SymmNet 模型能夠直接對(duì)輸入圖像的遮擋進(jìn)行建模，無(wú)需基于視差計(jì)算的先驗(yàn)知識(shí)。從結(jié)果上看，我們的模型明顯優(yōu)于其他變體結(jié)構(gòu)，驗(yàn)證了 SymmNet 模型結(jié)構(gòu)的有效性。

▌?wù)w性能

我們?cè)?SceneFlow 和 Middlebury 數(shù)據(jù)集上驗(yàn)證 SymmNet 模型的整體性能，并其他兩種檢測(cè)器進(jìn)行比較。定性結(jié)果及定量結(jié)果分別如下圖4，圖5及表2所示。

圖4 SceneFlow 數(shù)據(jù)集的定性結(jié)果。真正的正樣本 (true positive) 估計(jì)用青色標(biāo)記，假陰性 (false negative) 用洋紅色標(biāo)記，假陽(yáng)性 (false positive) 用黃色標(biāo)記。綠色框標(biāo)記錯(cuò)誤發(fā)生在第一行中傾斜平面上以及第二行中無(wú)紋理區(qū)域。

圖5. Middlebury 數(shù)據(jù)集的定性結(jié)果。真正的正樣本 (true positive) 估計(jì)用青色標(biāo)記，假陰性 (false negative) 用洋紅色標(biāo)記，假陽(yáng)性 (false positive) 用黃色標(biāo)記。

表2 定量估計(jì)結(jié)果。所有的評(píng)估結(jié)果中，值越高表示模型性能越好，在這里我們用粗體來(lái)突出顯示最佳的表現(xiàn)。

▌運(yùn)動(dòng)遮擋檢測(cè)

盡管 SymmNet 模型的設(shè)計(jì)是用于立體圖像中遮擋物的檢測(cè)，但它也可以應(yīng)用于以?xún)蓚€(gè)連續(xù)幀作為輸入的運(yùn)動(dòng)遮擋檢測(cè)任務(wù)。我們?cè)?MPI Sintel 數(shù)據(jù)集上驗(yàn)證并展示模型的表現(xiàn)。實(shí)驗(yàn)結(jié)果如下圖6所示：在運(yùn)動(dòng)遮擋檢測(cè)任務(wù)中，即使真實(shí)的遮擋區(qū)域比立體圖像中的區(qū)域小得多，我們的模型仍然可以做得很好的預(yù)測(cè)。

圖6 模型在 MPI 數(shù)據(jù)集上的定性結(jié)果。從左到右依次是：兩個(gè)輸入幀的平均圖像；真實(shí)的遮擋物圖像；我們模型預(yù)測(cè)的遮擋物圖像。

▌運(yùn)行時(shí)間和內(nèi)存需求

我們?cè)趩蝹€(gè) NVIDIA Tesla M40 GPU 上，測(cè)試以 PyTorch 框架實(shí)現(xiàn)的運(yùn)行時(shí)間。結(jié)果表明，我們的模型能夠在 SceneFlow 數(shù)據(jù)集的訓(xùn)練時(shí)間只需兩天。在預(yù)測(cè)一張 540×960 的圖像對(duì)時(shí)，模型需要 0.07s 的運(yùn)行時(shí)間和 651M 的顯卡內(nèi)存?？偟恼f(shuō)來(lái)，對(duì)時(shí)間和內(nèi)存的低要求使我們的模型有很強(qiáng)的可用性，并能應(yīng)用于其他任務(wù)的預(yù)處理模塊，如目標(biāo)追蹤，人體姿勢(shì)估計(jì)和行為識(shí)別等。

▌總結(jié)

我們提出了一種名為 SymmNet 的 CNN 模型來(lái)檢測(cè)立體圖像或視頻序列中的遮擋。與傳統(tǒng)方法通過(guò)預(yù)先計(jì)算的視差或光流估計(jì)結(jié)果來(lái)推斷被遮擋的像素不同，我們的模型能夠直接從原始圖像中進(jìn)行學(xué)習(xí)。SymmNet 模型是一種左右對(duì)稱(chēng)的結(jié)構(gòu)，以協(xié)作的方式提取雙目圖像信息并學(xué)習(xí)圖像中的遮擋。實(shí)驗(yàn)結(jié)果驗(yàn)證了我們模型具有良好的立體和運(yùn)動(dòng)遮擋檢測(cè)的能力。