在CVPR 2021中，曠視研究院共入選論文22篇，其中Oral論文2篇，研究領(lǐng)域涵蓋激活函數(shù)、神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索、光流估計、無監(jiān)督學(xué)習(xí)、人體姿態(tài)估計、目標(biāo)檢測等。

本篇推文中，我們?yōu)榇蠹規(guī)砹?1篇入選論文的精彩摘要，兩篇oral論文也在其中，分享給大家。

1oral論文

Fully Convolutional Networks for Panoptic Segmentation

本文旨在使用全卷積形式統(tǒng)一地表達和預(yù)測物體和周邊環(huán)境，從而實現(xiàn)準(zhǔn)確高效的全景分割。具體來說，本文提出卷積核生成器將每個物體和每類環(huán)境的語義信息編碼至不同的卷結(jié)核中，并同高分辨率的特征圖卷積直接輸出每個前景和背景的分割結(jié)果。通過這種方法，物體和環(huán)境的個體差異和語義一致性可以被分別保留下來。該方法在多個全景分割數(shù)據(jù)集上均取得速度和精度的當(dāng)前最佳結(jié)果。關(guān)鍵詞：統(tǒng)一表達，動態(tài)卷積，全景分割arxiv： https://arxiv.org/abs/2012.00720github： https://github.com/yanwei-li/PanopticFCN

2oral論文

FFB6D： A Full Flow Bidirectional Fusion Network for 6D Pose Estimation

FFB6D提出一種網(wǎng)絡(luò)全流雙向融合的RGBD表征學(xué)習(xí)框架并應(yīng)用于6D位姿估計問題。我們發(fā)現(xiàn)現(xiàn)有的表征學(xué)習(xí)方法都沒能很好地利用RGB中的外觀信息和深度圖（點云）中的幾何信息這兩種互補的數(shù)據(jù)源。

對此，我們設(shè)計了一種雙向稠密融合模塊并應(yīng)用到CNN和點云網(wǎng)絡(luò)的每個編碼和解碼層。這種全流雙向融合機制能讓兩個網(wǎng)絡(luò)充分利用彼此提取的局部和全局互補信息，從而獲得更好的表征用于下游預(yù)測任務(wù)。此外，在輸出表征選擇上，我們結(jié)合物品的紋理和幾何信息設(shè)計了一種SIFT-FPS關(guān)鍵點選擇算法，簡化了網(wǎng)絡(luò)定位關(guān)鍵點的難度并提升了位姿精度。我們的方法在多個基準(zhǔn)上都獲得顯著的提升。并且這種RGBD表征學(xué)習(xí)骨干網(wǎng)絡(luò)能通過級聯(lián)不同的預(yù)測網(wǎng)絡(luò)，應(yīng)用在更多以RGBD為輸入的視覺任務(wù)上。

關(guān)鍵詞：RGBD表征學(xué)習(xí)，3D視覺，6D位姿估計PDF： https://arxiv.org/abs/2103.02242code： https://github.com/ethnhe/FFB6D

3RepVGG： Making VGG-style ConvNets Great Again

科學(xué)技術(shù)總是螺旋式地上升。我們“復(fù)興”了VGG式單路極簡卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，一路3x3卷到底，在速度和性能上達到SOTA水平，在ImageNet上超過80%正確率。

為了克服VGG式架構(gòu)訓(xùn)練困難的問題，我們使用結(jié)構(gòu)重參數(shù)化（structural re-parameterization）在訓(xùn)練時的模型中構(gòu)造恒等映射和1x1卷積分支，然后在訓(xùn)練結(jié)束后將其等效融合進3x3卷積中去，因而推理時模型僅包含3x3卷積。這一架構(gòu)沒有任何分支結(jié)構(gòu)，因此其并行度很高，速度很快。且由于主體部分僅有“3x3-ReLU”這一種算子，特別適合用于定制硬件。

關(guān)鍵詞：結(jié)構(gòu)重參數(shù)化，極簡架構(gòu)，高效模型https://arxiv.org/abs/2101.03697

4Dynamic Region-Aware Convolution

本文提出一種新的卷積操作----動態(tài)區(qū)域注意卷積（DRConv： Dynamic Region-Aware Convolution），該卷積可以根據(jù)特征相似度為不同平面區(qū)域分配定制的卷積核。這種卷積方式相較于傳統(tǒng)卷積極大地增強了對圖像語義信息多樣性的建模能力。標(biāo)準(zhǔn)卷積層可以增加卷積核的數(shù)量以提取更多的視覺元素，但會導(dǎo)致較高的計算成本。DRConv使用可學(xué)習(xí)的分配器將逐漸增加的卷積核轉(zhuǎn)移到平面維度，這不僅提高了卷積的表示能力，而且還保持了計算成本和平移不變性。

DRConv是一種用于處理語義信息分布復(fù)雜多變的有效而優(yōu)雅的方法，它可以以其即插即用特性替代任何現(xiàn)有網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，且對于輕量級網(wǎng)絡(luò)的性能有顯著提升。本文在各種模型（MobileNet系列，ShuffleNetV2等）和任務(wù)（分類，面部識別，檢測和分割）上對DRConv進行了評估，在ImageNet分類中，基于DRConv的ShuffleNetV2-0.5×在46M計算量的水平下可實現(xiàn)67.1％的性能，相對基準(zhǔn)提升6.3％。

https://arxiv.org/abs/2003.12243

5Diverse Branch Block： Building a Convolution as an Inception-like Unit

我們提出一種卷積網(wǎng)絡(luò)基本模塊（DBB），用以豐富模型訓(xùn)練時的微觀結(jié)構(gòu)而不改變其宏觀架構(gòu)，以此提升其性能。這種模塊可以在訓(xùn)練后通過結(jié)構(gòu)重參數(shù)化（structural re-parameterization）等效轉(zhuǎn)換為一個卷積，因而不引入任何額外的推理開銷。

我們歸納了六種可以此種等效轉(zhuǎn)換的結(jié)構(gòu)，包括1x1-KxK連續(xù)卷積、average pooling等，并用這六種變換給出了一種代表性的形似Inception的DBB實例，在多種架構(gòu)上均取得了顯著的性能提升。我們通過實驗確認了“訓(xùn)練時非線性”（而推理時是線性的，如BN）和“多樣的鏈接”（比如1x1+3x3效果好于3x3+3x3）是DBB有效的關(guān)鍵。

關(guān)鍵詞：結(jié)構(gòu)重參數(shù)化，無推理開銷，無痛提升

6Generalized Few-Shot Object Detection without Forgetting

過去的工作大都聚焦在小類樣本類別性能而犧牲了大類樣本的性能。本文提出一種無遺忘效應(yīng)的小類樣本目標(biāo)檢測器，能夠在實現(xiàn)更好的小類樣本類別性能的同時，不掉落大類樣本類別的性能。在本文中，我們發(fā)現(xiàn)了預(yù)訓(xùn)練的檢測器很少在未見過的類別上產(chǎn)生假陽性預(yù)測，且還發(fā)現(xiàn)RPN并非理想的類別無關(guān)組件。基于這兩點發(fā)現(xiàn)，我們設(shè)計了Re-detector和Bias-Balanced RPN兩個簡單而有效的結(jié)構(gòu)，只增加少量參數(shù)和推斷時間即可實現(xiàn)無遺忘效應(yīng)的小類樣本目標(biāo)檢測。

關(guān)鍵詞：小樣本學(xué)習(xí)，目標(biāo)檢測

7

Distribution Alignment： A Unified Framework for Long-tail Visual Recognition

本文提出了一個處理含有長尾數(shù)據(jù)分布的視覺識別任務(wù)的統(tǒng)一框架。我們首先針對現(xiàn)有的處理長尾問題的兩階段的方法進行了實驗分析，找出現(xiàn)有方法主要的性能瓶頸?；趯嶒灧治?，我們提出了一種分布對齊策略來系統(tǒng)性解決長尾視覺任務(wù)。

該框架基于兩階段方法設(shè)計，在第一階段，使用instance-balanced 采樣策略進行特征表示學(xué)習(xí)（representation learning）。在第二階段，我們首先設(shè)計了一個input-aware的對齊函數(shù)，以實現(xiàn)對輸入數(shù)據(jù)的得分進行矯正。同時，為了引入數(shù)據(jù)集分布的先驗，我們設(shè)計了一個泛化重加權(quán)（Generalized Re-weight）方案， 來處理圖像分類，語義分割，物體檢測和實例分割等多種視覺任務(wù)場景。我們在四個任務(wù)上驗證了我們的方法，在各個任務(wù)上均取得了明顯的性能提升。

關(guān)鍵詞：圖像分類，語義分割，物體檢測，實例分割

8

End-to-End Object Detection with Fully Convolutional Network

本文首次在全卷積目標(biāo)檢測器上去除了NMS（非極大值抑制）后處理，做到了端到端訓(xùn)練。我們分析了主流一階段目標(biāo)檢測方法，并發(fā)現(xiàn)傳統(tǒng)的一對多標(biāo)簽分配策略是這些方法依賴NMS的關(guān)鍵，并由此提出了預(yù)測感知的一對一標(biāo)簽分配策略。此外，為了提升一對一標(biāo)簽分配的性能，我們提出了增強特征表征能力的模塊，和加速模型收斂的輔助損失函數(shù)。我們的方法在無NMS的情況下達到了與主流一階段目標(biāo)檢測方法相當(dāng)?shù)男阅?。在密集場景上，我們的方法的召回率超過了依賴NMS的目標(biāo)檢測方法的理論上限。

關(guān)鍵詞：端到端檢測，標(biāo)簽分配，全卷積網(wǎng)絡(luò)

https://arxiv.org/abs/2012.03544

9

OTA： Optimal Transport Assignment for Object Detection

我們提出了一種基于最優(yōu)傳輸理論的目標(biāo)檢測樣本匹配策略，利用全局信息來尋找最優(yōu)樣本匹配的結(jié)果，相對于現(xiàn)有的樣本匹配技術(shù)，具有如下優(yōu)勢：1）檢測精度高。全局最優(yōu)的匹配結(jié)果能幫助檢測器以穩(wěn)定高效的方式訓(xùn)練，最終在COCO數(shù)據(jù)集上達到最優(yōu)檢測性能。

2） 適用場景廣?，F(xiàn)有的目標(biāo)檢測算法在遇到諸如目標(biāo)密集或被嚴(yán)重遮擋等復(fù)雜場景時，需要重新設(shè)計策略或者調(diào)整參數(shù)，而最優(yōu)傳輸模型在全局建模的過程中包括了尋找最優(yōu)解的過程，不用做任何額外的調(diào)整，在各種目標(biāo)密集、遮擋嚴(yán)重的場景下也能達到最先進的性能，具有很大的應(yīng)用潛力。

關(guān)鍵詞：目標(biāo)檢測、最優(yōu)傳輸、樣本匹配策略

10

IQDet： Instance-wise Quality Distribution Sampling for Object Detection

由于一階段檢測器的標(biāo)簽分配有靜態(tài)、沒有考慮目標(biāo)框的全局信息等不足，我們提出了一種基于目標(biāo)質(zhì)量分布采樣的目標(biāo)檢測器。在本文中，我們提出質(zhì)量分布編碼模塊QDE和質(zhì)量分布采樣模塊QDS，通過提取目標(biāo)框的區(qū)域特征，并基于高斯混合模型來對預(yù)測框的質(zhì)量分布進行建模，來動態(tài)的選擇檢測框的正負樣本分配。本方法只涉及訓(xùn)練階段標(biāo)簽分配，就可以在COCO等多個數(shù)據(jù)集上實現(xiàn)當(dāng)前最佳結(jié)果。

關(guān)鍵詞：標(biāo)簽分配

11

FSCE： Few-Shot Object Detection via Contrastive Proposal Encoding

論文提出的FSCE方法旨在從優(yōu)化特征表示的角度去解決小樣本物體檢測問題。小樣本物體檢測任務(wù)中受限于目標(biāo)樣本的數(shù)目稀少，對目標(biāo)樣本的分類正確與否往往對最終的性能有很大的影響。FSCE借助對比學(xué)習(xí)的思想對相關(guān)候選框進行編碼優(yōu)化其特征表示，加強特征的類內(nèi)緊湊和類間相斥，最后方法在常見的COCO和Pascal VOC數(shù)據(jù)集上都得到有效提升。

關(guān)鍵詞：小樣本目標(biāo)檢測，對比學(xué)習(xí)論文鏈接：https://arxiv.org/abs/2103.05950

編輯;jq