目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的熱點(diǎn)課題，在機(jī)器人導(dǎo)航、智能視頻監(jiān)控及航天航空等領(lǐng)域都有廣泛的應(yīng)用.本文首先綜述了目標(biāo)檢測的研究背景、意義及難點(diǎn)，接著對基于深度學(xué)習(xí)目標(biāo)檢測算法的兩大類進(jìn)行綜述，即基于候選區(qū)域和基于回歸算法.對于第一類算法，先介紹了基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region with Convolutional Neural Network，R-CNN)系列算法，然后從四個(gè)維度綜述了研究者在R-CNN系列算法基礎(chǔ)上所做的研究：對特征提取網(wǎng)絡(luò)的改進(jìn)研究、對感興趣區(qū)域池化層的改進(jìn)研究、對區(qū)域提取網(wǎng)絡(luò)的改進(jìn)研究、對非極大值抑制算法的改進(jìn)研究.對第二類算法分為YOLO(You Only Look Once)系列、SSD(Single Shot multibox Detector)算法及其改進(jìn)研究進(jìn)行綜述.最后根據(jù)當(dāng)前目標(biāo)檢測算法在發(fā)展更高效合理的檢測框架的趨勢下，展望了目標(biāo)檢測算法未來在無監(jiān)督和未知類別物體檢測方向的研究熱點(diǎn).

1 引言

目標(biāo)檢測的主要任務(wù)是從輸入圖像中定位感興趣的目標(biāo)，然后準(zhǔn)確地判斷每個(gè)感興趣目標(biāo)的類別.當(dāng)前目標(biāo)檢測技術(shù)已經(jīng)廣泛應(yīng)用于日常生活安全、機(jī)器人導(dǎo)航、智能視頻監(jiān)控、交通場景檢測及航天航空等領(lǐng)域.同時(shí)目標(biāo)檢測是行為理解、場景分類和視頻內(nèi)容檢索等其他高級(jí)視覺問題的基礎(chǔ).但是，由于同一類物體的不同實(shí)例間可能存在很大的差異性，而不同類物體間可能非常相似，以及不同的成像條件和環(huán)境因素會(huì)對物體的外觀產(chǎn)生巨大的影響[1],使得目標(biāo)檢測具有很大的挑戰(zhàn)性.

傳統(tǒng)的目標(biāo)檢測算法采用類似窮舉的滑動(dòng)窗口方式或圖像分割技術(shù)來生成大量的候選區(qū)域，然后對每一個(gè)候選區(qū)域提取圖像特征(包括HOG[2]、SIFT[3]、Haar[4]等)，并將這些特征傳遞給一個(gè)分類器(如SVM[5]、Adaboost[6]和Random Forest[7]等)用來判斷該候選區(qū)域的類別.由于傳統(tǒng)方法提取的特征存在局限性，產(chǎn)生候選區(qū)域的方法需要大量的計(jì)算開銷，檢測的精度和速度遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際應(yīng)用的要求，這使得傳統(tǒng)目標(biāo)檢測技術(shù)研究陷入了瓶頸[8].

近些年基于深度學(xué)習(xí)的目標(biāo)檢測算法形成兩大類別：基于候選區(qū)域和基于回歸.基于候選區(qū)域的目標(biāo)檢測算法也稱為二階段方法，將目標(biāo)檢測問題分成兩個(gè)階段：一是生成候選區(qū)域(region proposal)，二是把候選區(qū)域放入分類器中進(jìn)行分類并修正位置.基于回歸的目標(biāo)檢測算法只有一個(gè)階段，直接對預(yù)測的目標(biāo)物體進(jìn)行回歸.

Sharma等人[9,10]僅僅綜述了傳統(tǒng)的目標(biāo)檢測算法，Chahal等人[11]對基于深度學(xué)習(xí)的目標(biāo)檢測算法從算法實(shí)現(xiàn)的角度進(jìn)行了綜述，Kemal等人[12]從目標(biāo)檢測算法中不平衡問題的角度進(jìn)行了綜述，Zhao等人[13]從檢測框架和檢測子任務(wù)兩個(gè)角度進(jìn)行了綜述.與以上研究綜述不同的是，本文從一個(gè)新穎的角度歸類綜述了近些年目標(biāo)檢測領(lǐng)域的經(jīng)典算法.在將其分為基于候選區(qū)域和基于回歸兩大類的前提下，對基于候選區(qū)域的目標(biāo)檢測算法，介紹基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region with Convolutional Neural Network，R-CNN)系列算法的發(fā)展史后，根據(jù)對不同模塊的改進(jìn)研究進(jìn)行歸類綜述：特征提取網(wǎng)絡(luò)、感興趣區(qū)域池化(Region of Interesting Pooling,ROI Pooling)層、區(qū)域提取網(wǎng)絡(luò)(Region Proposal Networks,RPN)、非極大值抑制(Non Maximum Suppression,NMS).對基于回歸的目標(biāo)檢測算法，介紹YOLO(You Only Look Once)系列和SSD(Single Shot Multibox Detector)算法后，對基于SSD算法的改進(jìn)研究進(jìn)行細(xì)分論述：基于Anchor-based的改進(jìn)研究和基于Anchor-free的改進(jìn)研究.隨后介紹目標(biāo)檢測領(lǐng)域流行的數(shù)據(jù)集.最后展望未來目標(biāo)檢測研究的發(fā)展方向.

2 基于候選區(qū)域的目標(biāo)檢測算法綜述

本節(jié)主要將近年來基于候選區(qū)域的目標(biāo)檢測算法分為五個(gè)部分進(jìn)行綜述，首先介紹了Faster R-CNN[14]框架的發(fā)展歷程，然后綜述了對Faster R-CNN算法的四個(gè)重要組成部分(特征提取網(wǎng)絡(luò)、ROI Pooling層、RPN、NMS算法)的改進(jìn)研究.

2.1 R-CNN系列基礎(chǔ)框架的發(fā)展史

2014年，Girshick等人[15]成功將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN[16])運(yùn)用在目標(biāo)檢測領(lǐng)域中，提出了R-CNN算法，它將AlexNet[17]與選擇性搜索[18](selective search)算法相結(jié)合，把目標(biāo)檢測任務(wù)分解為若干個(gè)獨(dú)立的步驟(如圖1所示)，首先采用選擇性搜索算法提取2000個(gè)候選區(qū)域,然后對每個(gè)候選區(qū)域進(jìn)行歸一化，并逐個(gè)輸入CNN中提取特征，最后對特征進(jìn)行SVM分類和區(qū)域回歸.

R-CNN[15]算法在PASCAL VOC2007[19]數(shù)據(jù)集上的檢測精度達(dá)到了58.5%，相較于傳統(tǒng)的目標(biāo)檢測算法取得了跨越性的進(jìn)展.但還存在非常多的改進(jìn)空間，如：對于單張圖像提取的2000個(gè)候選區(qū)域需要逐個(gè)輸入CNN中，導(dǎo)致計(jì)算開銷十分巨大，嚴(yán)重影響了檢測速度；而且候選區(qū)域輸入CNN前，必須剪裁或縮放至固定大小，這會(huì)使候選區(qū)域發(fā)生形變且丟失較多的信息，導(dǎo)致網(wǎng)絡(luò)檢測精度下降.

2014年He等人[20]提出了空間金字塔網(wǎng)絡(luò)(Spatial Pyramid Pooling Network，SPP-Net)檢測算法，它在CNN最后一層卷積層和全連接層之間加入SPP層(如圖2所示)，使得網(wǎng)絡(luò)能夠輸入任意尺度的候選區(qū)域，從而每張輸入圖片只需一次CNN運(yùn)算，就能得到所有候選區(qū)域的特征，這使得計(jì)算量大大減少.SPP-Net的檢測速率比R-CNN快了24～102倍，并打破了固定尺寸輸入的束縛.

2015年，Girshick等人[21]提出了Fast R-CNN算法(如圖3所示)，他們受到SPP-Net算法的啟發(fā)，將SPP層簡化成單尺度的ROI Pooling層以統(tǒng)一候選區(qū)域特征的大小，而且進(jìn)一步提出了多任務(wù)損失函數(shù)思想，將分類損失和邊界框回歸損失統(tǒng)一訓(xùn)練學(xué)習(xí)，使得分類和定位任務(wù)不僅可以共享卷積特征，還可以相互促進(jìn)提升檢測效果.

雖然Fast R-CNN有效地加快了檢測速率，但仍然依賴于選擇性搜索算法[18]來產(chǎn)生候選區(qū)域.有研究表明，卷積神經(jīng)網(wǎng)絡(luò)的卷積層具有良好的定位目標(biāo)的能力，只是這種能力在全連接層被削弱了.因此，2015年Ren等人[14]提出了Faster R-CNN算法框架(結(jié)構(gòu)如圖4所示)，設(shè)計(jì)了輔助生成樣本的RPN取代選擇性搜索算法.RPN是一種全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN[22])結(jié)構(gòu),它將任意大小的特征圖作為輸入，經(jīng)過卷積操作后產(chǎn)生一系列可能包含目標(biāo)的候選區(qū)域，使算法實(shí)現(xiàn)了端到端的訓(xùn)練，極大提高了檢測速度.

2.2 基于Faster R-CNN的改進(jìn)研究

Faster R-CNN[14]算法在檢測的精度和速度上都取得了不錯(cuò)的效果.它主要由四個(gè)模塊組成：特征提取網(wǎng)絡(luò)用于提取圖像特征；ROI Pooling層將不同大小的候選區(qū)域特征進(jìn)行歸一化輸出；RPN根據(jù)圖像特征生成目標(biāo)的候選區(qū)域；NMS[23]算法用于去除冗余檢測框.本小節(jié)綜述了在這四個(gè)功能模塊上的改進(jìn)研究.

2.2.1 對特征提取網(wǎng)絡(luò)的改進(jìn)研究

深度卷積神經(jīng)網(wǎng)絡(luò)的淺層特征具有豐富的幾何信息，但對語義信息不敏感，不利于目標(biāo)分類；而高層具有豐富的語義信息，但分辨率太低，不利于目標(biāo)定位.僅利用最后一層卷積層的特征進(jìn)行不同尺度目標(biāo)的預(yù)測，效果顯然是不理想的，所以Faster R-CNN算法對于小目標(biāo)的檢測精度較低.針對這個(gè)問題，有許多研究是通過融合多個(gè)卷積層的特征來提高小尺度目標(biāo)的檢測效果.

2016年Kong等人[24]提出了HyperNet算法，通過融合多層卷積層的特征圖，得到具有多尺度信息的Hyper特征，該特征結(jié)合了卷積層高層的強(qiáng)語義信息、中層的輔助信息以及淺層的幾何信息.同年，Huang等人[25]采用多尺度思想，在特征提取網(wǎng)絡(luò)的高層和低層中提取多個(gè)不同尺度的特征分別進(jìn)行預(yù)測.

2017年Lin等人[26]提出了特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN),FPN構(gòu)造了一種自頂向下帶有橫向連接的層次結(jié)構(gòu)，提取多個(gè)不同尺度特征用于檢測，每個(gè)尺度特征都是高層特征與淺層特征融合所得，不僅具有較強(qiáng)的語義信息，還具有較豐富的幾何信息.

2018年Bharat等人[27]提出了圖像金字塔的尺度歸一化方法(Scale Normalization for Image Pyramids,SNIP).他們借鑒多尺度訓(xùn)練思想，使用圖像金字塔網(wǎng)絡(luò)將圖像生成三種不同分辨率的輸入圖像，高分辨率圖像只用于小目標(biāo)檢測，中等分辨率圖像只進(jìn)行中等目標(biāo)檢測，低分辨率圖像只進(jìn)行大目標(biāo)檢測.

2.2.2 對感興趣區(qū)域池化層的改進(jìn)研究

ROI Pooling，即感興趣區(qū)域池化是將候選區(qū)域?qū)?yīng)的特征圖劃分成固定數(shù)量的空間小塊，再對每個(gè)空間小塊進(jìn)行最大池化或者平均池化操作，這樣就實(shí)現(xiàn)了不同尺度的候選區(qū)域能夠輸出同樣大小的特征圖.近年來的改進(jìn)研究旨在更好保留或融合空間位置信息到ROI池化中，以提高檢測效果.

2016年Dai等人[28]提出了基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)(Region-based Fully Convolutional Network，R-FCN)，他們考慮到目標(biāo)檢測任務(wù)是由分類任務(wù)和定位任務(wù)組成，分類任務(wù)要求目標(biāo)特征具有平移不變性，而定位任務(wù)要求目標(biāo)特征具有平移敏感性.為了緩解這兩者間的矛盾，提出了位置敏感ROI池化，可以編碼每個(gè)候選區(qū)域的相對空間位置信息，使得特征具有了對位置的敏感性.在此基礎(chǔ)上，Zhu等人[29]提出了CoupleNet算法，設(shè)計(jì)了由兩個(gè)分支組成的耦合模塊，一個(gè)分支采用位置敏感ROI池化獲取對象的局部信息，另一分支則使用兩個(gè)ROI池化分別獲取對象的全局信息和上下文信息，然后有效的結(jié)合候選區(qū)域的局部信息、全局信息和上下文信息進(jìn)行檢測.

2017年Dai等人[30,31]提出了形變卷積網(wǎng)絡(luò)(Deformation Convolution Network，DCN)，設(shè)計(jì)了可形變卷積和可形變ROI池化層.它們的感受野不再是一成不變的正方形，而是和物體的實(shí)際形狀相匹配，緩解了物體形變問題，使網(wǎng)絡(luò)學(xué)習(xí)了更多的空間位置信息，增強(qiáng)了定位能力.

2017年He等人[32]提出了Mask R-CNN算法，為了解決特征圖和原始圖像上的感興趣區(qū)域出現(xiàn)不對準(zhǔn)問題提出了ROI Align層，并且增加了Mask預(yù)測分支，可以并行實(shí)現(xiàn)像素級(jí)的語義分割任務(wù).而2018年Jiang等人[33]進(jìn)一步改進(jìn)了ROI Pooling提出了精準(zhǔn)的感興趣區(qū)域池化(Precise ROI Pooling，PrROI Pooling).ROI Pooling采用的是最近鄰插值方法，它在將ROI映射到特征圖時(shí)和將ROI劃分池化區(qū)域時(shí)都存在取整近似運(yùn)算，會(huì)丟失部分空間位置信息；ROI Align則取消了所有的取整運(yùn)算，采用雙線性插值的方法計(jì)算每個(gè)空間塊的值，但只考慮N個(gè)插值點(diǎn)的值，而且N的大小是預(yù)定義的，不能根據(jù)空間塊的大小進(jìn)行調(diào)整；而PrROI Pooling是采用二階積分的方法對空間塊進(jìn)行池化操作，使感興趣區(qū)域保持更多的空間位置信息，實(shí)現(xiàn)更精準(zhǔn)定位.

2.2.3 對區(qū)域提取網(wǎng)絡(luò)的改進(jìn)研究

RPN是Faster R-CNN算法的主要?jiǎng)?chuàng)新點(diǎn)，它主要基于Anchor機(jī)制來產(chǎn)生大量目標(biāo)候選區(qū)域.近年來的改進(jìn)研究旨在產(chǎn)生更精確的候選區(qū)域，以提高檢測效果.

2017年，Zhao等人[34]提出了Cascade R-CNN算法，通過級(jí)聯(lián)三個(gè)區(qū)域交并比(Intersection Over Union，IOU)閾值遞增的R-CNN[15]檢測模型，對RPN產(chǎn)生的候選區(qū)域進(jìn)行篩選，留下高IOU值的候選區(qū)域，有效提高了模型的檢測精度.與此不同，2018年Chen等人[35]在RPN階段引入上下文信息對候選區(qū)域進(jìn)行微調(diào)，使得網(wǎng)絡(luò)定位的更加準(zhǔn)確.

針對RPN中的Anchor機(jī)制需要人工預(yù)先設(shè)定尺度大小和長寬比等超參數(shù)的問題，2019年，Wang等人[36]提出了Guided-Anchoring方法，通過圖像特征來指導(dǎo)Anchor的生成.它由Anchor生成模塊和特征自適應(yīng)模塊組成，其中Anchor生成模塊采用兩個(gè)分支分別預(yù)測Anchor的位置和形狀：位置預(yù)測分支預(yù)測出哪些區(qū)域作為中心點(diǎn)來生成Anchors；形狀預(yù)測分支則是根據(jù)位置預(yù)測分支得到的中心點(diǎn)來預(yù)測Anchor最佳的長和寬.特征自適應(yīng)模塊根據(jù)生成的Anchor的形狀，使用一個(gè)3×3的可形變卷積來修正特征圖，以適應(yīng)Anchor的形狀.

2.2.4 對NMS的改進(jìn)研究

NMS算法首先人工設(shè)定一個(gè)IOU閾值，將同一類的所有檢測框按照分類置信度排序，選取分類置信度得分最高的檢測結(jié)果，去除那些與之IOU值超過閾值的相鄰結(jié)果，使網(wǎng)絡(luò)模型在召回率和精度之間取得較好的平衡.

NMS算法采用單一的IOU閾值會(huì)導(dǎo)致漏檢情況發(fā)生，為了解決這個(gè)問題，2017年，Bodla等人[37]提出了Soft NMS算法，它不是直接去除那些超過IOU閾值的相鄰結(jié)果，而是采用線性或者高斯加權(quán)的方式衰減它的置信度值，再選取合適的置信度閾值進(jìn)行檢測框去重，對模型的漏檢有了很好的改善.在此基礎(chǔ)上，He等人[38]提出了Softer NMS算法，不是直接選取分類置信度得分最高的檢測框作為最終檢測結(jié)果，而是將與分類置信度最高的檢測框的交并比值大于一定閾值的所有檢測框的坐標(biāo)進(jìn)行加權(quán)平均，作為最終檢測結(jié)果，從而能夠更準(zhǔn)確的定位物體.

2018年，Hu等人[39]提出目標(biāo)關(guān)系模塊(Relation Module，RM)替代了NMS算法來對目標(biāo)的檢測框進(jìn)行去除冗余操作.RM借鑒了文獻(xiàn)[40]的思想對不同目標(biāo)間的關(guān)系進(jìn)行建模，并引入了注意力機(jī)制來優(yōu)化檢測效果.同年，Jiang等人[33]發(fā)現(xiàn)檢測結(jié)果中存在分類置信度和定位準(zhǔn)確度之間不匹配問題，所以提出了IOU-guided NMS[33]方法.他們將預(yù)測的檢測框與真值間的IOU值作為定位置信度，每一類根據(jù)定位置信度進(jìn)行排序，從而改進(jìn)了NMS過程，保留了定位更準(zhǔn)確的檢測框.

針對常用的邊界框回歸損失函數(shù)(L1范數(shù)或L2范數(shù))與IOU沒有強(qiáng)相關(guān)性，不能很好度量檢測框準(zhǔn)確性的問題，2019年Hamid等人[41]提出了GIOU作為邊界框回歸損失函數(shù)，在計(jì)算檢測框與真值框IOU的基礎(chǔ)上，添加了對這兩個(gè)框的最小閉包區(qū)域面積的計(jì)算，通過IOU減去兩框非重疊區(qū)域占最小閉包區(qū)域的比重得到GIOU，其保留了IOU的原始性質(zhì)的同時(shí)弱化了它的缺點(diǎn)，對邊界框的定位能力上有了大幅度的提升.

3 基于回歸的目標(biāo)檢測算法綜述

基于回歸的目標(biāo)檢測算法不需要候選區(qū)域生成分支，對給定輸入圖像，直接在圖像的多個(gè)位置回歸出目標(biāo)的候選框和類別.本文將分成兩大系列來綜述基于回歸的目標(biāo)檢測算法：YOLO[42]系列和SSD[43]系列.

3.1 YOLO系列目標(biāo)檢測算法

2015年Redmon等人[42]提出了YOLO算法，將分類、定位、檢測功能融合在一個(gè)網(wǎng)絡(luò)當(dāng)中，輸入圖像只需要經(jīng)過一次網(wǎng)絡(luò)計(jì)算，就可以直接得到圖像中目標(biāo)的邊界框和類別概率.如圖5所示，YOLO算法將整張輸入圖像劃分成S×S的網(wǎng)格圖，每個(gè)網(wǎng)格只負(fù)責(zé)物體中心落在該網(wǎng)格的目標(biāo)物體以及只預(yù)測B個(gè)邊界框信息，然后選擇合適的置信度閾值去除那些存在目標(biāo)可能性低的邊界框.雖然YOLO算法完全舍棄了候選區(qū)域生成步驟，極大提高了檢測速率，能滿足實(shí)時(shí)目標(biāo)檢測的速度要求，但由于其網(wǎng)絡(luò)設(shè)計(jì)比較粗糙，遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)時(shí)目標(biāo)檢測的精度要求，而且存在目標(biāo)不能精準(zhǔn)定位、容易漏檢，小目標(biāo)和多目標(biāo)檢測效果不好等問題.

2017年Redmon等人[44]提出了YOLOv2算法，對YOLO算法進(jìn)行了一系列改進(jìn)，重點(diǎn)解決召回率低和定位精度差的問題.它借鑒了Faster R-CNN算法的Anchor機(jī)制，移除了網(wǎng)絡(luò)中的全連接層，使用卷積層預(yù)測檢測框的位置偏移量和類別信息.而且不同于原Anchor機(jī)制的手工設(shè)計(jì)，它利用K-Means聚類方式在訓(xùn)練集中學(xué)習(xí)最佳的初始Anchor模板.不僅如此，YOLOv2添加了一個(gè)pass-through層，將淺層的特征圖連接到深層的特征圖，使網(wǎng)絡(luò)具有了細(xì)粒度特征.此外，YOLOv2可以采用多種數(shù)據(jù)集聯(lián)合優(yōu)化訓(xùn)練的方式，利用WordTree方法在ImageNet[45]分類數(shù)據(jù)集和MS COCO[46]檢測數(shù)據(jù)集上同步訓(xùn)練，實(shí)現(xiàn)超過9000個(gè)目標(biāo)類別的實(shí)時(shí)檢測任務(wù).

2018年Redmon等人[47]提出了YOLOv3算法，它借鑒殘差網(wǎng)絡(luò)中跳躍連接的思路，構(gòu)建了名為DarNet-53的53層基準(zhǔn)網(wǎng)絡(luò)，該網(wǎng)絡(luò)只采用3×3和1×1的卷積層，具有與ResNet-152[48]相仿的分類準(zhǔn)確率，但大大減少了計(jì)算量；為了處理多尺度目標(biāo)，采用了3種不同尺度的特征圖來進(jìn)行目標(biāo)檢測，每個(gè)特征圖都是高層與淺層特征圖融合所得；在預(yù)測類別時(shí)，使用Logistic回歸方法代替Softmax方法，使得每個(gè)候選框可以預(yù)測多個(gè)類別，支持檢測具有多個(gè)標(biāo)簽的對象.YOLOv3算法能滿足實(shí)時(shí)檢測任務(wù)的精度與速率的要求，成為了當(dāng)前工程界首選的目標(biāo)檢測算法之一.

3.2 SSD系列目標(biāo)檢測算法

3.2.1 SSD算法

2016年Liu等人[43]提出了SSD算法，在回歸思想的基礎(chǔ)上，有效結(jié)合多尺度檢測的思想，提取多個(gè)不同尺度的特征圖進(jìn)行檢測，遵循較大的特征圖用來檢測相對較小的目標(biāo)，較小的特征圖檢測較大目標(biāo)的策略，顯著提高了對大目標(biāo)的檢測效果，對小目標(biāo)檢測也有一定的提升.同時(shí)借鑒Faster R-CNN算法的Anchor機(jī)制，對提取的特征圖的每個(gè)位置上都預(yù)設(shè)固定數(shù)量的不同尺度和長寬比的先驗(yàn)框(default boxes)，網(wǎng)絡(luò)可以直接在特征圖上進(jìn)行密集采樣提取候選框進(jìn)行預(yù)測，在保持實(shí)時(shí)檢測速度的同時(shí)，提高了模型的定位準(zhǔn)確度.如圖6所示，SSD網(wǎng)絡(luò)是基于全卷積網(wǎng)絡(luò)結(jié)構(gòu)，它將基礎(chǔ)網(wǎng)絡(luò)VGG16[49]的全連接層替換為了卷積層，并在VGG16[49]網(wǎng)絡(luò)末端添加了幾個(gè)使特征圖尺寸逐漸減小的輔助性卷積層，用于提取不同尺度的特征圖，而且直接采用卷積操作對不同尺度的特征圖進(jìn)行檢測.

SSD算法在檢測的速度和精度上都超越了Faster R-CNN算法，但SSD算法提取的不同卷積層特征獨(dú)立輸入各自的檢測分支，容易出現(xiàn)同一個(gè)物體被不同大小的邊界框同時(shí)檢測出來的情況，即重復(fù)檢測問題.而且每層的檢測分支僅關(guān)注自己分支上特定尺度的目標(biāo)，沒有考慮到不同層、不同尺度目標(biāo)間的關(guān)聯(lián)性，所以對小目標(biāo)檢測效果一般.

3.2.2 基于Anchor-based方式的改進(jìn)

2017年Jisoo等人[50]提出了RSSD算法，其在SSD[43]算法的基礎(chǔ)上，對提取的不同尺度的特征采用了特殊的特征融合方式：對于每個(gè)特定的尺度特征，分別將比其大的尺度特征進(jìn)行池化操作，比其小的尺度特征進(jìn)行反卷積操作，然后將這些特征進(jìn)行串接融合形成新的特定尺度特征.這種融合方式使得每個(gè)尺度的特征都具有其他尺度的信息，增加了不同層特征圖之間的聯(lián)系，避免了同一目標(biāo)重復(fù)檢測的問題.同年，Cheng等人[51]提出了DSSD算法，將VGG16[49]替換為ResNet101[48]，增強(qiáng)了網(wǎng)絡(luò)特征提取能力，并設(shè)計(jì)了兩個(gè)特殊的模塊：預(yù)測模塊和反卷積模塊.預(yù)測模塊的結(jié)構(gòu)類似殘差模塊，通過跳躍連接實(shí)現(xiàn)不同層特征之間的融合，從而提高特征的表征能力.反卷積模塊則是采用反卷積操作建立了一個(gè)Top-to-Down路徑，得到新的不同尺度的特征圖，這些特征圖融合了高層與淺層特征，引入了豐富的空間上下文信息，使得DSSD算法在檢測精度上有了大幅度的提升，但檢測速度有較大犧牲.在此基礎(chǔ)上，Lin等人[52]提出了RetinaNet算法，針對SSD算法因密集采樣導(dǎo)致的難易樣本嚴(yán)重失衡問題，提出了Focal Loss函數(shù)，其是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上添加了兩個(gè)平衡因子，抑制了簡單樣本的梯度，將更多的注意力放在難分的樣本上.受Focal Loss的啟發(fā)，Li等人[53]提出了梯度協(xié)調(diào)機(jī)制(Gradient Harmonizing Mechanism,GHM)來解決樣本失衡問題，這種機(jī)制可以同時(shí)嵌入分類和回歸損失中來平衡訓(xùn)練樣本的梯度，不僅減少了易分樣本的關(guān)注，而且避免了特別難分樣本對模型的負(fù)面影響.

2018年Liu等人[54]提出了RFB-Net算法，通過模擬人類視覺感受野，設(shè)計(jì)了感受野模塊(Receptive Field Block，RFB)增加網(wǎng)絡(luò)的特征提取能力.RFB結(jié)構(gòu)借鑒了Inception[55]的思想，引入三個(gè)不同擴(kuò)張率的3×3卷積層增大感受野，并且將這三個(gè)卷積的輸出以串接方式進(jìn)行特征融合.此外，Zhang等人[56]提出了RefineDet算法，結(jié)合了一階段和二階段檢測算法的優(yōu)點(diǎn)，設(shè)計(jì)了兩個(gè)模塊：物體檢測模塊和Anchor微調(diào)模塊，前者對密集的Anchors進(jìn)行篩選去除一些不包含物體的負(fù)樣本，同時(shí)粗調(diào)篩選后的Anchors位置和尺寸，后者對物體檢測模塊輸出的Anchors進(jìn)一步回歸，這使得網(wǎng)絡(luò)進(jìn)行了兩次回歸任務(wù)，有效提升了網(wǎng)絡(luò)定位能力，并且樣本的篩選有效緩解了正負(fù)樣本不均衡問題.

SSD最新的改進(jìn)研究[57～61]更加關(guān)注于合理和高效的運(yùn)用FPN結(jié)構(gòu)，提取具有豐富上下文信息和空間信息的多尺度特征，解決目標(biāo)尺度變化問題.Ghaisi等人[58]受到神經(jīng)結(jié)構(gòu)搜索(Neural Architecture Search,NAS)的啟發(fā)，提出了NAS-FPN算法，該網(wǎng)絡(luò)模型自動(dòng)搜索設(shè)計(jì)最優(yōu)的FPN結(jié)構(gòu)，實(shí)現(xiàn)跨尺度的特征融合，在網(wǎng)絡(luò)性能上超越了Mask R-CNN,但模型的訓(xùn)練需要大量的GPU支持.此外，Zhao等人[59]提出了多層特征金字塔網(wǎng)絡(luò)(Multi-Level Feature Pyramid Network,MLFPN)，通過級(jí)聯(lián)多個(gè)小型的FPN子網(wǎng)絡(luò)，形成不同層級(jí)的不同尺度特征，并對特征進(jìn)行充分的重利用和融合，使網(wǎng)絡(luò)性能和小目標(biāo)檢測都有很大的提升.

3.2.3 基于Anchor-free方式的改進(jìn)

雖然SSD算法借鑒Anchor機(jī)制的思想大幅度提高了網(wǎng)絡(luò)的定位能力.但Anchor機(jī)制中存在兩個(gè)人工設(shè)計(jì)的超參數(shù)：尺度大小和長寬比.這不僅需要較強(qiáng)的先驗(yàn)知識(shí)，而且提取的候選區(qū)域太多，增加了計(jì)算開銷，還引起正負(fù)樣本不均衡問題，所以有些研究者提出了Anchor-free的改進(jìn)方法.

2018年，Hei Law等人[62]提出了CornerNet算法，借鑒了文獻(xiàn)[63]對關(guān)鍵點(diǎn)檢測的思想，采用Hourglass104網(wǎng)絡(luò)[63]作為特征提取網(wǎng)絡(luò)，直接預(yù)測物體的左上角點(diǎn)和右下角點(diǎn)來得到檢測框，將目標(biāo)檢測問題當(dāng)作關(guān)鍵點(diǎn)檢測問題來解決.在此基礎(chǔ)上，Zhou等人[64]提出了ExtremeNet算法，在關(guān)鍵點(diǎn)選取和關(guān)鍵點(diǎn)組合方式上做出了創(chuàng)新，通過選取物體上下左右四個(gè)極值點(diǎn)和一個(gè)中心點(diǎn)作為關(guān)鍵點(diǎn)，更加直接關(guān)注物體邊緣和內(nèi)部信息，使得檢測更加穩(wěn)定.Duan等人[65]發(fā)現(xiàn)ConerNet只使用左右角點(diǎn)會(huì)造成大量的誤檢，為了解決這個(gè)問題，提出了CenterNet算法，它在CornerNet的基礎(chǔ)上添加了中心點(diǎn)預(yù)測分支，使得組成一個(gè)物體檢測框的要求不僅僅是左右角點(diǎn)能夠匹配，而且檢測框的中心點(diǎn)也要有對應(yīng)的中心點(diǎn)匹配.

上述的Anchor-free的方法都是基于人體關(guān)鍵點(diǎn)檢測的思想，使用非常龐大的Hourglass-104[63]網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，與此不同的是，Zhi等人[66]提出了基于全卷積的一階段目標(biāo)檢測器(Fully Convolutional One-Stage object detection，F(xiàn)COS),借鑒語義分割任務(wù)的思想，采用逐像素預(yù)測方式解決目標(biāo)檢測問題，完全避免了與Anchor相關(guān)的復(fù)雜計(jì)算和超參數(shù)設(shè)計(jì)，同時(shí)使用FPN結(jié)構(gòu)實(shí)現(xiàn)多尺度目標(biāo)的預(yù)測，每個(gè)預(yù)測分支中添加了中心點(diǎn)損失來抑制中心點(diǎn)偏差大的檢測框，保證每個(gè)檢測框盡可能靠近目標(biāo)中心，提高了模型定位能力.

4 相關(guān)數(shù)據(jù)集綜述

當(dāng)前通用目標(biāo)檢測任務(wù)中流行的數(shù)據(jù)集有：PASCAL VOC2007[19]、PASCAL VOC2012[67]、MS COCO[46]、ImageNet[45]、Open Images[68]、LIVS[69]等.

PASCAL VOC[19,67]數(shù)據(jù)集主要用于圖像分類和目標(biāo)檢測任務(wù)，主要流行的有PASCAL VOC2007[19]數(shù)據(jù)集和PASCAL VOC2012[67]數(shù)據(jù)集.它們包含了20個(gè)常見的類別，每張圖片都有與之對應(yīng)的XML文件標(biāo)注了每個(gè)待檢測目標(biāo)的位置和類別.

MS COCO[46]數(shù)據(jù)集用于目標(biāo)檢測、語義分割、人體關(guān)鍵點(diǎn)檢測和字幕生成等任務(wù)，對于目標(biāo)檢測任務(wù)，它是挑戰(zhàn)性最大的數(shù)據(jù)集之一.該數(shù)據(jù)集中的目標(biāo)大部分來自于自然場景，包含日常復(fù)雜場景的圖像，而且在進(jìn)行評(píng)估時(shí)使用更加嚴(yán)格的評(píng)估標(biāo)準(zhǔn)，要求算法具有更精確的定位能力.該數(shù)據(jù)集使用JSON格式的標(biāo)注文件給出每張圖片中目標(biāo)像素級(jí)別的分割信息，而且數(shù)據(jù)集中共包含80個(gè)對象類別的待檢測目標(biāo)，目標(biāo)間的尺度變化大，具有較多的小目標(biāo)物體.

ImageNet[45]數(shù)據(jù)集用于圖像分類、目標(biāo)檢測和場景分類等任務(wù)，包含約1420萬張圖片，2.2萬個(gè)類別，其中約103萬張圖片擁有明確的類別標(biāo)注和物體的位置標(biāo)注.對于目標(biāo)檢測任務(wù)，它是具有200個(gè)對象類別的重要數(shù)據(jù)集，每張圖片的批注都以PASCAL VOC數(shù)據(jù)格式保存在XML文件中.

Open Images[68]數(shù)據(jù)集是對圖像分類、目標(biāo)檢測、視覺關(guān)系檢測和實(shí)例分割等任務(wù)具有統(tǒng)一注釋的單個(gè)數(shù)據(jù)集，對于目標(biāo)檢測任務(wù)，它總共包含190萬張圖片和針對600個(gè)對象類別的1600萬個(gè)邊界框，是具有對象位置注釋的最大現(xiàn)有數(shù)據(jù)集.

LIVS[69]數(shù)據(jù)集是2019年提出的大型實(shí)例分割數(shù)據(jù)集，包含了1000多個(gè)類別，164000張圖像，220萬個(gè)高質(zhì)量的實(shí)例分割掩碼，這是即將應(yīng)用于目標(biāo)檢測領(lǐng)域的全新數(shù)據(jù)集，而且LIVS數(shù)據(jù)集中每個(gè)對象類別的訓(xùn)練樣本很少，旨在用于目標(biāo)檢測在低樣本數(shù)量條件下的研究.

5 總結(jié)和展望

目標(biāo)檢測是一個(gè)十分重要的研究領(lǐng)域，具有廣泛的應(yīng)用前景.本文將近些年涌現(xiàn)的基于深度學(xué)習(xí)的目標(biāo)檢測算法分為基于候選區(qū)域和基于回歸的前提下，對這兩類算法從發(fā)展及不同方向的改進(jìn)研究角度進(jìn)行了詳細(xì)的綜述.并介紹了目前目標(biāo)檢測領(lǐng)域流行的數(shù)據(jù)集.雖然當(dāng)前目標(biāo)檢測算法在實(shí)際生活中得到了廣泛應(yīng)用，但依然存在許多挑戰(zhàn)，未來目標(biāo)檢測算法在以下幾個(gè)方面值得進(jìn)一步研究：

一是如何有效的結(jié)合上下文信息，解決小目標(biāo)和被遮擋目標(biāo)在復(fù)雜現(xiàn)實(shí)場景的檢測；二是探索更優(yōu)的或?qū)ｉT為檢測任務(wù)設(shè)計(jì)的特征提取網(wǎng)絡(luò)，以及更優(yōu)的檢測框選定方法；三是現(xiàn)在的目標(biāo)檢測算法都是基于監(jiān)督學(xué)習(xí)，現(xiàn)實(shí)中存在海量沒有標(biāo)注的數(shù)據(jù)，所以研究如何采用弱監(jiān)督學(xué)習(xí)的目標(biāo)檢測算法是非常有價(jià)值的；四是探索如何從已知類別的目標(biāo)檢測，結(jié)合有效語義信息，遷移到未知類別的目標(biāo)檢測也是一個(gè)值得研究的方向.

編輯：黃飛