隨著注意力機(jī)制在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)等多個(gè)人工智能領(lǐng)域風(fēng)靡，計(jì)算機(jī)視覺(jué)領(lǐng)域刷榜之爭(zhēng)可謂是進(jìn)入白熱化階段。

近期大量工作刷新現(xiàn)有各項(xiàng)任務(wù)SOTA：前腳谷歌剛在圖像識(shí)別ImageNet上準(zhǔn)確度超過(guò)90，緊接著微軟又在目標(biāo)檢測(cè)COCO上AP超過(guò)60。

在一篇CVPR 2021 論文中，來(lái)自微軟的研究者提出多重注意力機(jī)制統(tǒng)一目標(biāo)檢測(cè)頭方法Dynamic Head, 可插拔特性提高多種目標(biāo)檢測(cè)框架的性能。

在Transformer骨干和額外數(shù)據(jù)加持下，COCO單模型測(cè)試取得新紀(jì)錄：60.6 AP。

方法概述

本文首先對(duì)現(xiàn)有目標(biāo)檢測(cè)頭的改進(jìn)工作進(jìn)行了總結(jié)，發(fā)現(xiàn)近期方法主要通過(guò)三個(gè)不同的角度出發(fā)進(jìn)行目標(biāo)檢測(cè)性能的提升：

尺度感知：目標(biāo)尺度的差異對(duì)應(yīng)了不同尺度的特征，改進(jìn)不同級(jí)的表達(dá)能力可以有效提升目標(biāo)檢測(cè)器的尺度感知能力；

空間位置：不相似目標(biāo)形狀的不同幾何變換對(duì)應(yīng)了特征的不同空間位置，改進(jìn)不同空間位置的表達(dá)能力可以有效提升目標(biāo)檢測(cè)器的空間位置感知能力；

多任務(wù)：目標(biāo)表達(dá)與任務(wù)的多樣性對(duì)應(yīng)了不同通道特征，改進(jìn)不同通道的表達(dá)能力可以有效提升目標(biāo)檢測(cè)的任務(wù)感知能力。

本文提出一種新穎的動(dòng)態(tài)頭框架，它采用多注意力機(jī)制將不同的目標(biāo)檢測(cè)頭進(jìn)行統(tǒng)一。

通過(guò)特征層次之間的注意力機(jī)制用于尺度感知，空間位置之間的注意力機(jī)制用于空間感知，輸出通道內(nèi)的注意力機(jī)制用于任務(wù)感知，該方法可以在不增加計(jì)算量的情況顯著提升模型目標(biāo)檢測(cè)頭的表達(dá)能力。

為了達(dá)成以上目的，本文對(duì)特征金字塔進(jìn)行重構(gòu)，將不同層級(jí)的特征統(tǒng)一到一個(gè)3D張量，并發(fā)現(xiàn)在不同維度引入注意力機(jī)制可以提高對(duì)尺度，空間位置和多任務(wù)的感知能力。

因此上述方向可以統(tǒng)一到一個(gè)高效注意力學(xué)習(xí)問(wèn)題中。本文也是首個(gè)嘗試采用多注意力機(jī)制將三個(gè)維度組合構(gòu)建統(tǒng)一頭并最大化其性能的工作。

作者將注意力函數(shù)轉(zhuǎn)換為三個(gè)序列子注意力函數(shù)來(lái)解決傳統(tǒng)注意力函數(shù)在高維度導(dǎo)致計(jì)算量激增的問(wèn)題。

每個(gè)注意力函數(shù)僅聚焦一個(gè)維度：基于SE模塊的尺度自注意函數(shù)π_L, 基于可變形卷積的空間自注意函數(shù)π_S 和 基于動(dòng)態(tài)ReLU激活函數(shù)的多任務(wù)的自注意函數(shù)π_C。

作者將三種自注意函數(shù)進(jìn)行堆疊，形成一個(gè)可輕易插拔的模塊DyHead，并將其應(yīng)用于多種目標(biāo)檢測(cè)框架中。

實(shí)驗(yàn)結(jié)果

作者首先分析了的計(jì)算效率。當(dāng)采用6個(gè)模塊時(shí)，模型性能提升達(dá)到最大，而計(jì)算量提升相比骨干網(wǎng)絡(luò)可以忽略。

作者將DyHead集成到不同檢測(cè)器進(jìn)行性能對(duì)比，發(fā)現(xiàn)所提DyHead可以一致性提升所有主流目標(biāo)檢測(cè)器性能：1.2~3.2AP，展示了優(yōu)異的可插拔擴(kuò)展性能。

在與其他目標(biāo)檢測(cè)方法的對(duì)比中，所提方案以較大的優(yōu)勢(shì)超越了流行方案。相比僅采用多尺度尋覽的方法，所提方案僅需2x訓(xùn)練即可取得新的SOTA指標(biāo)52.3AP。相對(duì)于谷歌提出的EfficientDet與SpineNet，所提方法訓(xùn)練時(shí)間更少(僅1/20);

當(dāng)同時(shí)采用多尺度訓(xùn)練與測(cè)試時(shí)，所提方法取得了新的SOTA指標(biāo)54.0AP，以1.3AP指標(biāo)優(yōu)于此前最佳。

當(dāng)引入更優(yōu)異的Transformer骨干網(wǎng)絡(luò)、以及通過(guò)類似于谷歌自我學(xué)習(xí)方法生成的額外偽框的ImageNet數(shù)據(jù)后，所提方案取得了COCO新的記錄：60.6 AP，成為首個(gè)超過(guò)60的單模型方法。

責(zé)任編輯：lq6