CNN卷積神經(jīng)網(wǎng)絡(luò)問(wèn)世以來(lái)，在計(jì)算機(jī)視覺(jué)領(lǐng)域備受青睞，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，其參數(shù)共享性和平移不變性，使得對(duì)于圖像的處理十分友好，然而，近日由Facebook AI、新家坡國(guó)立大學(xué)、360人工智能研究院的研究人員提出的一種新的卷積操作OctConv使得在圖像處理性能方面得到了重大突破與提升，OctConv和CNN中的卷積有什么不同呢？

論文下載地址：

https://arxiv.org/pdf/1904.05049.pdf

CNN網(wǎng)絡(luò)中的卷積層主要用來(lái)提取圖像特征，如下圖所示，利用卷積核（也稱濾波器）對(duì)輸入圖像的每個(gè)像素進(jìn)行卷積操作得到特征圖，由于圖像中相鄰像素的特征相似性，卷積核橫掃每個(gè)位置，獨(dú)立的存儲(chǔ)自己的特征描述符，忽略空間上的一致性，使得特征圖在空間維度上存在大量的冗余。

圖1 普通卷積操作示意圖

OctConv主要基于于處理多空間頻率的特征映射并減少空間冗余的問(wèn)題提出的。

原文地址：

https://export.arxiv.org/pdf/1904.05049

下面文摘菌將從論文的四個(gè)部分展開對(duì)OctConv原理的闡述。

Why?—OctConv之誕生

文章摘要（Abstract)部分指出，在自然圖像中，信息以不同的頻率傳輸，其中高頻率通常以細(xì)節(jié)進(jìn)行編碼，而較低頻率通常以總體結(jié)構(gòu)進(jìn)行編碼，同理卷積層的輸出可以看做不同頻率的信息混合，在論文中，研究者提出通過(guò)頻率對(duì)特征融合圖進(jìn)行分解，并設(shè)計(jì)出了一種新的Octave卷積（OctConv）操作，旨在存儲(chǔ)和處理在空間上變化緩慢的較低分辨率的特征圖，從而降低內(nèi)存和計(jì)算成本。與現(xiàn)存的多尺度方法不同，OctConv是一種單一、通用、即插即用的卷積單元，可以直接代替普通卷積，而無(wú)需調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)。

OctConv與那些用于構(gòu)建更優(yōu)拓?fù)浠蛘邷p少分組或深度卷積中信道冗余的方法是正交和互補(bǔ)的。

實(shí)驗(yàn)表明，通過(guò)使用OctConv替代普通卷積，能很好的提高語(yǔ)音和圖像識(shí)別任務(wù)中的精度，同時(shí)降低內(nèi)存和計(jì)算成本，一個(gè)配備有OctConv的ResNet-152能夠以僅僅22.2 GFLOP在ImageNet數(shù)據(jù)集上達(dá)到82.5%的top-1分類準(zhǔn)確率。

What?—初探OctConv

論文Introduction（介紹）部分基于CNN現(xiàn)存的空間維度冗余問(wèn)題引出了下圖：

圖2 論文思路闡述圖

（a）動(dòng)機(jī)：研究表明，自然圖像可以分解為低空間頻率和高空間頻率兩部分；

（b）卷積層的輸出圖也可以根據(jù)空間頻率進(jìn)行分解和分組；

（c）所提出的多頻特征表示將平滑變化的低頻映射存儲(chǔ)字低分辨率張量中，以減少空間冗余；

（d）所提出的OctConv直接作用于這個(gè)表示。它會(huì)更新每個(gè)組的信息，并進(jìn)一步支持組之間的信息交換。

具體解釋為：如圖 2(a) 所示，自然圖像可以分解為描述平穩(wěn)變化結(jié)構(gòu)的低空間頻率分量和描述快速變化的精細(xì)細(xì)節(jié)的高空間頻率分量。類似地，我們認(rèn)為卷積層的輸出特征映射也可以分解為不同空間頻率的特征，并提出了一種新的多頻特征表示方法，將高頻和低頻特征映射存儲(chǔ)到不同的組中，如圖 2(b) 所示。因此，通過(guò)相鄰位置間的信息共享，可以安全地降低低頻組的空間分辨率，減少空間冗余，如圖 2(c) 所示。

How?—再探OctConv

論文Method（方法）部分：octave feature 減少了空間冗余，比原始表示更加緊湊。然而，由于輸入特征的空間分辨率不同，傳統(tǒng)卷積不能直接對(duì)這種表示進(jìn)行操作。避免這個(gè)問(wèn)題的一種簡(jiǎn)單方法是將低頻部分上采樣到原始的空間分辨率，將它與連接起來(lái)，然后進(jìn)行卷積，這將導(dǎo)致額外的計(jì)算和內(nèi)存開銷。為了充分利用緊湊的多頻特征表示，我們提出 Octave Convolution，它可以直接在分解張量X={XH，XL}上運(yùn)行，而不需要任何額外的計(jì)算或內(nèi)存開銷。

Octave Convolution的設(shè)計(jì)目標(biāo)是有效地處理相應(yīng)張量中的低頻和高頻分量，同時(shí)使得Octave特征表示的高頻分量和低頻分量之間能夠有效通信。設(shè)X,Y為分解輸入和輸出張量，那么輸出的高頻和低頻信號(hào)將由下式給出：

其中H→H，L→L表示自身的更新，L→H，H→L表示高頻與低頻分量之間的通信，如圖3所示綠色箭頭表示信息更新，紅色箭頭表示兩個(gè)頻率之間的信息交換。

圖3 Octave Convolution示意圖

同理，我們將卷積核分解為高頻和低頻W={WH,WL}，WH=WH→H+WL→H；WL=WL→L+WH→L，如圖4所示：

圖3 Octave Convolution kernel示意圖

對(duì)于低頻特征所使用的低頻所占比例a的不同，當(dāng)a=0時(shí)（即沒(méi)有低頻成分），OctConv就會(huì)退化為普通卷積。經(jīng)過(guò)實(shí)驗(yàn)評(píng)估k×k Octave 卷積核與普通卷積核等價(jià)，即二者具有完全相同的參數(shù)量。

To do—Just do it

論文的實(shí)驗(yàn)部分：研究人員驗(yàn)證了提出的Octave卷積對(duì)于2D和3D網(wǎng)絡(luò)的效能和效率，首先展示了ImageNet圖像分類的控制變量研究，然后將其與當(dāng)前最優(yōu)的方法進(jìn)行了比較。之后研究人員使用Kinetics-400和Kinetics-600數(shù)據(jù)集，展示了提出的OctConv也適用于3D CNN。

圖4 ImageNet上的控制變量結(jié)果圖

上表為論文中的表8，視頻中的動(dòng)作識(shí)別、控制變量研究結(jié)果統(tǒng)計(jì)。