編譯：ronghuaiyang

導(dǎo)讀 這是前一篇文章的繼續(xù)，在這篇文章中，我們將討論紋理分析在圖像分類中的重要性，以及如何在深度學(xué)習(xí)中使用紋理分析。 ?

在這篇文章中，我們將討論紋理分析在圖像分類中的重要性，以及如何在深度學(xué)習(xí)中使用紋理分析。我們還將討論一些常用的紋理提取技術(shù)，這些技術(shù)用于預(yù)先訓(xùn)練的模型，以更有效地解決分類任務(wù)。

為了更好地理解本文中解釋的主題，我們假設(shè)讀者對紋理提取技術(shù)、遷移學(xué)習(xí)和預(yù)訓(xùn)練的模型(如ResNet、InceptionNet等)有基本的了解。

在過去的幾年里，深度學(xué)習(xí)在分類、分割和識別任務(wù)中顯示出了巨大的意義和有效性。然而，在許多情況下，傳統(tǒng)的基于cnn的架構(gòu)在基于紋理的分類任務(wù)中表現(xiàn)不佳。為了解決這個問題，最近有人提出了一些新的架構(gòu)。

以往的紋理分類工作大多使用預(yù)訓(xùn)練的模型，如ResNet、InceptionNet等，并將紋理特征提取技術(shù)之一應(yīng)用于預(yù)訓(xùn)練模型的激活輸出。

如果圖像數(shù)據(jù)集具有豐富的基于紋理的特征，如果將額外的紋理特征提取技術(shù)作為端到端體系結(jié)構(gòu)的一部分，則深度學(xué)習(xí)技術(shù)會更有效。

預(yù)訓(xùn)練模型的問題是，由于模型的復(fù)雜性，最后一層捕獲圖像的復(fù)雜特征。這些特征提供了關(guān)于物體形狀的信息，但不適合基于圖像中的重復(fù)模式來識別紋理細節(jié)。為了以一種優(yōu)雅的方式解決這個問題，研究人員提出了將紋理提取技術(shù)與CNN結(jié)合起來的概念。這樣紋理就能被更準(zhǔn)確地捕捉和分類。

在基于紋理的分類任務(wù)重，紋理分析對于深度學(xué)習(xí)的重要性

由于紋理基于局部模式，而傳統(tǒng)的深度學(xué)習(xí)方法強調(diào)復(fù)雜的特征，對紋理分類沒有幫助，因此，傳統(tǒng)的CNN架構(gòu)不能很好地執(zhí)行基于紋理特征的分類任務(wù)。為了讓深度學(xué)習(xí)在基于紋理的數(shù)據(jù)上更好地工作，需要有一種方法，可以從圖像中提取紋理特定的特征，并將其傳遞給全連接層，同時保留全局特征。這樣的架構(gòu)設(shè)置將使全連接的層具有信息紋理特征，并有助于更有效地估計類邊界。

圖1，局部特征提取

我們可以在圖1中看到，織物顯微圖像中提取的局部特征如何顯示幾乎相似的特征，這些提取的局部特征足以呈現(xiàn)織物的紋理類型。從給定的織物紋理中，假設(shè)使用紋理分析技術(shù)提取給定圖像的局部特征(LF)。相同的局部模式在整個圖像中重復(fù)。在這張織物圖像中，三個提取的局部特征的特征幾乎是相同的。與全局特征相比，提取這些局部特征將更有幫助，因為局部特征在定義給定織物中存在的紋理類型時更有希望，從而更好地區(qū)分“紋理類型”類。

在紋理分析中，我們重點研究了紋理的識別和提取方法。更好地理解紋理分析方法有助于我們確定最適合特定紋理類型的技術(shù)，以及如何將該方法應(yīng)用于給定的圖像，以提取紋理特征。

利用紋理分析的知識，我們可以開發(fā)基于紋理的技術(shù)，并在神經(jīng)網(wǎng)絡(luò)架構(gòu)中以“層”的形式實現(xiàn)它們。這使得紋理分析方法可以與基于cnn的骨干架構(gòu)相結(jié)合。

如何在深度學(xué)習(xí)結(jié)構(gòu)中提取紋理特征？

在典型的CNN體系結(jié)構(gòu)中，沒有規(guī)定性的方法來強制在傳遞給全連接層的激活中存在紋理特征。假設(shè)，我們必須根據(jù)紋理類型對一些圖像進行分類。如果以某種方式，我們可以強制模型來解釋圖像中的紋理特征，那么模型的性能就會大大提高。

在最近的研究中，很少有紋理特征提取技術(shù)能夠以“專門的”可微網(wǎng)絡(luò)層的形式與CNN體系結(jié)構(gòu)集成。將紋理提取層與傳統(tǒng)CNN體系結(jié)構(gòu)集成后，其主要優(yōu)點是將局部特征與全局特征一起傳遞給全連通層，有助于更顯著地估計類邊界。

每種紋理提取技術(shù)能夠提取的紋理特征類型不同，因此沒有一種“通用的”紋理提取方法。

由于紋理是圖像的局部屬性，因此這些技術(shù)的工作原理是突出給定圖像的局部特征。

在下一節(jié)中，我們將討論最近開發(fā)的紋理提取技術(shù)以及它們在使用CNN架構(gòu)時應(yīng)用的紋理任務(wù)類型。

深入紋理提取技術(shù)、方法以及在預(yù)訓(xùn)練激活輸出上的應(yīng)用

DeepTen

DeepTen網(wǎng)絡(luò)是一種利用損失函數(shù)在端到端學(xué)習(xí)框架上學(xué)習(xí)視覺詞匯的技術(shù)。編碼層被利用在卷積層之上。DeepTen的獨特之處在于字典、特征、分類器和編碼表示都是同時學(xué)習(xí)的。這里的字典指的是輸入數(shù)據(jù)的稀疏表示。

為什么它有助于紋理分析

在一般的計算機視覺任務(wù)中，使用SIFT(尺度不變特征變換)或者濾波器組提取手工設(shè)計的特征。但在DeepTen中，每個部分都針對給定的端到端模式/紋理/材料識別任務(wù)進行了調(diào)優(yōu)。整個管道被訓(xùn)練在一起，這些特征為識別任務(wù)提供了一個無順序的編碼。

如何使用它進行基于紋理的分類

在DeepTen中使用了一個可學(xué)習(xí)的殘差編碼層，它將殘差學(xué)習(xí)和整個字典移植到CNN的一個單層中。DeepTen的編碼層有3個主要屬性:

廣義魯棒殘差編碼器，描述特征分布。

作為卷積層之上的池化層，增加了深度學(xué)習(xí)模型的靈活性。

它使模型適合于傳輸預(yù)訓(xùn)練的特征，因為它學(xué)習(xí)了一個包含領(lǐng)域特定信息的固有字典。

圖2，固有字典由編碼層學(xué)習(xí)

這里在圖2中，字典的碼字和輸入視覺描述符被用來計算殘差。利用兩者之間的距離來獲取賦值權(quán)值，最后對殘差向量和賦值權(quán)值進行聚合。

DeepTen還使用了端到端學(xué)習(xí)技術(shù)，因為編碼層是一個有向無環(huán)圖(圖2)，它是可微的，可以使用使用反向傳播的隨機梯度下降來訓(xùn)練它。

用例

DeepTen縮小了CNN和經(jīng)典計算機視覺任務(wù)之間的差距，使其在紋理和材料識別任務(wù)中非常高效。要了解更多關(guān)于編碼層是如何實現(xiàn)的以及它是如何集成到CNN的，請參考：https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Deep_TEN_Texture_CVPR_2017_paper.pdf

DEPNet

深度編碼池(Deep Encoding Pooling, DEP)是一種將局部空間信息與無序紋理細節(jié)相結(jié)合的技術(shù)。這里我們用一個有監(jiān)督的參數(shù)分布來找出類的邊界，并建立類之間的關(guān)系。

在經(jīng)典的方法中，使用定制的濾波器組過濾紋理圖像，然后使用基于直方圖或詞袋的方法對這些輸出進行分組。特征提取是通過將直方圖或詞袋的輸出發(fā)送到預(yù)訓(xùn)練的卷積層來完成的。然而，在DEPNet中，紋理圖像被發(fā)送到卷積層，從那里的輸出被發(fā)送到編碼層和全局平均池化層。

為什么它有助于紋理分析:

DEPNet更關(guān)注局部空間信息和無序表示。

在這里，編碼層捕獲紋理外觀細節(jié)(即“無序紋理”：意思是不考慮圖像中局部特征的空間順序)，而全局平均池化層捕獲空間信息。這兩層都用雙線性模型處理。

圖3，DEPNet結(jié)構(gòu)

DEPNet雙線性模型使用全連接層的輸出。這些全連接層的輸出是向量，對兩個向量的外積沒有限制，也不涉及計算特征向量外積的計算復(fù)雜度。

在深度編碼池網(wǎng)絡(luò)中，

紋理編碼層將整個字典學(xué)習(xí)和視覺編碼管道集成到一個單一的CNN層，這為紋理建模提供了一個無序的表示。

雙線性模型是雙因素模型，如果一個因素不變，則另一個因素的輸出是線性的。這些因素平衡了兩個組成部分的貢獻。

DEPNet的卷積層與基于ImageNet的預(yù)訓(xùn)練cnn的非線性層相結(jié)合，用于特征提取。

如何使用它進行基于紋理的分類：

在很多情況下，數(shù)據(jù)集的兩個類彼此非常相似，經(jīng)常分類錯誤。例如，瀝青和石頭瀝青或樹葉和草(樹葉是背景)。在這種情況下，有必要為該圖像找到類標(biāo)簽和最近的類。為了解決這個問題，在尋找圖像與各種類之間的關(guān)系時使用了DEP-manifold。

從非參數(shù)算法來看，DEP-manifold采用了一個積分分布。深度神經(jīng)網(wǎng)絡(luò)利用這種分布直接預(yù)測紋理圖像的流形坐標(biāo)?；诓牧项惖南嗨菩?，建立了材料識別算法的混淆矩陣。分類錯誤的元素在對角線附近有一個接近的相關(guān)性，這些圖像可以被歸類為密切相關(guān)的類。

圖4，從超過1000張隨機圖像的GTOS訓(xùn)練集中提取特征，在分類層之前執(zhí)行

在圖4中，混淆矩陣中的深藍色代表高相關(guān)性，淺藍色代表低相關(guān)性。有些類分類錯誤，但它們可以被認為是最接近的類?？梢钥吹蕉鄠€深藍色點的列是類之間關(guān)系密切的類。

用例

DEPNet的整個體系結(jié)構(gòu)就像一個有向無環(huán)圖，所有的參數(shù)都可以通過反向傳播來訓(xùn)練。DEPNet就是一種專門用于地面地形識別的算法。論文：https://openaccess.thecvf.com/content_cvpr_2018/papers/Xue_Deep_Texture_Manifold_CVPR_2018_paper.pdf。

DSRNet

紋理技術(shù)通常側(cè)重于提取紋理的無序空間排列，但也重視紋理的內(nèi)在結(jié)構(gòu)特性。深度結(jié)構(gòu)顯示網(wǎng)絡(luò)(DSR-Net)側(cè)重于結(jié)構(gòu)表示，因為紋理分析是通過捕捉紋理之間的空間關(guān)系來完成的。

為什么它有助于紋理分析

DSRNet背后的主要思想是，紋理的空間排列在其空間布局中可以有多種感知，但這些紋理之間存在空間依賴性，這種依賴性不會因空間布局而變化，并告訴我們紋理的結(jié)構(gòu)屬性。見下圖(圖5)，一個紋理有多個感知。

圖5，A：不同的紋理帶有移動的紋理元素，B：可移動紋理元素之間的空間依賴性 如何使用它進行基于紋理的分類

在DSRNet中捕捉紋理之間的結(jié)構(gòu)關(guān)系使用了兩個模塊 —— 原始捕獲模塊(PCM)和依賴學(xué)習(xí)模塊(DLM)

如圖6所示，DSR-Net有兩個分支 —— 結(jié)構(gòu)顯示分支和空間有序分支。首先以resnet50為骨干進行特征提取，然后將特征串聯(lián)在一起形成特征池以獲取局部空間特征。將結(jié)構(gòu)顯示分支的輸出與空間有序分支的輸出相加，最后發(fā)送到全連接層。

圖6，a) DSR-Net的完整架構(gòu) b) structure - reveal模塊的詳細架構(gòu)

在PCM空間上下文中，對紋理給出約束，這些約束在八個方向上給出。如圖7所示，方向映射用于從給定輸入捕獲主要模式。

圖7，原語捕獲模塊(PCM)示意圖，for each position指的是PCM計算的每一步

如圖8所示，PCM捕獲的模式被傳遞給DLM, DLM使用兩種協(xié)作策略在本地生成多個候選原語之間的依賴關(guān)系。

圖8所示。依賴學(xué)習(xí)模塊(DLM)的說明

用例

由于DSRNet基于紋理的結(jié)構(gòu)特性，它對亮度變化和空間變形具有很強的魯棒性。除了紋理分類，它還可以用于其他視覺任務(wù)。然而，DSRNet已被證明適合于場景解析和細粒度識別任務(wù)。有關(guān)DSRNet及其功能的更多信息，請參考//openaccess.thecvf.com/content_CVPR_2020/papers/Zhai_Deep_Structure-Revealed_Network_for_Texture_Recognition_CVPR_2020_paper.pdf

CLASSNet

它是一個使用CLASS (Cross-Layer Aggregation of Statistical Self-similarity)技術(shù)構(gòu)建的神經(jīng)網(wǎng)絡(luò)。這是通過在不同層間改變CNN的結(jié)構(gòu)來實現(xiàn)的，方法是向其添加統(tǒng)計自相似性(SSS)，這是紋理的一個眾所周知的屬性。

紋理包含許多相互矛盾的特性，這些特性是由具有統(tǒng)計平穩(wěn)性的隨機過程捕獲的。

Statistical stationery是指兩個或兩個以上的區(qū)域在某些統(tǒng)計方面具有相似的值。紋理中的各種模式都由這些相同的統(tǒng)計數(shù)據(jù)表示。圖9是一個例子，其中圖像中的三片葉子形狀相似，在統(tǒng)計上是一致的。

圖9，自相似的圖例

為什么它有助于紋理分析

將小波變換與SSS結(jié)合形成跨層SSS，以便更好地提取特征圖進行分類。同時將SSS與CNN結(jié)合使用，可以得到空間紋理信息。

如何使用它進行基于紋理的分類

如圖10所示，從不同CNN層中選取的特征映射被疊加為特征張量。其中一個沿著通道維度的張量是跨層SSS。使用滑動窗口通過通道對局部特征進行采樣，然后在每個采樣塊上計算差分盒計數(shù)(DBC)維數(shù)。最后，將所有塊上DBC維度的直方圖用作描述符。

圖10，CLASS的說明。來自CNN的堆疊特征圖是在滑動窗口的幫助下采樣的。計算每個DBC塊的DBC維數(shù)，得到每個DBC塊的直方圖

采用跨層方式的特征聚合是在Resnet各層內(nèi)的卷積層內(nèi)完成的，Resnet是CLASSNet的主干。由于DBC的計算是基于SSS的，因此可以方便地轉(zhuǎn)移到ResNet骨干;SSS在改進特征聚合方面也很有用。

圖11，CLASSNet的體系結(jié)構(gòu)說明

圖11簡要描述了ResNet骨干網(wǎng)的連續(xù)殘塊(RB)如何與FC層和GAP層連接。殘差塊由幾個卷積層和跳過連接組成。CLASS模塊集成在所有RBs之上。

CLASS模塊有4個階段:

尺寸歸一化：通過對每個特征向量進行1x1卷積，然后向上采樣到一個固定的尺寸來歸一化。

跨層分組：所有特性映射都堆疊在另一個之上。

DBC Pooling：在每個采樣路徑上計算DBC獲得本地補丁。

聚合：聚合前，對feature map(從上一步獲得)進行1x1卷積。對殘差向量應(yīng)用softmax計算軟直方圖。然后在此基礎(chǔ)上計算軟直方圖并共享bin中心。

用例

CLASSNet模塊沒有引入很多新的參數(shù)，除了可學(xué)習(xí)的bin中心、用于軟直方圖的縮放因子和卷積層的權(quán)重 —— 用于大小歸一化，以及用于在DBC池化后生成軟直方圖。

所有這些參數(shù)都與ResNet一起訓(xùn)練。CLASS模塊適用于較輕量級的主干和首選輕量級模型的地方。CLASSNet是一種經(jīng)過驗證的紋理識別模型，對各種數(shù)據(jù)集的紋理識別效果良好。有關(guān)CLASSNet及其性能的進一步了解，請參閱//openaccess.thecvf.com/content/CVPR2021/papers/Chen_Deep_Texture_Recognition_via_Exploiting_Cross-Layer_Statistical_Self-Similarity_CVPR_2021_paper.pdf。

FENet

通常，CNN經(jīng)常使用全局平均池(GAP)來捕獲紋理的空間特征，但GAP無法描述來自紋理的復(fù)雜分布模式。為此，F(xiàn)ENet引入了分形編碼(Fractal Encoding, FE)的概念，利用局部全局層次分形分析，找出紋理在空間排列中的模式。

為什么它有助于紋理分析

分形幾何是一種通常用于紋理合成和紋理分析的方法。許多自然紋理都具有分形維數(shù)信息，這些信息告訴我們紋理圖像中圖案的規(guī)律性。如圖12所示，有兩種不同類型的紋理。計算這些圖像的分形維數(shù)將有助于輕松區(qū)分兩種類型的紋理。

圖12，圖像和對應(yīng)圖像的分形維數(shù)

這里，在圖12中，在特定區(qū)域的黑白像素值可以是相同的，但紋理的類型是非常不同的。

這些基于分形維數(shù)的統(tǒng)計信息被FE (fractal Encoding)用來描述紋理的空間布局，以便更好地提取特征。

如何使用它進行基于紋理的分類

FE使用全局特征編碼模塊，通過特征圖找到特征的空間模式。FE模塊利用分形分析池(FAP)根據(jù)圖像的局部分形維數(shù)對紋理的點進行分組。圖13是FE模塊完整的深度架構(gòu)。

圖13，F(xiàn)E模塊完整示意圖。FE模塊從CNN骨干接收輸入，并通過兩條路徑發(fā)送。在第一個路徑中，輸入通過GAP和FC層，而在第二個路徑中，輸入通過上采樣層和FAP層。最后，兩者使用雙線性池化層(BLP)[4]進行組合

FAP由三個子部分組成:

局部維數(shù)估計塊(LDEB):從輸入特征片創(chuàng)建一個按點的局部分形維數(shù)圖。

點分組塊(PGB):從LDEB獲取輸入，根據(jù)分形維數(shù)圖對特征切片進行分類，即生成一系列軟隸屬度圖。

GDCB (Global Dimension Calculation Block)：接受PGB的輸入，計算分形維數(shù)

當(dāng)FE模塊在ResNet的最后一層之前使用時，它的有效性得到了提高。

用例

FENet已經(jīng)產(chǎn)生了一些令人印象深刻的結(jié)果，它可以用于紋理識別，也可以用于問題分割，分類，并在數(shù)字圖像中用于紋理的一般建模。要深入了解FE模塊的工作、架構(gòu)以及計算的分形是如何與ResNet一起使用的，請查看：https://proceedings.neurips.cc/paper/2021/file/c04c19c2c2474dbf5f7ac4372c5b9af1-Paper.pdf。

Histogram

引入了直方圖層，主要利用直方圖捕獲局部空間特征的分布。它使用反向傳播來估計層的參數(shù)。直方圖層的合并帶來了兩個優(yōu)點，即仔細組合過的特征和通過深度學(xué)習(xí)放大的紋理特征。

直觀的想法

直方圖是處理紋理數(shù)據(jù)的一種成功而熟練的方法。bin中心和寬度的確定對特征提取具有重要意義。這些邊界不是由人工決定的，而是通過反向傳播來評估的。

為什么它有助于紋理分析?

特性工程是一個廣泛的過程，需要大量的人力、計算能力和時間。傳統(tǒng)上，人們依靠手工技術(shù)，如局部二元模式(LBP)和梯度直方圖來區(qū)分基于空間分布的特征。后來，深度學(xué)習(xí)出現(xiàn)了，并開始通過產(chǎn)生更好的結(jié)果取代這些技術(shù)，但這里的問題是，深度學(xué)習(xí)需要很多層來提取最好的特征。為了解決這一問題，引入了直方圖層，將深度學(xué)習(xí)和手工特征的優(yōu)點結(jié)合起來并加以利用。

如何使用它進行基于紋理的分類?

通常，在使用直方圖時，我們手動輸入直方圖的特征(bin center和width)，但在這個直方圖層，我們使用徑向基函數(shù)(RBF) 作為直方圖bin的操作。

直方圖參數(shù)的精確值是通過反向傳播來估計的。如圖14所示，直方圖的參數(shù)將作為局部化的直方圖層，它將維護紋理分析的空間內(nèi)容。

圖14，圖像包含了其他紋理，而不僅僅是草。局部直方圖可以區(qū)分圖像中包含純草(上兩個直方圖)或混合其他紋理(下兩個直方圖)的部分

直方圖層主要有兩部分:

軟bin操作：這里使用RBF為直方圖提供平滑估計。當(dāng)容器中心與特征值相等時，RBF的最大值為1，隨著特征值遠離容器中心，RBF值趨于0。圖像的直方圖特征圖計算如圖15所示，其中M x N為輸入圖像的空間維度，S × T為創(chuàng)建大小為R × c的直方圖的滑動窗口。B為bin的總數(shù)。

反向傳播：對于更新，bin中心和寬度直方圖層通過反向傳播使用端到端學(xué)習(xí)。利用徑向基函數(shù)(RBF)計算直方圖層的梯度，并根據(jù)特征圖值與bin中心之間的距離更新參數(shù)。

圖15，局部直方圖操作的可視化。對于一個給定的圖像，總共生成了B個大小為R x C的直方圖特征圖(B為箱子總數(shù))。輸入圖像的大小是M x N, S x T是滑動窗口的大小

最后在模型中，將輸入圖像傳遞到卷積層提取卷積特征，然后將輸出圖像傳遞到全局平均池化(GAP)，最后傳遞到直方圖層，獲取紋理、空間和低階卷積特征。然后，這些特征被連接在一起，然后被輸入一個全連接的層進行分類。直方圖層的位置從1到5不等。在這個圖16中，來自最后一個卷積層(位置5)的特征映射被傳遞到直方圖層。

圖16，ResNet直方圖層。卷積層的輸出被傳遞到GAP層和直方圖層。直方圖層的位置可以從1到5不等

用例

一旦從直方圖和CNN層中提取出圖像中的信息，然后將兩者一起進行微調(diào)。直方圖層可以合并到任何人工神經(jīng)網(wǎng)絡(luò)中，可以用于任何紋理分析任務(wù)，而不是分類任務(wù)，如紋理合成、分割和紋理形狀。

有關(guān)直方圖層的更多信息，請查看研究：https://arxiv.org/pdf/2001.00215v9.pdf。

總結(jié)

上述討論的方法通常用于各種紋理分類任務(wù)。在為基于紋理的分類任務(wù)實現(xiàn)深度學(xué)習(xí)模型時，你可以使用這些技術(shù)或從這些技術(shù)中獲得見解，并將它們與你的自定義或預(yù)訓(xùn)練的模型一起使用。根據(jù)手頭的數(shù)據(jù)集和任務(wù)，明智地使用這些技術(shù)將提高模型的準(zhǔn)確性。

英文原文：https://medium.com/@trapti.kalra_ibm/how-to-leverage-textural-features-in-deep-learning-architectures-fd817759d5e8

編輯：黃飛

?