AV无码在线播放,免费毛片网战伊人在线1

0.筆者個(gè)人體會(huì)：這個(gè)工作來(lái)自于華中科技大學(xué)，發(fā)表于ICCV 2021。這個(gè)工作聚焦于點(diǎn)云的點(diǎn)特征表示學(xué)習(xí)，但是，與一般的點(diǎn)特征學(xué)習(xí)方法并不一樣。我們知道，基于深度學(xué)習(xí)的三維點(diǎn)云處理已經(jīng)在近年來(lái)得到了廣發(fā)關(guān)注，從先驅(qū)性的工作例如PointNet到近期的Point Transformer等。這些工作都能有效的學(xué)習(xí)點(diǎn)特征表示。但是，這些方法學(xué)習(xí)點(diǎn)特征都是基于輸入的某一個(gè)點(diǎn)云而言的，所有的操作也都集中在一個(gè)點(diǎn)云上，并且追求特征的描述性，力求能準(zhǔn)確表示三維點(diǎn)云的局部幾何結(jié)構(gòu)。但是，這篇論文針對(duì)點(diǎn)云配準(zhǔn)工作提出了另一種點(diǎn)云設(shè)計(jì)方式。我們知道配準(zhǔn)的目的是求解輸入的點(diǎn)云對(duì)之間的相對(duì)變換以使它們最好的對(duì)齊，在這個(gè)過(guò)程中，聚焦于用學(xué)到的點(diǎn)特征表示構(gòu)造可靠的匹配對(duì)。為此，對(duì)于點(diǎn)特征的魯棒性需求也很重要。為了實(shí)現(xiàn)這個(gè)目的，本工作提出從輸入的兩個(gè)點(diǎn)云出發(fā)，利用這兩個(gè)點(diǎn)云之間的交互進(jìn)一步調(diào)整點(diǎn)特征學(xué)習(xí)，使得到的點(diǎn)特征表示源于同時(shí)感知到當(dāng)前點(diǎn)云和另一個(gè)需要配對(duì)的點(diǎn)云，從而追求正確的匹配點(diǎn)的可匹配性的提升。也就是說(shuō)這是一個(gè)針對(duì)特定任務(wù)而設(shè)計(jì)的點(diǎn)特征學(xué)習(xí)方法，或許此方法學(xué)到的點(diǎn)特征難以應(yīng)用到其他任務(wù)，例如分類、分割等，但對(duì)于匹配、配準(zhǔn)而言應(yīng)該更加適用。1、論文相關(guān)內(nèi)容介紹：論文標(biāo)題：? ?Feature Interac tive Representation for Point Cloud Registration作者列表：? ? ?Bingli Wu, Jie Ma, Gaojie Chen, Pei An摘要：點(diǎn)云配準(zhǔn)是使用兩個(gè)點(diǎn)云中的共同結(jié)構(gòu)將它們拼接在一起。為了找出這些共同的結(jié)構(gòu)并使這些結(jié)構(gòu)更準(zhǔn)確地匹配，源點(diǎn)云和目標(biāo)點(diǎn)云的交互信息是必不可少的。然而，當(dāng)前對(duì)顯式建模這種特征交互的關(guān)注有限。為此，我們提出了一個(gè)特征交互表示學(xué)習(xí)網(wǎng)絡(luò)，它可以從不同層次探索源點(diǎn)云和目標(biāo)點(diǎn)云之間的特征交互。具體來(lái)說(shuō)，我們首先介紹了一種基于點(diǎn)云內(nèi)特征交互的組合特征編碼器（CFE）。CFE提取每個(gè)點(diǎn)云內(nèi)的交互特征并將它們組合起來(lái)以增強(qiáng)網(wǎng)絡(luò)描述局部幾何結(jié)構(gòu)的能力。然后，我們提出了一種點(diǎn)云間的特征交互機(jī)制，它包括一個(gè)局部交互單元（LIU）和一個(gè)全局交互單元（GIU）。前者用于跨兩個(gè)點(diǎn)云的點(diǎn)對(duì)之間的信息交互，從而使一個(gè)點(diǎn)云中的點(diǎn)特征與另一個(gè)點(diǎn)云中的相似點(diǎn)特征能夠相互感知。后者用于根據(jù)兩個(gè)點(diǎn)云的全局交互信息調(diào)整每個(gè)點(diǎn)特征，因此一個(gè)點(diǎn)云具有對(duì)另一個(gè)點(diǎn)云的全局感知。對(duì)部分重疊點(diǎn)云配準(zhǔn)的大量實(shí)驗(yàn)表明，我們的方法實(shí)現(xiàn)了最先進(jìn)的性能。主要貢獻(xiàn)：1）我們提出了一種組合特征編碼器來(lái)提取局部區(qū)域的交互特征，其通過(guò)結(jié)合不同層的特征，增強(qiáng)網(wǎng)絡(luò)提取局部幾何和語(yǔ)義信息的能力。2）我們?cè)O(shè)計(jì)了一種新穎的點(diǎn)云間特征交互機(jī)制，使每個(gè)點(diǎn)云都具有另一個(gè)點(diǎn)云的上下文感知，從而為后續(xù)模塊提供更具辨別力的特征3）我們的端到端 FIRE-Net在多種實(shí)驗(yàn)設(shè)置下于 ModelNet40 基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，從而證明了其有效性和泛化能力。方法介紹：給定輸入點(diǎn)云

，

，我們的目標(biāo)是求解旋轉(zhuǎn)矩陣

和平移向量

以實(shí)現(xiàn)輸入點(diǎn)云最好的對(duì)齊。Fig1展示了我們的FIRE-Net的整體流程。簡(jiǎn)要地說(shuō)，我們的網(wǎng)絡(luò)的輸入包括源和目標(biāo)原始點(diǎn)云。組合特征編碼器（CFE）首先提取源和目標(biāo)的初始特征，將所有點(diǎn)編碼到一個(gè)公共特征空間中。然后，設(shè)計(jì)了一個(gè)局部交互單元（LIU）和一個(gè)全局交互單元（GIU）來(lái)建模點(diǎn)云間的特征交互。最終的交互特征被送到關(guān)鍵點(diǎn)層以選擇兩個(gè)點(diǎn)云中的公共結(jié)構(gòu)。最后，我們使用剛性變換計(jì)算模塊以迭代的方式來(lái)獲得可靠的對(duì)應(yīng)關(guān)系和計(jì)算剛性變換。每個(gè)模塊的詳細(xì)信息將在以下部分進(jìn)行說(shuō)明。

Fig1：(a)FIRE-Net的整體框架，(b)局部特征交互單元，(c)全局特征交互單元。一、組合特征編碼：CFE的主要目標(biāo)是描述源點(diǎn)云和目標(biāo)點(diǎn)云的局部結(jié)構(gòu)。同時(shí)，作為我們特征交互模型的第一級(jí)，CFE 實(shí)現(xiàn)了點(diǎn)云內(nèi)的特征交互。我們的 CFE 是一個(gè)基于 GNN 的網(wǎng)絡(luò)，可以通過(guò)在3D坐標(biāo)空間中構(gòu)建固定圖并應(yīng)用串聯(lián)連接多層來(lái)分層的輸出來(lái)提取點(diǎn)的多級(jí)交互特征，其過(guò)程如圖2所示。

Fig2.組合特征編碼坐標(biāo)空間中的局部圖：為了表示給定點(diǎn)云的局部幾何結(jié)構(gòu)，我們將每個(gè)點(diǎn)作為一個(gè)中心節(jié)點(diǎn)，分別構(gòu)造一個(gè)kNN圖。

其中

是用于中心點(diǎn)及其近鄰點(diǎn)的相對(duì)特征的共享MLP。A是最大池化。σ是線性層。初始特征：為了增強(qiáng)模塊捕獲幾何和語(yǔ)義信息的能力，我們通過(guò)串接每個(gè)傳播層的輸出向量來(lái)合并低階和高階交互特征。最后，我們?cè)诖拥南蛄可蠎?yīng)用共享 MLP以獲得初始特征

和

。這個(gè)過(guò)程可以表述為：

其中

是一個(gè)共享的 MLP。

表示

層中的特征,L表示傳播層數(shù)。二、點(diǎn)云間的特征交互該模塊旨在對(duì)點(diǎn)云交互進(jìn)行建模，它由兩個(gè)串行單元組成：LIU學(xué)習(xí)局部交互函數(shù)以獲得局部交互特征

。然后，GIU學(xué)習(xí)一個(gè)全局交互函數(shù)

得到全局特征交互

。請(qǐng)注意，我們將

和作為殘差項(xiàng)，為可學(xué)習(xí)尺度參數(shù)和β和原始特征提供附加變化，即，

其中

和

是 LIU之后更新的特征、

和

是GIU之后更新的特征。1.局部特征交互單元：在CFE編碼了輸入點(diǎn)云到一個(gè)共同的特征空間的前提下，點(diǎn)云間的局部交互可以通過(guò)在特征空間上應(yīng)用GNN 來(lái)實(shí)現(xiàn)。特征空間的局部圖：在公共特征空間中，我們有M個(gè)源點(diǎn)云特征和N個(gè)目標(biāo)點(diǎn)云特征。我們首先構(gòu)造一個(gè)混合特征集

，然后將其中的每個(gè)特征

作為中心節(jié)點(diǎn)并應(yīng)用KNN 構(gòu)造局部圖

，從而得到混合圖

。構(gòu)建局部圖

有兩種策略：(1) 如圖 3左側(cè)所示，無(wú)論鄰居特征屬于

還是

，我們都連接中心節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)之間的所有邊。(2) 如圖3右側(cè)所示，邊只在屬于不同點(diǎn)云的節(jié)點(diǎn)之間構(gòu)建。在局部圖中，我們將邊視為兩個(gè)節(jié)點(diǎn)間的關(guān)系，例如表示從

到

的關(guān)系。因此在圖3中，類型 1 對(duì)特征空間中的關(guān)系進(jìn)行了更全面的建模，而類型 2 比類型 1 更清楚地將消息從另一個(gè)點(diǎn)云傳遞到中心節(jié)點(diǎn)。

Fig3.特征空間的局部圖結(jié)構(gòu)節(jié)點(diǎn)關(guān)系挖掘：通過(guò)上面定義的局部圖，可以通過(guò)節(jié)點(diǎn)特征及其鄰居點(diǎn)特征的邊來(lái)挖掘節(jié)點(diǎn)關(guān)系，例如，使用

獲得關(guān)系向量

。為了找到更有效的關(guān)系函數(shù)，我們研究了三種不同形式的關(guān)系函數(shù)。

其中

表示中心點(diǎn)特征，

是其相鄰特征之一。

是線性層。我們通過(guò)聚合關(guān)聯(lián)向量來(lái)更新中心的特征，即：

其中A是聚合函數(shù)，例如最大池化。

Fig4.局部特征交互單元的流程細(xì)節(jié)局部交互特征：更一般地，我們重復(fù)上述操作幾次，得到一個(gè)高級(jí)關(guān)聯(lián)表示

及其相應(yīng)的聚合輸出特征

。請(qǐng)注意，局部圖將隨著節(jié)點(diǎn)特征更新而動(dòng)態(tài)重新計(jì)算，如圖4所示。這是與在固定輸入圖上工作的CFE的重要區(qū)別。最后，我們?cè)诰酆陷敵鎏卣魃蠎?yīng)用非線性層來(lái)得到調(diào)整后的特征

，即局部交互特征。這個(gè)過(guò)程可以描述為：

通過(guò)LIU，每個(gè)點(diǎn)的特征具有局部鄰域的特點(diǎn)。在LIU之后，源和目標(biāo)的特征更新為

和

，然后后面緊接GIU。2.全局特征交互單元：為了共享全局信息并全面學(xué)習(xí)源和目標(biāo)之間的交互，我們?cè)O(shè)計(jì)了一個(gè) GIU。所提出的GIU獲得源和目標(biāo)全局特征的交叉矩陣，然后通過(guò)將交叉矩陣投影到它們的潛在表示空間來(lái)更新點(diǎn)特征。全局信息聚合：我們首先聚合

和

以獲得全局特征。此聚合操作串聯(lián)池化后的特征，然后使用共享的 MLP對(duì)其進(jìn)行進(jìn)一步調(diào)整，其過(guò)程可以表示如下：

其中

是共享的MLP操作。全局信息交叉：對(duì)于源點(diǎn)云全局特征

和目標(biāo)點(diǎn)云全局特征

,我們構(gòu)建

成對(duì)交互：

其中

是交叉特征矩陣，d是特征的維數(shù)。通過(guò)交叉操作，每個(gè)可能的特征交互在交叉特征矩陣中明確建模。全局交互特征：為了將交叉矩陣中包含的信息投影到每個(gè)點(diǎn)特征中，我們將源點(diǎn)云特征乘以交叉矩陣

，同時(shí)目標(biāo)點(diǎn)云特征乘以轉(zhuǎn)置交叉矩陣

。這個(gè)過(guò)程由下式表示，最終得到了源點(diǎn)云全局交互特征

和目標(biāo)點(diǎn)云全局交互特征

。

通過(guò) GIU，源點(diǎn)云和目標(biāo)點(diǎn)云可以交互全局上下文信息。即源點(diǎn)云的特征不僅集成了源點(diǎn)云全局信息，還集成了目標(biāo)點(diǎn)云全局信息，反之亦然。GIU之后，特征被更新為

和

。三、關(guān)鍵點(diǎn)層給定最終的交互特征

，我們通過(guò)一個(gè)簡(jiǎn)單高效的關(guān)鍵點(diǎn)層來(lái)選擇源點(diǎn)云和目標(biāo)點(diǎn)云公共的興趣點(diǎn)。我們的關(guān)鍵點(diǎn)層可以表示如下：

其中是共享的MLP，

輸出每個(gè)點(diǎn)的顯著性分?jǐn)?shù)。這里，

提取給定輸入的K個(gè)最大元素的索引。

是從原始點(diǎn)云中選擇的關(guān)鍵點(diǎn)集。

和

表示相應(yīng)的關(guān)鍵點(diǎn)特征集。四、剛性變換計(jì)算給定點(diǎn)對(duì)的坐標(biāo)和特征，剛性變換計(jì)算模塊采用IDAM中的相似矩陣卷積 (SMC) 來(lái)回歸每個(gè)點(diǎn)對(duì)的相似性得分。不同之處在于IDAM將點(diǎn)對(duì)的特征串聯(lián)起來(lái)作為 SMC輸入的一部分，而我們的模型使用點(diǎn)對(duì)的特征差異。最后，SMC獲得的對(duì)應(yīng)關(guān)系被傳遞到SVD層以計(jì)算剛性變換。

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴