這是一種為 3D 點(diǎn)云提出的無(wú)監(jiān)督膠囊架構(gòu)，并且在 3D 點(diǎn)云重構(gòu)、配準(zhǔn)和無(wú)監(jiān)督分類方面優(yōu)于 SOTA 方法。

理解對(duì)象是計(jì)算機(jī)視覺(jué)的核心問(wèn)題之一。傳統(tǒng)方法而言，理解對(duì)象任務(wù)可以依賴于大型帶注釋的數(shù)據(jù)集，而無(wú)監(jiān)督方法已經(jīng)消除了對(duì)標(biāo)簽的需求。近來(lái)，研究人員試圖將這些方法擴(kuò)展到 3D 點(diǎn)云問(wèn)題上，但無(wú)監(jiān)督 3D 學(xué)習(xí)領(lǐng)域卻進(jìn)展寥寥。

近日，包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等來(lái)自英屬哥倫比亞大學(xué)、谷歌研究院、多倫多大學(xué)的研究者提出了用于 3D 點(diǎn)云的無(wú)監(jiān)督膠囊網(wǎng)絡(luò)。Hinton 對(duì)此表示：在不受監(jiān)督的情況下找到一個(gè)對(duì)象的自然組件以及這些組件的內(nèi)在參照系是學(xué)習(xí)將解析圖像轉(zhuǎn)換為局部整體層級(jí)結(jié)構(gòu)的重要一步。如果以點(diǎn)云開(kāi)始，則可以做到。

具體而言，研究者通過(guò)排列等變（permutation-equivariant）的注意力計(jì)算對(duì)象的膠囊分解，并通過(guò)訓(xùn)練成對(duì)的隨機(jī)旋轉(zhuǎn)對(duì)象來(lái)自監(jiān)督該過(guò)程。本研究的核心思想是將注意力掩模聚合為語(yǔ)義關(guān)鍵點(diǎn)，并使用它們來(lái)監(jiān)督滿足膠囊不變性或等方差的分解。這不僅可以訓(xùn)練語(yǔ)義上一致的分解，還能夠?qū)W習(xí)以對(duì)象為中心的推理的規(guī)范化操作。在這種情況下，既不需要分類標(biāo)簽，也不需要手動(dòng)對(duì)齊的訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練。

最后，通過(guò)以無(wú)監(jiān)督的方式學(xué)習(xí)以對(duì)象為中心的表征，該方法在 3D 點(diǎn)云重構(gòu)、配準(zhǔn)和無(wú)監(jiān)督分類方面優(yōu)于 SOTA 方法。研究者表示將很快公布源代碼和數(shù)據(jù)集。

論文鏈接：https://arxiv.org/abs/2012.04718

項(xiàng)目主頁(yè)：https://canonical-capsules.github.io/

方法

該網(wǎng)絡(luò)在未對(duì)齊的點(diǎn)云上進(jìn)行訓(xùn)練，如下圖 2 所示：研究者訓(xùn)練了一個(gè)將點(diǎn)云分解為多個(gè)組件的網(wǎng)絡(luò)，并通過(guò) Siamese 訓(xùn)練設(shè)置實(shí)現(xiàn)不變性 / 等方差。

然后研究者將點(diǎn)云規(guī)范化為學(xué)習(xí)的參照系，并在該坐標(biāo)空間中執(zhí)行自動(dòng)編碼。

損失

正如無(wú)監(jiān)督方法中常見(jiàn)的那樣，該研究的框架依賴于大量的損失，這些損失控制著力圖在表征中獲得的不同特征。請(qǐng)注意所有這些損失是如何不受監(jiān)督且不需要標(biāo)簽的。研究者根據(jù)他們監(jiān)督的網(wǎng)絡(luò)部分組織損失，包括分解、規(guī)范化和重建。

網(wǎng)絡(luò)架構(gòu)

研究者簡(jiǎn)要介紹了實(shí)現(xiàn)細(xì)節(jié)，包括網(wǎng)絡(luò)架構(gòu)。

編碼器 E。我們的架構(gòu)是基于 ［42］ 提出一種類似于點(diǎn)網(wǎng)的架構(gòu)，具有殘差連接和注意力上下文歸一化；

解碼器 D。公式 （4） 中的解碼器基于每個(gè)膠囊運(yùn)行。本研究采用的解碼器架構(gòu)類似于 AtlasNetV2 ［13］（帶有可訓(xùn)練的網(wǎng)格）。不同之處在于本研究通過(guò)相應(yīng)的膠囊姿態(tài)轉(zhuǎn)換每個(gè)膠囊的解碼點(diǎn)云；

回歸器 K。研究者只需連接描述符，并通過(guò) ReLU 激活函數(shù)調(diào)用一系列全連接層，以回歸 P 膠囊定位。在輸出層，研究者使用線性激活函數(shù)，并進(jìn)一步減去輸出平均值，以使回歸位置在規(guī)范化框架中以零為中心（zero-centered）；

規(guī)范化描述符。由于本研究的描述符只是近似旋轉(zhuǎn)不變（通過(guò)擴(kuò)展），研究者發(fā)現(xiàn)在規(guī)范化之后重新提取膠囊描述符β_k 很有用。

實(shí)驗(yàn)及結(jié)果

自動(dòng)編碼

研究者針對(duì)兩個(gè)訓(xùn)練基線（在單類別和多類別變體中經(jīng)過(guò)了訓(xùn)練）評(píng)估了用于訓(xùn)練網(wǎng)絡(luò)任務(wù)（重建 / 自動(dòng)編碼）的方法的性能：

AtlasNetV2 ［13］，一種使用基于補(bǔ)?。╬atch-based）多頭解碼器的 SOTA 自動(dòng)編碼器；

3D-PointCapsNet ［58］，一種利用膠囊架構(gòu)的 3D 點(diǎn)云自動(dòng)編碼器。

下表 1 是定量分析的結(jié)果，本文方法在對(duì)齊和未對(duì)齊的設(shè)置下均取得了 SOTA 的性能結(jié)果。

下圖 3 是定性分析的結(jié)果。研究者給出了基于分解的 3D 點(diǎn)云重建方法以及 3D-PointCapsNet ［58］、AtlasNetV2 ［13］的重建結(jié)果。

配準(zhǔn)

研究者在配準(zhǔn) 3D 點(diǎn)云的能力方面評(píng)估了該方法的性能，并與以下 3 個(gè)基準(zhǔn)進(jìn)行了比較：

Deep Closest Points （DCP） ［52］：一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法；

DeepGMR–RRI ［56］，一種 SOTA 方法，該方法可以將云分解為具有旋轉(zhuǎn)不變特征的高斯混合；

DeepGMR–XYZ ［56］，其中將原始 XYZ 坐標(biāo)用作輸入，而不使用旋轉(zhuǎn)不變特征；

本研究采用的變體方法 RRI，其中使用 RRI 特征 ［6］ 作為該架構(gòu)的唯一輸入。本文使用 RRI 特征的方法遵循 DeepGMR 訓(xùn)練協(xié)議，并訓(xùn)練 100 個(gè)周期，而對(duì)于 DCP 和 DeepGMR，本研究使用了原作者的官方實(shí)現(xiàn)。定量分析的結(jié)果如下表 2 所示：

無(wú)監(jiān)督分類

除了重建和配準(zhǔn)（這兩者是與訓(xùn)練損失直接相關(guān)的任務(wù)）之外，本研究還通過(guò)分類任務(wù)評(píng)估了方法的有效性，該分類任務(wù)與訓(xùn)練損失沒(méi)有任何關(guān)系。結(jié)果如下表 3 所示，本文方法均實(shí)現(xiàn)了 SOTA 的 Top-1 準(zhǔn)確率。

控制變量實(shí)驗(yàn)

此外，為了進(jìn)一步分析規(guī)范化膠囊（Canonical Capsules）的不同組件對(duì)性能的影響，本研究進(jìn)行了一系列控制變量實(shí)驗(yàn)，結(jié)果如下表 4、表 6、表 7 所示：

表 4：損失的影響。

表 6：規(guī)范描述符的有效性。

表 7：點(diǎn)的數(shù)量對(duì)性能的影響。

責(zé)任編輯：PSY