? 論文鏈接：

https://arxiv.org/pdf/2412.13193

?項(xiàng)目主頁(yè)：

https://hustvl.github.io/GaussTR/

概述

三維空間理解是推動(dòng)自動(dòng)駕駛、具身智能等領(lǐng)域中智能系統(tǒng)實(shí)現(xiàn)環(huán)境感知、交互的核心任務(wù)，其中3D語(yǔ)義占據(jù)預(yù)測(cè) (Semantic Occupancy Prediction) 對(duì)三維場(chǎng)景進(jìn)行精準(zhǔn)的體素級(jí)建模。然而，當(dāng)前主流方法嚴(yán)重依賴大規(guī)模標(biāo)注數(shù)據(jù)，制約了模型的可擴(kuò)展性和泛化能力。為此，我們提出GaussTR，一種基于基礎(chǔ)模型對(duì)齊的自監(jiān)督三維空間理解方法。GaussTR通過(guò)Transformer架構(gòu)前饋地預(yù)測(cè)一組稀疏高斯分布來(lái)高效表示3D場(chǎng)景，并利用Gaussian Splatting可微分渲染特征圖與預(yù)訓(xùn)練基礎(chǔ)模型的知識(shí)對(duì)齊，從而使模型學(xué)習(xí)到通用的3D表征，在無(wú)需顯式標(biāo)注數(shù)據(jù)的情況下即可實(shí)現(xiàn)零樣本開(kāi)放詞匯占據(jù)預(yù)測(cè)。在Occ3D-nuScene數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，GaussTR取得了11.70mIoU的最先進(jìn)性能，相比現(xiàn)有方法提升18%，同時(shí)訓(xùn)練時(shí)間減少50%，顯著提升計(jì)算效率。我們希望GaussTR能夠?yàn)槿S空間智能領(lǐng)域的研究進(jìn)展提供新的視角，推動(dòng)更可擴(kuò)展、泛化性更強(qiáng)的3D表征學(xué)習(xí)。

基于基礎(chǔ)模型對(duì)齊的3D表征學(xué)習(xí)

近年來(lái)，2D視覺(jué)基礎(chǔ)模型，如CLIP、DINO等，已取得突破性進(jìn)展，而自監(jiān)督3D空間理解仍受限于大規(guī)模3D數(shù)據(jù)集的獲取困難與3D表征的復(fù)雜性。在3D語(yǔ)義占據(jù)預(yù)測(cè)任務(wù)中，現(xiàn)有的有監(jiān)督方法依賴大規(guī)模體素級(jí)標(biāo)注，不僅標(biāo)注成本高昂，也難以擴(kuò)大到更大規(guī)模的模型量級(jí)。受RenderOcc的啟發(fā)，一些自監(jiān)督方案嘗試通過(guò)基于SAM生成的語(yǔ)義掩碼偽標(biāo)簽來(lái)間接監(jiān)督3D表征。然而，該類方法仍限于學(xué)習(xí)SAM生成的預(yù)定義的類別概率，限制了通用3D表征的學(xué)習(xí)，難以適應(yīng)自動(dòng)駕駛等現(xiàn)實(shí)應(yīng)用中不可忽視的分布外 (Out-of-Distribution) 場(chǎng)景。同時(shí)，基于密集體素的建模方式也帶來(lái)了冗余計(jì)算開(kāi)銷大、難以捕捉高級(jí)語(yǔ)義信息等問(wèn)題。

受到3D Gaussian Splatting (GS) 技術(shù)在場(chǎng)景重建領(lǐng)域的成功應(yīng)用啟發(fā)，GaussTR采用稀疏高斯作為3D建模方式，利用GS在2D與3D域間的跨模態(tài)表征一致性，實(shí)現(xiàn)2D視覺(jué)基礎(chǔ)模型的知識(shí)遷移到前饋預(yù)測(cè)的稀疏、非結(jié)構(gòu)化的通用3D高斯表征中。借助2D視覺(jué)基礎(chǔ)模型獲得可擴(kuò)展性和泛化性，實(shí)現(xiàn)自監(jiān)督3D空間理解與零樣本開(kāi)放詞匯推理。

算法架構(gòu)

GaussTR作為基于自監(jiān)督學(xué)習(xí)的3D場(chǎng)景理解框架，整體架構(gòu)可分為前饋高斯建模、基礎(chǔ)模型對(duì)齊監(jiān)督、開(kāi)放詞匯占據(jù)預(yù)測(cè)三個(gè)階段。

前饋高斯建模

GaussTR以多視角圖像作為輸入，首先通過(guò)CLIP和Metric3D V2提取全局語(yǔ)義特征和深度信息構(gòu)建幾何先驗(yàn)。由于CLIP的視覺(jué)局部特征較弱，GaussTR引入FeatUp模塊以增強(qiáng)CLIP特征的細(xì)節(jié)表征。隨后，GaussTR采用Transformer架構(gòu)，從一組可學(xué)習(xí)的高斯查詢初始化，通過(guò)可變形注意力聚合基礎(chǔ)模型的局部特征，隨后通過(guò)自注意力機(jī)制建模3D場(chǎng)景的全局關(guān)系。最終通過(guò)MLP預(yù)測(cè)頭預(yù)測(cè)每個(gè)查詢對(duì)應(yīng)的高斯參數(shù)，包括位置μ、尺度S、旋轉(zhuǎn)R、密度α、特征f，作為3D場(chǎng)景的表征。

基礎(chǔ)模型對(duì)齊監(jiān)督

在訓(xùn)練階段，GaussTR采用可微分Gaussian Splatting將3D表征投影回2D視角得到渲染特征與深度，與2D視覺(jué)基礎(chǔ)模型進(jìn)行對(duì)齊監(jiān)督，優(yōu)化2D-3D表征的幾何位置和跨模態(tài)一致性。此外，為了提升CLIP特征的語(yǔ)義特征的邊界準(zhǔn)確性，GaussTR可選地引入Grounded SAM生成的分割掩碼，通過(guò)輔助語(yǔ)義頭預(yù)測(cè)約束高斯特征渲染的類別概率。

開(kāi)放詞匯占據(jù)預(yù)測(cè)

在推理階段，GaussTR利用CLIP共享的視覺(jué)-語(yǔ)言對(duì)齊的嵌入空間，計(jì)算預(yù)測(cè)的高斯特征與目標(biāo)類別的CLIP文本向量之間的相似度得到每個(gè)高斯查詢對(duì)應(yīng)的類別概率，隨后將高斯查詢體素化生成最終的占據(jù)預(yù)測(cè)。由此，GaussTR可以在無(wú)需額外標(biāo)注的情況下，實(shí)現(xiàn)零樣本開(kāi)放詞匯預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果

在Occ3D-nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)評(píng)估表明，GaussTR取得了11.70mIoU的最先進(jìn)性能，在現(xiàn)有算法的基礎(chǔ)上提升了1.76mIoU。并且相較于依賴分割掩碼偽標(biāo)簽的方法，GaussTR實(shí)現(xiàn)了零樣本的開(kāi)放詞匯占據(jù)預(yù)測(cè)，進(jìn)一步驗(yàn)證了基礎(chǔ)模型對(duì)齊的通用3D表征學(xué)習(xí)能力。從逐類別的實(shí)驗(yàn)結(jié)果來(lái)看，GaussTR在以物體為中心的的類別上標(biāo)展卓越，如車輛、建筑物和植被，這些類別的提升與我們提出稀疏建模策略的核心理念相契合。然而，GaussTR在小物體類別（如行人）和平坦表面類別（如道路）上表現(xiàn)相對(duì)較弱。造成這一現(xiàn)象的主要原因包括：小物體的視覺(jué)特征不夠顯著，在基礎(chǔ)模型的預(yù)測(cè)特征中難以區(qū)分；駕駛場(chǎng)景中的大量遮擋，導(dǎo)致平坦表面的幾何信息難以捕獲。

從可視化結(jié)果來(lái)看，GaussTR預(yù)測(cè)的高斯分布展現(xiàn)了優(yōu)異的整體場(chǎng)景結(jié)構(gòu)，并且在物體局部細(xì)節(jié)的表現(xiàn)也更加精確，展現(xiàn)了出色的三維空間理解能力。

此外，我們對(duì)2D視角的渲染結(jié)果進(jìn)行了可視化分析，尤其是數(shù)據(jù)集中未明確標(biāo)注的罕見(jiàn)類別（如交通燈、街道標(biāo)識(shí)）上的零樣本預(yù)測(cè)效果，GaussTR依然能夠在對(duì)應(yīng)位置產(chǎn)生顯著的激活。這一點(diǎn)進(jìn)一步證明了GaussTR在3D表征學(xué)習(xí)的泛化能力，即使面對(duì)現(xiàn)實(shí)應(yīng)用的長(zhǎng)尾分布場(chǎng)景，仍能依靠基礎(chǔ)模型的知識(shí)遷移實(shí)現(xiàn)準(zhǔn)確的預(yù)測(cè)，為未來(lái)自動(dòng)駕駛、具身智能等3D空間理解能力提供了新的方向。

總結(jié)與展望

本文介紹了一種基于基礎(chǔ)模型對(duì)齊的稀疏高斯表征學(xué)習(xí)框架GaussTR，通過(guò)將3D高斯預(yù)測(cè)與2D視覺(jué)基礎(chǔ)模型的知識(shí)對(duì)齊，實(shí)現(xiàn)了無(wú)需體素級(jí)標(biāo)注的零樣本自監(jiān)督三維語(yǔ)義占據(jù)預(yù)測(cè)，為3D空間理解提供了一種高效且可擴(kuò)展的新方案。

通過(guò)引入Transformer架構(gòu)前饋生成稀疏高斯分布，配合可微分渲染的跨模態(tài)對(duì)齊范式，GaussTR在降低計(jì)算復(fù)雜度的同時(shí)，突破了傳統(tǒng)方法對(duì)人工標(biāo)注的依賴，在Occ3D-nuScenes數(shù)據(jù)集上取得11.70mIoU的自監(jiān)督最先進(jìn)性能，驗(yàn)證了基于基礎(chǔ)模型知識(shí)遷移的3D表征學(xué)習(xí)有效性。實(shí)驗(yàn)表明，稀疏高斯建模策略能有效捕捉場(chǎng)景的語(yǔ)義拓?fù)浣Y(jié)構(gòu)，尤其在物體級(jí)語(yǔ)義建模上展現(xiàn)出顯著優(yōu)勢(shì)。

未來(lái)，我們希望進(jìn)一步探索基于可微分渲染構(gòu)建跨模態(tài)對(duì)齊的通用表征范式，突破3D標(biāo)注數(shù)據(jù)瓶頸，這一技術(shù)路徑有望拓展至更廣泛的3D感知任務(wù)，如動(dòng)態(tài)場(chǎng)景理解、多智能體協(xié)同感知等復(fù)雜任務(wù)。同時(shí)，隨著更強(qiáng)大的視覺(jué)-語(yǔ)言基礎(chǔ)模型的發(fā)展，我們也期待能夠構(gòu)建更通用的3D語(yǔ)義表征，使得GaussTR能夠在更復(fù)雜的現(xiàn)實(shí)場(chǎng)景中發(fā)揮作用，為自動(dòng)駕駛、具身智能、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域提供更強(qiáng)大的3D感知能力。