相關(guān)工作

(TSDF-Fusion, DI-Fusion) 首先介紹一下這個TSDF-Fusion，這個是一種非常經(jīng)典的顯示表達，最早于1996年提出。它是在每一個voxtel里面都會存TSDF值，也可以存顏色值。存儲的是在一個很密集的一個個網(wǎng)格中，其保存的幾何清晰程度與網(wǎng)格的分辨率相關(guān)。如果我們想得到一個比較好的結(jié)果，即不在TSDF這一步出現(xiàn)精度損失的話，那么則需要一般512左右的分辨率，也就是說要存512*512*512這么多個網(wǎng)格數(shù)據(jù)。更新方式如圖1所示，是通過帶DS圖來進行融合更新。

圖1 TSDF更新方式 然后我們講一個非常新的方法是DI-Fusion，分為mapping跟tracking這兩個部分。Mapping部分是是單純前向計算的方法，并不急于優(yōu)化，而是提前已經(jīng)訓(xùn)練好編碼層和解碼層。 編碼層輸入的就是點的體素范圍內(nèi)的點坐標和法線，然后進行編碼后得到一個特征，再通過解碼出來這個SDF的值。如果是續(xù)接有很多張深度圖，則在訓(xùn)練時候已經(jīng)加入這個更新的過程，來更新特征。tracking有兩部分： SDF的loss和基于顏色的intensity warp loss。 基于幾何SDF的loss是最小化當前輸入的深度圖，根據(jù)帶優(yōu)化的相機外參反投到點云對應(yīng)的SDF值，然后這個SDF值按理說是應(yīng)該接近于0， 所以我們就最小化SDF值。SDF值可以由特征通過解碼層得到?；陬伾膬?yōu)化目標是當前幀的圖片根據(jù)這個帶優(yōu)化的相機外參wrap到前一幀對應(yīng)的顏色應(yīng)該是相同的。

IMAP

IMF的動機是要做一個輸入為RGB-D的，只用MLP作為場景唯一表達的實時的SLAM系統(tǒng)。這篇文章主要有3個創(chuàng)新點，首先它是第一個用神經(jīng)影視表達的稠密實時SLAM系統(tǒng)，同時能夠同時優(yōu)化整個的MLP表達的三維地圖。其次它是能夠增強隱式神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，還能夠進行關(guān)鍵幀選擇和loss指導(dǎo)采樣上。最后，它是并行實現(xiàn)的，能直接的連上RGB-D相機從而在線跑數(shù)據(jù)。

接下來講一下這個system overview，如圖2所示。

圖2 IMF系統(tǒng)概述 上面一行是tracking，下面一行是mapping。tracking是對于新來的每一幀都要優(yōu)化出它的相機位置，這個tracked pose就是他優(yōu)化好的相機位置，現(xiàn)在判斷新來的這一幀是不是keyframe，如果是的話，則加入keyframe set里面。之后，更新隱式的表達和相機的參數(shù)。他使用的是一個單MLP的結(jié)構(gòu)，feature size為256，輸出是和nerf一樣的color和volume density，可以渲染deeps圖和color圖。 首先是occupancy probability：，這個是通過一個類似激活函數(shù)的變換，得到occupancy，之后就能計算光線到這個點的截止概率，然后我們得到這個權(quán)重(類似一個加權(quán)平均)，如果加到這個deeps上，其實就渲染一張deeps圖。如果是加到顏色上的，那么就可以把這個顏色圖給渲染出來。此外還要算一個是deeps variance:， 這個是整條ray上深度的方差，即對每個采樣點求方差再加權(quán)。 接下來看看這個Joint optimization和camera tracking。前一個是用在mapping里，后一個是前端的那個tracking。Joint optimization是隱式表達幾何的MLP的所有參數(shù)和選中的這些keyframe的相機外參。 光度損失為，然后將所有像素光損失平均起來就是，幾何損失也一樣。 同時這兩個損失之間是有一個平衡權(quán)重，也就是我們最小化的一個目標，θ是整個MLP的參數(shù)，ti的集合是所有相機的外參。 ? ? 接下來講解keyframe selection。先假設(shè)每一次已經(jīng)有一個新keyframe已經(jīng)加載完成，我們拿到當前整個網(wǎng)絡(luò)參數(shù)的備份就類似當前地圖的一個快照，然后我們每新來的一幀，就從這個快照里面渲染一張depth圖。它不需要渲染整個depth圖，就能得到統(tǒng)計規(guī)律。 所以渲染一部分depth的pixel就跟grand truth的depth pixel相減，然后看這一幀這多少區(qū)域是已被lock區(qū)域表達。如果小于這個閾值，則說明這一幀看的地方是比較新的，那么就把它加到keyframe list或者keyframe set里面。 IMF還有一個比較好的貢獻是active sampling。首先是image active sampling，就比如 我們要把一張待優(yōu)化的圖片，可以將它分成一個個bin，先均勻采樣并渲染出來，得到loss的分布，若loss相差較大則根據(jù)lost distribution來分配每個bin中的pixel數(shù)量。另外一個是keyframe active sampling，首先它是有一個全局的keyframe set，但每次mapping的時候，只選常數(shù)個frame，這個選法是能設(shè)計一種機制或隨機選，然后加入到mapping中。 然后講一下他的實驗部分，首先這個就是他渲染出來的結(jié)果還有keyframe tracking跟ground truth之間的對比。首先它是跟TSDF fusion進行的比較，但TSDF fusion只是一個mapping的方法，所以要給一個相機位置。這樣跑完之后可以發(fā)現(xiàn)就是TSDF fusion的accuracy是最低的，加粗的就代表是最好的結(jié)果。

NICE-SLAM

接下來講解這個NICE SLAM，這個是CVPR2022的一個方法。先看一下這個demo，給定手持相機捕獲的RGB-D序列，NICE SLAM可以在大規(guī)模的室內(nèi)場景中生成密集的集合以及準確的相機跟蹤，實現(xiàn)這一點的關(guān)鍵組件是神經(jīng)隱式表達，給定空間中的點p來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以表示該點的不同場景屬性。例如有符號、距離場或顏色值。

神經(jīng)隱式表達可以捕獲高保真的幾何，然后還可以渲染很高清晰度的圖片，然而，幾乎所有這種方法都被認為是離線的工具，通常需要數(shù)小時或者數(shù)天的訓(xùn)練或者優(yōu)化，并且是已知相機位置的。IMAP首次展示了使用單個多層感知器及MLP作為神經(jīng)隱式場景表達的在線RGB-D SLAM system，對于這樣一個小房間，IMAP可以持續(xù)學(xué)習(xí)的方式進行同時估計相機位姿和密集的場景幾何。但他們使用單個大MLP作為場景的唯一表達，因此存在以下問題。 首先，由于容量有限，當場景變大時IMAF會失敗。其次，每個新的輸入RGB-D幀都可以更新整個MLP，因此會遇到遺忘的問題。最后，優(yōu)化整個MLP非常慢，尤其是當MLP變得很大時。 相比之下，NICE SLAM對場景表達進行了簡單而非常有效的改進，NICE SLAM優(yōu)化分層特征網(wǎng)格，并結(jié)合不同空間層級下域訓(xùn)練的微型MLP的歸納偏差，使用這種表達，使得NICE SLAM在大規(guī)模室內(nèi)場景中表現(xiàn)良好，解決了網(wǎng)絡(luò)遺忘問題，同時保證了更少的運行時間，可以快速收斂。 接下來介紹這個系統(tǒng)的pipeline，如圖3所示。

圖3 NICE SLAM整體框架 給定RGB-D序列，NICE SLAM能同時估計相機位姿和場景的三維幾何，即表示為分層特征網(wǎng)格。首先根據(jù)相機參數(shù)隨機采樣射線，沿每條射線，進行3維點的采樣，并使用3線形插值提取每個點的特征，接著使用微型的MLP預(yù)測光線上三維點的占用值跟顏色值，最終使用類似nerf的體渲染方程，沿射線去核，生成深度跟彩色圖像。 我們關(guān)注輸入跟生成圖像之間的重渲染損失，由于渲染過程是可微的，能夠以交替方式反向求導(dǎo)最小化重渲染損失，通過優(yōu)化分層特征網(wǎng)格來實現(xiàn)建圖(也就是mapping)，通過優(yōu)化相機參數(shù)來實現(xiàn)跟蹤。 這個微型MLP的解碼器是作為網(wǎng)絡(luò)的一部分進行了預(yù)訓(xùn)練，occupancy network由一個CNN的編碼器和一個MLP的解碼器組成，與其相同，我們在訓(xùn)練的時候也是使用了預(yù)測值跟真實值之間的交叉商損失來訓(xùn)練編碼器解碼器。訓(xùn)練后NICE SLAM使用解碼器MLP，這樣在優(yōu)化特征網(wǎng)格時，預(yù)訓(xùn)練的解碼器可以利用從訓(xùn)練集中學(xué)習(xí)到的特定先驗來指導(dǎo)優(yōu)化。 接下來仔細講講，在圖3中，首先coarse level對應(yīng)的網(wǎng)格的分辨率是比較大的，會單獨的出一個occupancy，也是單獨會渲染一張coarse的depth圖，是只用在沒有觀測到的那部分的幾何上，但訓(xùn)練是用觀測到的depth圖來進行訓(xùn)練。然后中間的這層，首先是middle level，它對應(yīng)的是一個分辨率中等的一個特征網(wǎng)格，從中拿到feature和點坐標，然后經(jīng)過MLP得到了一個occupancy值，我們的fine-level是在他基礎(chǔ)上要預(yù)測出來一個residual，那么他是從更高的分辨率里去得到feature，同時他還把中等分辨率結(jié)合起來通過MLP，這兩個occupancy就疊加起來，得到這個fine level occupancy。 最終是顏色，它是要需要分辨率比較高的網(wǎng)格，而且高頻的細節(jié)比較多，我們是只從這個features grid里面取到feature，然后跟點坐標經(jīng)過MLP，拿到color prediction。我們最終是通過這個渲染，跟nerf一樣的渲染器，能渲染出來depth跟colorful。需要注意的是這個幾何MLP是進行局部的更新。 下面來看一些結(jié)果。首先，在replica數(shù)據(jù)集與復(fù)現(xiàn)的IMAP進行比較，即使在較小的室內(nèi)場景中，NICE-SLAM也能產(chǎn)生更準確的幾何和相機的跟蹤。接下來是一個相對比較難一點的ScanNet數(shù)據(jù)集，相比于IMAP跟DIF fusion，我們的相機跟蹤更為穩(wěn)健。 與IMAP相比，NICE SLAM新穎的場景表示不僅提高了建圖和跟蹤的質(zhì)量，同時需要更少的計算，從圖4中可以看出，NICE SLAM只需要IMAP 1/4的flops。而值得一提的是，即使對于非常大的場景，NICE SLAM所需要的flops也保持不變，這是因為我們只在當前相機視錐內(nèi)的這些feature我們進行優(yōu)化。相反由于IMAP使用單個MLP，MLP容量限制導(dǎo)致其在處理更大型的場景時會需要更多的參數(shù)，從而會導(dǎo)致更多的flopes。

圖4 計算復(fù)雜度對比

未來工作

接下來講講神經(jīng)隱式表達未來的一些工作。首先加入loop closer，這個是一個比較難加的一個東西，尤其是在場景很大的時候。其次如何加入Global BA是一個很有意思的點。 同時我們可以自適應(yīng)的去分配voxels。如果是能延展到室外場景就更好了，因為室外場景會影響key next sensor，所以我們得看看怎么樣。還有一點期望是怎么樣能讓相機的跟蹤比傳統(tǒng)方法還好或者跟傳統(tǒng)方法一樣好。

編輯：黃飛

?