摘要
?大家好，今天為大家?guī)淼奈恼率?MVSNeRF: Fast Generalizable Radiance Field Reconstruction?from Multi-View Stereo 我們提出了MVSNeRF，一種新型的神經(jīng)渲染方法，可以有效地重建用于視圖合成的神經(jīng)輻射場。與之前考慮在密集拍攝的圖像上進行每個場景優(yōu)化的神經(jīng)輻射場的工作不同，我們提出了一個通用的深度神經(jīng)網(wǎng)絡(luò)，它可以通過快速的網(wǎng)絡(luò)推理，僅從三個附近的輸入視圖中重建輻射場。我們的方法利用平面掠過成本體積（廣泛用于多視圖立體聲）進行幾何感知的場景推理，并將其與基于物理的體積渲染結(jié)合起來進行神經(jīng)輻射場重建。

我們在DTU數(shù)據(jù)集中的真實物體上訓(xùn)練我們的網(wǎng)絡(luò)，并在三個不同的數(shù)據(jù)集上測試它，以評估其有效性和通用性。我們的方法可以跨場景通用（甚至是室內(nèi)場景，與我們的物體訓(xùn)練場景完全不同），并且只用三張輸入圖像就能產(chǎn)生真實的視圖合成結(jié)果，大大超過了同時進行的可通用的輻射場重建工作。此外，如果捕捉到密集的圖像，我們估計的輻射場表示可以很容易地進行微調(diào)；這成就了快速的按場景重建，具有更高的渲染質(zhì)量，而且優(yōu)化時間大大少于NeRF。

主要工作與貢獻

? - 提出了基于MVSNet的神經(jīng)輻射場進行三維重建渲染。 - 在速度和質(zhì)量上有了很大的提升。

算法流程

我們現(xiàn)在介紹我們的MVSNeRF。與NeRF通過每個場景的 "網(wǎng)絡(luò)記憶 "來重建輻射場不同，我們的MVSNeRF學(xué)習(xí)一個通用網(wǎng)絡(luò)來重建輻射場。給定真實場景的M個輸入拍攝圖像Ii（i=1，...，M）及其已知的相機參數(shù)Φi，我們提出了一個新穎的網(wǎng)絡(luò)，可以將輻射場重建為一個神經(jīng)編碼體，并使用它在任意場景位置回歸體的渲染屬性（密度和與視圖有關(guān)的輻射度），以進行視圖合成。一般來說，我們的整個網(wǎng)絡(luò)可以被看作是輻射度場的函數(shù)，表示為：

我們的框架首先通過將二維圖像特征扭曲到一個平面掃描上構(gòu)建一個成本體積（a）。然后我們應(yīng)用三維CNN來重建一個具有每體素神經(jīng)特征的神經(jīng)編碼體（b）。我們使用MLP在任意位置使用從編碼體積內(nèi)插的特征對體積密度和RGB輻射度進行回歸。這些體積特性被微分光線行進法用于最終渲染（c）。

Cost?Volume重建

求解Cost Volume的過程和雙目立體矯正類似，首先提取圖像特征，然后計算成本量P。成本量P是由D掃面上的扭曲特征圖構(gòu)建的。我們利用基于方差的度量來計算成本，這在MVSNet中已經(jīng)被廣泛用于幾何重建。具體來說，對于P中以(u, v, z)為中心的每個體素，其成本特征向量的計算方法是：

2.輻射場重建

我們建議使用深度神經(jīng)網(wǎng)絡(luò)來有效地將構(gòu)建的成本量轉(zhuǎn)換為重建的輻射場，以實現(xiàn)現(xiàn)實的視圖合成。我們利用一個三維CNN B，從原始二維圖像特征成本的成本卷P中重建一個神經(jīng)編碼卷S；S由編碼局部場景幾何和外觀的每體素特征組成。一個MLP解碼器A被用來從這個編碼體積中回歸體積渲染屬性。

神經(jīng)編碼量。

以前的MVS通常直接從成本體積中預(yù)測深度概率，而成本體積只表達場景的幾何。我們的目標是實現(xiàn)高質(zhì)量的渲染，這就需要從成本體積中推斷出更多的外觀感知信息。因此，我們訓(xùn)練一個深度三維CNN B，將建立的圖像特征成本體積轉(zhuǎn)化為一個新的C通道神經(jīng)特征體積S，其中特征空間是由網(wǎng)絡(luò)本身學(xué)習(xí)和發(fā)現(xiàn)的，用于以下體積屬性回歸。這個過程用以下方式表示。

三維CNN B是一個具有下采樣和上采樣卷積層和跳過連接的三維UNET，它可以有效地推斷和傳播場景外觀信息，導(dǎo)致一個有意義的場景編碼體積S。注意，這個編碼體積是以無監(jiān)督的方式預(yù)測的，并在端到端訓(xùn)練中推斷出體積渲染。我們的網(wǎng)絡(luò)可以學(xué)習(xí)在每體素的神經(jīng)特征中編碼有意義的場景幾何和外觀；這些特征后來被連續(xù)插值并轉(zhuǎn)化為體積密度和視圖依賴的輻射度。由于二維特征提取的下采樣，場景編碼體積的分辨率相對較低；僅從這些信息中回歸高頻外觀是具有挑戰(zhàn)性的。因此，在接下來的體積回歸階段，我們還加入了原始圖像像素數(shù)據(jù)，盡管我們后來表明，這種高頻也可以通過快速的按場景微調(diào)優(yōu)化在增強的體積中得到恢復(fù)。 3.端到端的體素渲染 端到端訓(xùn)練。這種光線行進渲染是完全可分的；因此它允許我們的框架在新的視點使用三個輸入視圖從頭到尾回歸最終的像素顏色。我們使用L2渲染損失對我們的整個框架進行監(jiān)督，并使用基礎(chǔ)像素顏色。

由于基于物理的體積渲染和端到端訓(xùn)練，渲染監(jiān)督可以通過每個網(wǎng)絡(luò)組件傳播場景外觀和對應(yīng)信息，并將其正則化，以便為最終的視圖合成提供意義。與之前主要關(guān)注每個場景訓(xùn)練的NeRF不同，我們在DTU數(shù)據(jù)集的不同場景中訓(xùn)練整個網(wǎng)絡(luò)。我們的MVSNeRF得益于成本體積處理中的幾何感知場景推理，可以有效地學(xué)習(xí)一個通用函數(shù)，該函數(shù)可以在新的測試場景上將輻射場重建為神經(jīng)編碼體積，從而實現(xiàn)高質(zhì)量的視圖合成。

4.優(yōu)化神經(jīng)編碼量。

當跨場景訓(xùn)練時，我們的MVSNeRF已經(jīng)可以學(xué)習(xí)一個強大的通用函數(shù)，只用三張輸入圖像就可以重構(gòu)跨場景的輻射場。然而，由于有限的輸入和不同場景和數(shù)據(jù)集之間的高度多樣性，使用這樣一個通用的解決方案在不同場景上取得完美的結(jié)果是非常具有挑戰(zhàn)性的。另一方面，NeRF通過對密集的輸入圖像進行每個場景的優(yōu)化，避免了這一難以概括的問題；這導(dǎo)致了逼真的結(jié)果，但成本極高。相比之下，我們建議對我們的神經(jīng)編碼量進行微調(diào)--我們的網(wǎng)絡(luò)可以從很少的圖像中立即重建，以便在捕獲密集的圖像時實現(xiàn)快速的按場景優(yōu)化。

添加顏色。

如前所述，我們的神經(jīng)編碼量在發(fā)送到MLP解碼器時與像素顏色相結(jié)合。保留這種微調(diào)的設(shè)計仍然有效，但會導(dǎo)致重建總是依賴于三個輸入。取而代之的是，我們通過將體素中心的每一視角的顏色作為額外的通道附加到編碼量中來實現(xiàn)獨立的神經(jīng)重建；這些顏色作為特征也可以在每個場景的優(yōu)化中進行訓(xùn)練。這種簡單的附加最初在渲染中引入了模糊性，但在微調(diào)過程中很快就能解決。

優(yōu)化。

在添加了顏色之后，MLP的神經(jīng)編碼量是一個體面的初始輻射場，已經(jīng)可以合成合理的圖像。我們建議在有密集圖像的情況下，與MLP解碼器一起進一步微調(diào)體素特征，以進行快速的按場景優(yōu)化。請注意，我們只優(yōu)化編碼量和MLP，而不是我們的整個網(wǎng)絡(luò)。這賦予了神經(jīng)優(yōu)化更多的靈活性，以便在優(yōu)化時獨立調(diào)整每個體素的局部神經(jīng)特征；這比試圖優(yōu)化跨體素的共享卷積操作更容易。

實驗結(jié)果

編輯：黃飛