“實(shí)時(shí)渲染”主要應(yīng)用于游戲領(lǐng)域，它能夠?qū)D形數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)化為極具真實(shí)感的 3D 畫(huà)面，是決定游戲體驗(yàn)的關(guān)鍵因素之一。

對(duì)于實(shí)時(shí)渲染而言，最大的挑戰(zhàn)即是渲染速度。通常來(lái)講，渲染一屏幕的游戲場(chǎng)景的圖像，至少要在 1/24 秒以?xún)?nèi)，才不至于有 “翻 PPT”的感覺(jué)。

近日，英偉達(dá)發(fā)表一項(xiàng)最新研究成果將實(shí)時(shí)渲染速度提升了 2-3 個(gè)數(shù)量級(jí)。

而在渲染質(zhì)量上，它也能夠更好地處理復(fù)雜樣式、比例的圖形數(shù)據(jù)，甚至實(shí)時(shí)同步環(huán)境光照可能形成的陰影。

Facebook 與 MIT研究團(tuán)隊(duì)在 2019 年推出的 DeepSDF，是現(xiàn)有相關(guān)研究的最佳 3D 重建模型。

與之相比，無(wú)論是在渲染速度，還是質(zhì)量方面，英偉達(dá)的最新研究還要更勝一籌。

橙色代表 DeepSDF 渲染效果

這項(xiàng)最新研究是一篇名為《神經(jīng)幾何細(xì)節(jié)水平：隱式 3D 形狀的實(shí)時(shí)渲染》的論文，它是英偉達(dá)聯(lián)合多倫多大學(xué)、麥吉爾大學(xué)研究人員共同發(fā)表的研究成果，目前已提交至預(yù)印論文庫(kù) arXiv。

論文中，研究人員表示，他們通過(guò)引入了一種高效的神經(jīng)網(wǎng)絡(luò)表示方法，首次實(shí)現(xiàn)了基于 SDF 的 3D 高保真實(shí)時(shí)渲染，同時(shí)達(dá)到了最先進(jìn)的幾何重建質(zhì)量。更重要的是，與其他研究相比，它在渲染速度上提升了 2-3 個(gè)數(shù)量級(jí)。

SVO 編碼，渲染速度翻倍

SDF，即符號(hào)距離函數(shù) Signed Distance Function，是計(jì)算機(jī)圖形學(xué)中一種有效的表示方法。

在現(xiàn)有研究中，通常是采用一個(gè)較大、具有固定尺寸的多層感知器（MLP）對(duì) SDF 進(jìn)行編碼，以近似代表具有隱式曲面的復(fù)雜圖形。然而，使用大型網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)渲染導(dǎo)致了昂貴的計(jì)算成本，因?yàn)樗枰屆總€(gè)像素通過(guò)網(wǎng)絡(luò)地進(jìn)行向前傳遞。

基于此，研究團(tuán)隊(duì)提出了改用稀疏體素八叉樹(shù)（SVO）來(lái)對(duì)幾何形狀進(jìn)行編碼的方法，它可以自適應(yīng)地縮放不同的離散細(xì)節(jié)層次 LOD（ Level of Detail ），并重建高度細(xì)節(jié)的幾何結(jié)構(gòu)。

如圖，該方法在不同尺寸的幾何體之間平滑地插值，并占用合理內(nèi)存進(jìn)行實(shí)時(shí)渲染。

研究人員介紹，與現(xiàn)有研究一樣，他們同樣使用了一個(gè)小型 MLP 來(lái)實(shí)現(xiàn)球體跟蹤。并且受到經(jīng)典曲面提取機(jī)制的啟發(fā)，使用了存儲(chǔ)距離值的正交和空間數(shù)據(jù)結(jié)構(gòu)對(duì)歐幾里德空間進(jìn)行精細(xì)離散化，以使簡(jiǎn)單的線(xiàn)性基函數(shù)可以重建幾何體。

在這些工作中，分辨率或樹(shù)深度決定了 LOD（不同的 LOD 可以與 SDF 插值進(jìn)行混合）。對(duì)此，研究人員使用了稀疏體素八叉樹(shù)（SVO）來(lái)離散空間，并存儲(chǔ)學(xué)習(xí)的特征向量，而不是符號(hào)距離值。

這樣做的好處是，它允許向量可以通過(guò)淺層 MLP 解碼成標(biāo)量距離，在繼承經(jīng)典方法（如 LOD）優(yōu)點(diǎn)的同時(shí)，能夠進(jìn)一步縮短樹(shù)深度。

在此基礎(chǔ)上，研究人員還開(kāi)發(fā)了一種針對(duì)該體系結(jié)構(gòu)的光線(xiàn)遍歷算法（ Rray Traversal Algorithm），實(shí)現(xiàn)了比 DeepSDF 快 100 倍的渲染速度。另外，雖然無(wú)法與神經(jīng)體積繪制方法進(jìn)行直接比較，但在類(lèi)似的實(shí)驗(yàn)環(huán)境中，其幀速度也要比 NeRF 快 500 倍，比 NSVF 快 50 倍。

實(shí)驗(yàn)測(cè)試，渲染質(zhì)量更精細(xì)

在質(zhì)量上，研究人員將該方法與 DeepSDF、FFN、SIREN 以及 Neural Implicits（NI）四種算法進(jìn)行了比較，它們?cè)谶^(guò)度擬合 3D 幾何形狀方面均達(dá)到了現(xiàn)有研究的最佳性能。

以下為不同算法在 ShapeNet、Thingi10K 和 TurboSquid 三個(gè)數(shù)據(jù)集上進(jìn)行 3D 重建的比較結(jié)果。

可以看到，從 LOD3 開(kāi)始該方法表現(xiàn)出了更好的性能。在第三個(gè) LOD 中，不僅存儲(chǔ)參數(shù)最小，而且推理參數(shù)在所有分辨率上都固定為 4737 個(gè)浮點(diǎn)值，與 FFN 相比減少了 99%，與 Neural Implicits 相比減少了 37%。

更重要的是，在低存儲(chǔ)和推理參數(shù)的情況下，該方法表現(xiàn)出了更好的重建質(zhì)量。如下圖：

與 NI、FFN 相比，該方法能夠更加精準(zhǔn)地渲染出圖像的細(xì)節(jié)，而且速度比 FFN 快 50 倍。

另外，在渲染質(zhì)量上，研究人員還將該方法在 Shadertoy 的兩個(gè)特殊案例中進(jìn)行了測(cè)試：Oldcar，它包含了一個(gè)高度非度量的有符號(hào)距離場(chǎng)；Mandelbulb，是一個(gè)只能用隱式曲面表示的遞歸分形結(jié)構(gòu)。

這兩種 SDF 都是由數(shù)學(xué)表達(dá)式定義的，他們從中提取并采樣距離值，測(cè)試結(jié)果如下：

相比之下，只有該方法的架構(gòu)才能準(zhǔn)確地捕捉復(fù)雜示例的高頻細(xì)節(jié)?？梢钥闯?，F(xiàn)FN 和 SIREN 呈現(xiàn)的效果非常不理想，其原因可能是因?yàn)樗鼈兌贾荒軘M合平滑距離場(chǎng)，無(wú)法處理不連續(xù)性和遞歸結(jié)構(gòu)，以至于在渲染時(shí)很難突出顯示幾何細(xì)節(jié)。

總之，通過(guò)引入隱式 3D 圖形的表示形式 LOD，該方法可以達(dá)到最先進(jìn)的幾何重建質(zhì)量，同時(shí)允許更小占用內(nèi)存下的實(shí)時(shí)渲染。不過(guò)，研究人員也坦言，該方法在大場(chǎng)景、或者非常薄、無(wú)體積的的物體上并不適用，這將是未來(lái)的一個(gè)研究方向。

但從當(dāng)下來(lái)看，該方法代表了基于神經(jīng)隱函數(shù)幾何學(xué)的一個(gè)重大進(jìn)步，因?yàn)樗堑谝粋€(gè)基于 SDF 實(shí)現(xiàn)實(shí)時(shí)渲染和呈現(xiàn)的表示形式，未來(lái)有望應(yīng)用到場(chǎng)景重建、機(jī)器人路徑規(guī)劃、交互式內(nèi)容創(chuàng)建等多個(gè)現(xiàn)實(shí)場(chǎng)景中。

相關(guān)作者

論文的一作是來(lái)自多倫多大學(xué)的計(jì)算機(jī)博士 Towaki Takikawa。他曾在的英偉達(dá)的超大規(guī)模圖形處理研究（Hyperscale Graphics Research）小組工作。

主要研究方向集中在計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)，對(duì)探索機(jī)器學(xué)習(xí)驅(qū)動(dòng) 3D 幾何處理算法非常感興趣。另外在機(jī)器人相關(guān)項(xiàng)目的軟硬件方面也有一定的經(jīng)驗(yàn)。

另外參與本次研究的還有 Joey Litalien、Kangxue Yin、Karsten Kreis1、Charles Loop、Derek Nowrouzezahrai、Alec Jacobson、Morgan McGuire、Sanja Fidler 等八位學(xué)者。

其中 Kangxue Yin 是一位華人學(xué)者，他曾在中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院（SIAT）工作 3 年，之后考入西蒙弗雷澤大學(xué)（Simon Fraser University）大學(xué)并取得了博士學(xué)位。

責(zé)任編輯：PSY