NVIDIA 和康奈爾大學的科學家們引入了一種混合的無監(jiān)督神經(jīng)渲染管道，以有效地表示體素世界中的大型復雜場景。從本質(zhì)上講， 3D 藝術家只需要構建最小值，剩下的部分將由算法來構建照片級真實感世界。研究人員將這種混合神經(jīng)渲染管道應用于 Minecraft 區(qū)塊世界，以生成更逼真的 Minecraft 場景。

NVIDIA 和更廣泛的研究團體（ pix2pix 、 pix2pixHD 、 MUNIT 、 SPADE ）以前的工作已經(jīng)解決了圖像到圖像轉(zhuǎn)換（ im2im ）的問題——將圖像從一個域轉(zhuǎn)換到另一個域。乍一看，這些方法似乎為將一個世界轉(zhuǎn)換為另一個世界的任務提供了一個簡單的解決方案—一次翻譯一幅圖像。但是， im2im 方法不保持視點一致性，因為它們不了解 3D 幾何體，并且每個 2D 幀都是獨立生成的。從下面的圖像中可以看出，這些方法的結(jié)果會產(chǎn)生抖動和突然的顏色和紋理變化。

輸入 GANcraft ，這是一種直接在 3D 輸入世界上操作的新方法。

研究人員在 study 中解釋說：“由于用戶創(chuàng)建的塊世界根本不存在地面真實照片級真實感渲染，我們必須通過間接監(jiān)督來訓練模型。”。

該方法的工作原理是在輸入塊世界中隨機采樣攝影機視圖，然后想象該視圖的真實照片版本是什么樣子。這是在 SPADE 的幫助下完成的，這是 NVIDIA 先前在圖像到圖像轉(zhuǎn)換方面的工作，也是流行的 GauGAN 演示中的關鍵組件。 GANcraft 通過使用樣式調(diào)節(jié)網(wǎng)絡克服了這些生成的“偽真實”的視圖不一致性，該網(wǎng)絡可以消除世界結(jié)構與渲染樣式之間的歧義。這使 GANcraft 能夠生成與視圖一致的輸出視頻，并且具有不同的風格。

雖然研究結(jié)果在 Minecraft 中得到了驗證，但該方法適用于其他 3D 塊體世界，如體素?？s短構建高清世界所需的時間和專業(yè)知識的潛力增加了這項研究的價值。它可以幫助游戲開發(fā)者、 CGI 藝術家和動畫產(chǎn)業(yè)縮短構建這些巨大而令人印象深刻的世界所需的時間。

GANcraft 是在 Imaginaire 庫中實現(xiàn)的。該庫針對生成模型和生成對抗網(wǎng)絡的訓練進行了優(yōu)化，支持多 GPU 、多節(jié)點和自動混合精度訓練。 NVIDIA 制作的 10 多種不同研究成果以及預訓練模型已經(jīng)發(fā)布。隨著時間的推移，此庫將繼續(xù)使用更新的作品進行更新。

關于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營銷經(jīng)理。他重點強調(diào)了 NVIDIA 實驗室在世界各地進行的驚人研究。

審核編輯：郭婷