誰說生成圖像、視頻一定要靠AI？

普林斯頓大學(xué)新出的神器，可無限生成逼真3D世界，特別強(qiáng)調(diào)“No AI”。

淺淺感受一下這個(gè)效果：

不要以為生成的只是一段視頻，其實(shí)背后是一套完整的3D資產(chǎn)，基于建模軟件Blender打造。

此時(shí)所有blender用戶一起跟我：啊？

如此一來，我們就能用參數(shù)來控制細(xì)節(jié)：

或者拿到相應(yīng)的光流圖、3D場(chǎng)景光流圖、深度圖、全景分割圖等等，輕松hold住各種CV任務(wù)。

最最重要的是，它還免費(fèi)、開源！

媽媽真的再也不用擔(dān)心我找不到高質(zhì)量的3D數(shù)據(jù)投喂AI了……

100%基于隨機(jī)數(shù)學(xué)的3D數(shù)據(jù)生成器

盡管AI發(fā)展迅猛，但目前CV領(lǐng)域的許多任務(wù)仍然缺乏高質(zhì)量的數(shù)據(jù)，3D尤甚。

一個(gè)解決辦法是用合成數(shù)據(jù)。事實(shí)證明，在這類數(shù)據(jù)上訓(xùn)練的模型在零樣本的真實(shí)圖像上也可以表現(xiàn)得很好。

但問題是，現(xiàn)有的大多數(shù)免費(fèi)3D合成數(shù)據(jù)工具基本局限于單一場(chǎng)景：要么是自動(dòng)駕駛相關(guān)，要么就是那種位于室內(nèi)環(huán)境中的人造物體。

因此，為了擴(kuò)大覆蓋范圍，尤其是真實(shí)世界里的自然場(chǎng)景，作者基于Blender打造了這個(gè)基于隨機(jī)數(shù)學(xué)規(guī)則無限生成各種場(chǎng)景的Infinigen。

Infinigen主要利用Blender的“基元”（或原語），設(shè)計(jì)了一個(gè)程序規(guī)則庫(kù)，通過編碼完成真實(shí)自然場(chǎng)景各個(gè)對(duì)象的生成。

論文主要介紹了Infinigen的程序體系，包括：

Node Transpiler（節(jié)點(diǎn)轉(zhuǎn)換器），可以自動(dòng)將Blender節(jié)點(diǎn)圖轉(zhuǎn)化為Python代碼，方便非程序員用戶使用Infinigen。

如下圖所示，它生成的代碼更通用，既允許我們隨機(jī)化輸入?yún)?shù)，也允許隨機(jī)化圖結(jié)構(gòu)。

Generator Subsystems（生成器子系統(tǒng)），Infinigen的生成器是是一個(gè)個(gè)基于概率的程序，每個(gè)程序?qū)ｉT用于生成一個(gè)子對(duì)象（比如山脈或魚類）。每個(gè)對(duì)象都有一組高級(jí)參數(shù)（比如山的總高度），用戶可以使用Python API來調(diào)整這些參數(shù)，以實(shí)現(xiàn)對(duì)數(shù)據(jù)生成的細(xì)粒度控制。

Material Generators（材料生成器），一共有50個(gè)，每個(gè)都由一個(gè)能指定顏色和反射率的隨機(jī)著色器和一個(gè)生成相應(yīng)精細(xì)幾何細(xì)節(jié)的局部幾何生成器組成。

如下圖由所示，它能保證非常真實(shí)的幾何細(xì)節(jié)。

Terrain Generators（地形生成器），如下圖所示，該生成器可以通過反復(fù)擠壓生成巨石，使用Blender的內(nèi)置插件生成小石塊。

并幫助Infinigen通過使用FLIP模擬動(dòng)力學(xué)流體，使用Blender的粒子系統(tǒng)模擬天氣。

Plants & Underwater Object Generators（植物和水下物體發(fā)生器），包括使用用隨機(jī)游走等算法對(duì)樹木生長(zhǎng)進(jìn)行建模，從而形成一個(gè)覆蓋各種樹木、灌木甚至仙人掌的3D世界。

又或者是使用差異化生長(zhǎng)、拉普拉斯生長(zhǎng)和反應(yīng)擴(kuò)散制造各種珊瑚、使用幾何節(jié)點(diǎn)圖生成樹葉、花朵、海藻、海帶、軟體動(dòng)物和水母。

還有各種子生成器（比如生物生成器）就不一一介紹了。

除了這些，Infinigen還包括一個(gè)圖像渲染與Ground Truth提取程序，主要用于生成下圖這些類型的圖像。

其中對(duì)于前者，系統(tǒng)使用了Blender基于自然規(guī)律的路徑跟蹤渲染器Cycles來渲染圖像。

作者介紹，雖然使用Blender開發(fā)了Infinigen的程序規(guī)則，不過程序生成的很大一部分是在Blender之外完成的。

另外，他們也表示，構(gòu)建Infinigen是一項(xiàng)極大量的軟件工程，光是它代碼庫(kù)的主分支就囊括了40485行代碼。

最后，Infinigen在2個(gè)Intel Xeon Silver 4114 @ 2.20GHz CPU和1個(gè)NVidia GPU上進(jìn)行了基準(zhǔn)測(cè)試，生成一對(duì)1080p圖像的時(shí)間（wall time）為3.5小時(shí)。

下表是它與現(xiàn)有合成數(shù)據(jù)集或生成器的比較。

作者表示，從中可以看出，Infinigen最大的優(yōu)點(diǎn)就是不需要任何外部參考資源庫(kù)就能程序化地生成無限的自然3D數(shù)據(jù)，別的都不行。

團(tuán)隊(duì)介紹

Infinigen將在本周三的CVPR會(huì)議上進(jìn)行Poster展示。

它的作者全部來自普林斯頓大學(xué)Vision & Learning Lab。

三位共同一作，其中一位叫Ma Zeyu，普林斯頓大學(xué)博士三年級(jí)在讀，2020年本科畢業(yè)于清華大學(xué)電子工程專業(yè)。

通訊作者為普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系副教授鄧嘉。

目前，Infinigen的代碼已經(jīng)上線GitHub，短短兩天已有850個(gè)標(biāo)星。

論文地址：
https://arxiv.org/abs/2306.09310
項(xiàng)目主頁(yè)：
https://infinigen.org/
GitHub地址：
https://github.com/princeton-vl/infinigen