訓(xùn)練計算機視覺模型通常需要在各種場景配置和屬性下收集和標(biāo)注大量圖像。這個過程非常耗時，確保捕獲的數(shù)據(jù)分布很好地映射到應(yīng)用程序場景的目標(biāo)域也是一個挑戰(zhàn)。

最近，合成數(shù)據(jù)已成為解決這兩個問題的一種方法。然而，現(xiàn)有的方法要么需要人類專家手動調(diào)整每個場景屬性，要么用幾乎沒有控制的自動方法；這需要渲染大量隨機的數(shù)據(jù)變異，其過程很慢，并且對于目標(biāo)域來說通常是次優(yōu)的。

作者提出了第一個完全可微分的合成數(shù)據(jù)流水線，在閉環(huán)中用神經(jīng)輻射場（NERF），其具備目標(biāo)應(yīng)用的損失函數(shù)。這個方法按需生成數(shù)據(jù)，無需人力，最大限度地提高目標(biāo)任務(wù)的準(zhǔn)確性。

該方法在合成和真實目標(biāo)檢測任務(wù)中具備有效性。一個新的“YCB-in-the-Wild”數(shù)據(jù)集和基準(zhǔn)，為現(xiàn)實環(huán)境中具有不同姿態(tài)的目標(biāo)檢測提供了測試場景。

最近，圖像生成技術(shù)神經(jīng)輻射場（NeRF），作為用基于神經(jīng)網(wǎng)絡(luò)的渲染器，替代傳統(tǒng)光柵化和光線跟蹤圖形學(xué)流水線的方法。這種方法可以生成高質(zhì)量的場景新視圖，無需進行明確的3D理解。NeRF的最新進展允許控制其他渲染參數(shù)，如照明、材質(zhì)、反照率、外觀等。因此，被廣泛應(yīng)用于各種圖形和視覺任務(wù)。

NeRF及其變型具有一些誘人的特性：（i）可差分渲染，（ii）與GANs和VAEs不同的對場景屬性的控制，以及（iii）與傳統(tǒng)渲染器相比，數(shù)據(jù)驅(qū)動的模式，而傳統(tǒng)渲染器需要精心制作3D模型和場景。這些屬性適合于為給定目標(biāo)任務(wù)按需生成最佳數(shù)據(jù)。

NeRF更適合學(xué)習(xí)生成合成數(shù)據(jù)集的優(yōu)勢在于兩個方面。 首先，NeRF學(xué)習(xí)僅基于圖像數(shù)據(jù)和攝像頭姿態(tài)信息從新視圖生成數(shù)據(jù)。

相反，傳統(tǒng)的圖形學(xué)流水線需要目標(biāo)的3D模型作為輸入。獲得具有正確幾何、材質(zhì)和紋理屬性的精確3D模型通常需要人類專家（即藝術(shù)家或建模師）。這反過來限制了傳統(tǒng)圖形學(xué)流水線在許多新目標(biāo)或場景的大規(guī)模渲染中的可擴展性。

其次，NeRF是一種可微分的渲染器，因此允許通過渲染流水線進行反向傳播，學(xué)習(xí)如何以模型和場景為中心的方式控制數(shù)據(jù)生成。 工作目標(biāo)是自動合成最佳訓(xùn)練數(shù)據(jù)，最大限度地提高目標(biāo)任務(wù)的準(zhǔn)確性，取名為Neural-Sim。

在這項工作中，將目標(biāo)檢測作為目標(biāo)任務(wù)。此外，最近，NeRF及其變型（NeRFs）已用于合成復(fù)雜場景的高分辨率真實感圖像。這里提出了一種優(yōu)化NERF渲染參數(shù)的技術(shù)，生成用于訓(xùn)練目標(biāo)檢測模型的最佳圖像集。

如圖所示：（a） 按需合成數(shù)據(jù)生成：給定目標(biāo)任務(wù)和測試數(shù)據(jù)集，Neural- Sim使用完全可微分的合成數(shù)據(jù)生成流水線按需生成數(shù)據(jù)，最大限度地提高目標(biāo)任務(wù)的精度。（b） 訓(xùn)練/測試域間隙導(dǎo)致檢測精度顯著下降（黃色條至灰色條）。動態(tài)優(yōu)化渲染參數(shù)（姿勢/縮放/照明），生成填充該間隙的最佳數(shù)據(jù)（藍(lán)色條）。

NeRF模型

NeRF表示為V =（φ，ρ），把觀察方向（或攝像頭姿態(tài)）作為輸入，并渲染沿V觀看的場景圖像x=NeRF（V）。注意，這里技術(shù)通常廣泛適用于不同的渲染器。這項工作中還優(yōu)化了NeRF-in-the-wild（NeRF-w），允許外觀和照明變化以及姿勢變化。

合成訓(xùn)練數(shù)據(jù)生成

考慮渲染參數(shù)V的參數(shù)概率分布pψ，其中ψ表示分布的參數(shù)。應(yīng)注意，ψ對應(yīng)于所有渲染參數(shù)，包括姿勢/縮放/照明，這里，為了簡單起見，ψ表示姿勢變量。為了生成合成訓(xùn)練數(shù)據(jù)，首先采樣渲染參數(shù)V1、V2、…、VN～ pψ。然后，用NeRF生成具有各自渲染參數(shù)Vi的合成訓(xùn)練圖像xi=NeRF（Vi）。 使用現(xiàn)成的前景提取器獲得標(biāo)簽y1，y2，…，yN。由此生成的訓(xùn)練數(shù)據(jù)集表示為Dtrain = {（x1，y1）、（x2，y2），…，（xN，yN）}。

優(yōu)化合成數(shù)據(jù)生成

目標(biāo)是優(yōu)化渲染分布pψ，在Dtrain上訓(xùn)練目標(biāo)檢測模型使得在Dval上獲得良好的性能。如此構(gòu)建一個兩層優(yōu)化，即：



其中





這里求解方法采用如下的梯度計算：其分成兩個項分別估計，?NeRF對應(yīng)于通過從NeRF生成數(shù)據(jù)集的反向傳播，以及?TV對應(yīng)于通過訓(xùn)練和驗證的近似反向傳播



如圖所示Neural-Sim的流水線：從經(jīng)過訓(xùn)練的神經(jīng)渲染器（NeRF）中找到生成視圖的最佳參數(shù)，用作目標(biāo)檢測的訓(xùn)練數(shù)據(jù)。目標(biāo)是找到能夠生成合成訓(xùn)練數(shù)據(jù)Dtrain的最佳NeRF渲染參數(shù)ψ，在Dtrain上訓(xùn)練的模型（取RetinaNet為例）最大化驗證集Dval表示的下游任務(wù)的精度。




近似計算：



然后基于鏈?zhǔn)椒▌t得到：



為計算采用一些近似方法：

對于位姿參數(shù)離散區(qū)間上的分布pψ，提出了一種ψ的重新參數(shù)化，提供了dVi/dψ的有效近似（工具 1）。

用一種兩次向前一次向后（twice-forward-once-backward）的方法（工具2），大大減少了（2）中梯度近似的內(nèi)存和計算開銷。如果沒有這種新技術(shù)，實現(xiàn)中需要涉及大矩陣和計算圖的高計算開銷。

即使使用上述技術(shù)，在GPU內(nèi)存方面，（3）中計算第一項和第二項的開銷很大，取決于圖像大小。用逐塊梯度計算方法（工具 3）克服了這一問題。

關(guān)于工具1中重新參數(shù)化的實現(xiàn)，采用bin-samplinng，如圖所示：首先將位姿空間離散為一組k個bins，然后對其進行采樣以生成NeRF的視圖參數(shù)。為了在采樣過程中反向傳播，用Gumble softmax的“重新參數(shù)化技巧”，從類別（即bin）分布中近似樣本。在每個bin中，均勻采樣。



這里y的計算如下



這樣?NeRF的計算變成：



整個梯度計算包括三項：

?

而工具2提出的“兩次向前一次向后“方法是這樣的：在第一個前向路徑中，不計算梯度，只渲染圖像形成Dtrain，保存用于渲染的y，φj的隨機樣本。然后，轉(zhuǎn)向梯度計算（3）。在第二次通路NeRF時，保持相同的樣本，去計算梯度（1）和（2）。 所謂工具3的逐塊梯度計算如下：

NeRF-in-the-wild（NeRF-w）擴展了普通NeRF模型，允許依賴于圖像的外觀和照明變化，從而可以顯式模擬圖像之間的光度差異。

NeRF-w沿觀看方向V作為輸入的是外觀嵌入，表示為l，圖像呈現(xiàn)為x＝NeRF（V，l）。

對于NERF-w，位姿（V）的優(yōu)化與上述相同。照明的有效優(yōu)化，則利用NeRF-w的一個值得注意的特性：允許在顏色和照明之間進行平滑插值。這能夠?qū)⒄彰鲀?yōu)化為連續(xù)變量，其中照明（l）可以寫成可用照明嵌入（li）的仿射函數(shù)，l = sum（ψi? li）其中sum（ψi）= 1。

為從等式（3）計算梯度，?xi/?l使用工具2和工具3，以與上述相同的方式計算l，并且dl/dψ項計算是直接的，并通過投影梯度下降（projected gradient descent）進行優(yōu)化。

實現(xiàn)細(xì)節(jié)如下：用傳統(tǒng)渲染Blender-Proc，100幅具有不同攝像頭姿態(tài)和縮放因子的圖像，為每個YCB目標(biāo)訓(xùn)練一個NeRF-w模型。用RetinaNet作為下游目標(biāo)檢測器。

為了加速優(yōu)化，在訓(xùn)練期間固定主干。在雙層優(yōu)化步驟中，用Gumble softmax 溫度τ = 0.1。在每次優(yōu)化迭代中，為每個目標(biāo)類渲染50幅圖像，并訓(xùn)練兩個epoch的 RetinaNet。

基線方法包括：提出的方法與學(xué)習(xí)模擬器參數(shù)的兩種流行方法進行比較。第一個基線是“Learning to simulate （LTS）“，它提出了一種基于REINFORCE的方法來優(yōu)化模擬器參數(shù)。

還要注意，meta-sim是一種基于REINFORCE的方法。接下來，第二個考慮Auto-Sim，它提出了一種學(xué)習(xí)模擬器參數(shù)的有效優(yōu)化方法。

NS是指提出的方法沒有做兩層優(yōu)化的情況，NSO是指提出的方法采用兩層優(yōu)化的情況。

實驗結(jié)果如下：

審核編輯：劉清