研究 神經場 近年來，它已成為計算機圖形學和計算機視覺領域的一個日益熱門的話題。通過使用將坐標作為輸入并在該位置輸出相應數(shù)據(jù)的神經網絡，神經場可以表示形狀、外觀、運動和其他物理量等 3D 數(shù)據(jù)。

這些表示已被證明在生成建模和三維重建等各種應用中非常有用。 NVIDIA 項目，如： NGLOD， GANcraft， NeRF-Tex， EG3D， Instant-NGP 和 可變比特率神經場 ，正在以各種方式推進神經領域、計算機圖形學和計算機視覺領域的最新技術。

研究挑戰(zhàn)

神經領域的研究進展迅速，這意味著標準和軟件往往落后。實現(xiàn)差異可能導致質量指標和性能的巨大差異。新項目的啟動成本可能相當高，因為神經場的組成部分越來越復雜。研究小組之間的工作經常重復——例如，創(chuàng)建整個交互式應用程序來可視化神經場輸出。

一個重要的里程碑是： NVIDIA Instant NGP ，由于其能夠以近瞬間速度擬合各種信號，如神經輻射場（ NERF ）、符號距離場（ SDF ）和圖像，最近吸引了研究界的廣泛關注。由于其計算效率，它開啟了實際應用和研究方向的新前沿。然而，由于高度專業(yè)化和優(yōu)化的代碼很難適應和擴展，這種計算效率也可能成為研究的障礙。

NVIDIA Kaolin Wisp

NVIDIA Kaolin Wisp 是一個快節(jié)奏、面向研究的神經領域庫，旨在支持研究人員應對日益增長的學科挑戰(zhàn)。它建在核心之上 Kaolin 庫 功能，包括用于 3D 深度學習研究的更通用和穩(wěn)定的組件。

Wisp 的目標是為神經領域的研究提供一個共同的核心庫和框架。該庫由可用于創(chuàng)建復雜神經場的模塊化構建塊和用于訓練和可視化神經場的交互式應用程序組成。

圖 1. NVIDIA Kaolin Wisp 交互式渲染的屏幕截圖，顯示了正在進行的神經場優(yōu)化。攝像機和占用結構的占用狀態(tài)在頂部可視化。右側的屬性檢查器允許用戶獲取有關場景的更多信息并對其進行操作。

Wisp 沒有提供具體的實現(xiàn)，而是為神經領域提供了構建塊。該框架易于擴展用于研究目的，由模塊化管道組成，其中每個管道組件可以輕松互換，為標準培訓提供即插即用配置。

Wisp 的目標不是提供可用于生產的代碼，而是快速交付新模塊，保持這項技術的領先地位。它還提供了一組豐富的示例，展示了 Kaolin 核心框架以及［ZHK 七］核心如何用于加速研究。

NVIDIA Kaolin Wisp 功能亮點

Kaolin Wisp 使用基于 Python 的 API ，該 API 基于 PyTorch ，使用戶能夠快速開發(fā)項目。與許多其他基于 PyTorch 的公共項目兼容， Kaolin Wisp 可以輕松地使用基于 PyTorch / CUDA 的構建塊進行自定義。

雖然 Wisp 旨在提高開發(fā)人員的速度而不是計算性能，但庫中提供的構建塊經過優(yōu)化，可以在幾分鐘內訓練神經領域，并以交互方式可視化它們。

Kaolin Wisp 用構建塊填充，以混合匹配的方式組成神經場管道。值得注意的例子是要素網格，包括：

層次八叉樹：來自 NGLOD 用于學習空間細分樹上的特征。八叉樹還支持光線跟蹤操作，除了 SDF 外，還可以訓練基于多視圖圖像的 NGLOD NeRF 變體。

三平面特征：用于 EG3D 和 卷積占用網絡 學習三平面紋理貼圖上的體積特征的論文。三平面還支持多分辨率金字塔結構中的多細節(jié)層次（ LOD ）。

代碼本：來自 可變二元神經場 ，學習具有可微可學習密鑰的壓縮特征碼本。

哈希網格：來自 即時 NGP 用于學習具有高性能內存訪問的緊湊緩存友好特征碼本的論文。

圖 3. NVIDIA Kaolin Wisp 架構和構建塊

NVIDIA Kaolin Wisp 與支持神經基元管道靈活渲染的交互式渲染器配對，如 NeRF 和神經 SDF 的變體。它允許集成新的表示。

OpenGL 風格的光柵化原語可以與神經表示混合并匹配，以添加更多數(shù)據(jù)層的可視化，如相機和占用結構。通過在 GUI 上支持可與培訓和渲染交互的自定義小部件，它還允許輕松構建可定制的應用程序。

其他有用的功能包括屬性查看器、優(yōu)化控件、自定義輸出渲染緩沖區(qū)和允許輕松操縱場景攝影機的攝影機對象。

關于作者

Nathan Horrocks 是 NVIDIA Research 的內容營銷經理。他重點強調了 NVIDIA 實驗室在世界各地進行的驚人研究。

審核編輯：郭婷