本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse” 重點介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進展深入改變他們的工作流。

AI 與 OpenUSD 通過實現(xiàn)以仿真為中心的開發(fā)策略，推動安全、可擴展的智能汽車開發(fā)。

仿真駕駛環(huán)境使工程師能夠在無數(shù)真實和邊際場景中安全、高效地訓練、測試和驗證智能汽車，而且沒有物理測試的風險和成本。

這些仿真環(huán)境可通過兩種方式生成：對智能汽車車隊采集的現(xiàn)實世界數(shù)據(jù)進行神經(jīng)重建或使用世界基礎模型（WFM，一種理解物理學與現(xiàn)實世界屬性的神經(jīng)網(wǎng)絡），尤其是 WFM 可用于生成提高輔助駕駛仿真效果的合成數(shù)據(jù)集。

Cosmos Predict-2、Cosmos Transfer-1 NVIDIA NIM 微服務預覽版、Cosmos Reason 等關鍵創(chuàng)新技術正在以空前的規(guī)模提升智能汽車開發(fā)者生成合成數(shù)據(jù)、構建逼真仿真環(huán)境和驗證安全系統(tǒng)的能力。

通用場景描述（OpenUSD）作為物理 AI 應用的統(tǒng)一數(shù)據(jù)框架和標準，實現(xiàn)了仿真資產(chǎn)在整條開發(fā)管線中的無縫集成與互操作性。OpenUSD 所帶來的標準化在確保 3D 管線的可擴展性方面起到了關鍵作用。

通過NVIDIA Omniverse（一個用于構建基于 OpenUSD 的物理 AI 應用的應用編程接口、軟件開發(fā)套件和服務平臺），開發(fā)者可使用 WFM 和神經(jīng)重建技術進行世界級規(guī)模的仿真。

首批使用 Cosmos 模型的企業(yè)包括 Foretellix、Mcity、Oxa、Parallel Domain、Plus AI、Uber 等領先的智能汽車企業(yè)。

為可擴展、逼真的仿真建立基礎

NVIDIA 最新 WFM ——Cosmos Predict-2可根據(jù)文本、圖像、視頻等各種模態(tài)的輸入預測未來世界狀態(tài)，以此生成高質量的合成數(shù)據(jù)。該技術對于創(chuàng)建時間一致的逼真場景至關重要，這些場景能夠加速智能汽車和機器人的訓練與驗證。

此外，Cosmos Transfer（一個為現(xiàn)有場景添加天氣、光照和地形變化的控制模型）即將向 CARLA（一款領先的開源輔助駕駛模擬器）上的 15 萬名開發(fā)者開放，大幅擴展智能汽車開發(fā)者社區(qū)對先進 AI 模擬工具的訪問渠道。

開發(fā)者可以開始使用 NVIDIA 物理 AI 數(shù)據(jù)集將合成數(shù)據(jù)集成到自身管線中。最新版本包含使用 Cosmos 生成的 4 萬個片段。

適用于輔助駕駛模擬的Omniverse Blueprint在此基礎上提供了一個 API 驅動的標準化工作流程，用于構建豐富的數(shù)字孿生、回放現(xiàn)實傳感器數(shù)據(jù)和生成閉環(huán)測試所需的新 ground-truth 數(shù)據(jù)。

該藍圖使用了OpenUSD的分層堆疊和組合架構，使開發(fā)者能夠開展異步協(xié)作并無損修改場景，通過創(chuàng)建可重復使用的模塊化場景變體，高效生成各種天氣條件、交通模式和邊界情況。

提高未來智能汽車的安全性

為提高輔助駕駛系統(tǒng)的運行安全性，NVIDIA 在今年早些時候推出了 NVIDIA Halos —— 一個將 NVIDIA 的汽車硬件、軟件安全解決方案與其智能汽車安全領域前沿的 AI 研究相結合的綜合安全系統(tǒng)。

新的 Cosmos 模型——Cosmos Predict-2、Cosmos Transfer-1 NIM 和 Cosmos Reason——為 Halos 系統(tǒng)帶來了更多安全增強功能，使開發(fā)者能夠創(chuàng)建多樣化、可控且逼真的場景用于訓練和驗證輔助駕駛系統(tǒng)。

這些模型基于包括駕駛數(shù)據(jù)在內的海量多模態(tài)數(shù)據(jù)集訓練而成，大大增加了模擬的廣度和深度，實現(xiàn)了對罕見及安全關鍵事件的全面覆蓋，同時還支持針對特定輔助駕駛任務的定制化后訓練。

在 CVPR 2025 上，NVIDIA 憑借在推動端到端輔助駕駛流水線方面的領先優(yōu)勢而被評為輔助駕駛國際挑戰(zhàn)賽“端到端輔助駕駛”賽道的優(yōu)勝者。NVIDIA 在此次挑戰(zhàn)賽上利用 OpenUSD 的強大元數(shù)據(jù)和互操作性，在半反應堆仿真中根據(jù)多傳感器數(shù)據(jù)生成駕駛軌跡，實現(xiàn)了領先的安全性與合規(guī)性。