NVIDIA 最近發(fā)布了 NVIDIA Cosmos 開放世界基礎(chǔ)模型（WFM）的更新，旨在加速物理 AI 模型的測(cè)試與驗(yàn)證數(shù)據(jù)生成。借助 NVIDIA Omniverse 庫(kù)和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5現(xiàn)在將 Text2World、Image2World 和 Video2World 三個(gè)獨(dú)立的模型統(tǒng)一為一個(gè)輕量級(jí)架構(gòu)，能夠從單個(gè)圖像、視頻或提示生成一致且可控的多機(jī)位視頻世界。

Cosmos Transfer 2.5能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機(jī)位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時(shí)，在提示對(duì)齊和物理精度方面都有所提升。

這些 WFM 可以集成到在 NVIDIA Isaac Sim 開源機(jī)器人仿真框架中運(yùn)行的合成數(shù)據(jù)流程中，該框架基于 NVIDIA Omniverse 平臺(tái)構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實(shí)之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

NVIDIA Omniverse NuRec 神經(jīng)重建庫(kù)，可通過智能手機(jī)拍攝的圖像，在 OpenUSD 環(huán)境中重建真實(shí)世界的數(shù)字孿生。

SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。

NVIDIA Cosmos，用于擴(kuò)充生成數(shù)據(jù)。

從仿真到現(xiàn)實(shí)世界，了解企業(yè)與開發(fā)者如何使用合成數(shù)據(jù)：Skild AI，Serve Robotics，Zipline，光輪智能，F(xiàn)S Studio，Robots for Humanity 等領(lǐng)先的機(jī)器人和 AI 公司及開發(fā)者已經(jīng)在使用這些技術(shù)來加速物理 AI 開發(fā)。

文是洞悉Omniverse系列文章?！岸聪?Omniverse”重點(diǎn)介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用OpenUSD和NVIDIA Omniverse的最新進(jìn)展深入改變他們的工作流。

驅(qū)動(dòng)機(jī)器人、輔助駕駛車輛和其他智能機(jī)器的物理 AI模型必須具備安全性、能夠適應(yīng)動(dòng)態(tài)場(chǎng)景，以及實(shí)時(shí)感知、推理和操作的能力。與可基于互聯(lián)網(wǎng)海量數(shù)據(jù)集訓(xùn)練的大型語(yǔ)言模型不同，物理 AI 模型必須從基于現(xiàn)實(shí)世界中的數(shù)據(jù)中學(xué)習(xí)。

然而，要收集足夠多的涵蓋現(xiàn)實(shí)世界各種場(chǎng)景的數(shù)據(jù)是極其困難的，在某些情況下甚至存在危險(xiǎn)?；谖锢韺W(xué)的合成數(shù)據(jù)生成，為解決這一問題提供了關(guān)鍵途徑。

NVIDIA 最近發(fā)布了NVIDIA Cosmos開放世界基礎(chǔ)模型 (WFM)的更新，旨在加速物理 AI 模型的測(cè)試與驗(yàn)證數(shù)據(jù)生成。借助NVIDIA Omniverse庫(kù)和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5現(xiàn)在將 Text2World、Image2World 和 Video2World 三個(gè)獨(dú)立的模型統(tǒng)一為一個(gè)輕量級(jí)架構(gòu)，能夠從單個(gè)圖像、視頻或提示生成一致且可控的多機(jī)位視頻世界。

Cosmos Transfer 2.5能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機(jī)位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時(shí)，在提示對(duì)齊和物理精度方面都有所提升。

這些 WFM 可以集成到在NVIDIA Isaac Sim開源機(jī)器人仿真框架中運(yùn)行的合成數(shù)據(jù)流程中，該框架基于NVIDIA Omniverse平臺(tái)構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實(shí)之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

NVIDIA Omniverse NuRec 神經(jīng)重建庫(kù)，可通過智能手機(jī)拍攝的圖像，在OpenUSD環(huán)境中重建真實(shí)世界的數(shù)字孿生。

SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。

NVIDIA Cosmos，用于擴(kuò)充生成數(shù)據(jù)。

從仿真到現(xiàn)實(shí)世界

領(lǐng)先的機(jī)器人和 AI 公司已經(jīng)在使用這些技術(shù)來加速物理 AI 開發(fā)。

Skild AI致力于打造通用機(jī)器人的大腦，他們正利用 Cosmos Transfer，通過添加新變體來擴(kuò)充現(xiàn)有數(shù)據(jù)，以便測(cè)試和驗(yàn)證在NVIDIA Isaac Lab訓(xùn)練的機(jī)器人策略。

Skild AI 使用 Isaac Lab 創(chuàng)建可擴(kuò)展的仿真環(huán)境，讓其機(jī)器人可以在不同的形態(tài)和應(yīng)用場(chǎng)景中訓(xùn)練。通過將 Isaac Lab 的機(jī)器人仿真能力和 Cosmos 的合成數(shù)據(jù)生成相結(jié)合，Skild AI 能夠在各種條件下訓(xùn)練機(jī)器人智能體，避免了現(xiàn)實(shí)世界數(shù)據(jù)采集所面臨的時(shí)間和成本限制。

Serve Robotics在 NVIDIA Isaac Sim 中從數(shù)千個(gè)仿真場(chǎng)景中生成合成數(shù)據(jù)，然后結(jié)合真實(shí)數(shù)據(jù)與合成數(shù)據(jù)，用于物理 AI 模型訓(xùn)練。該公司已構(gòu)建起全球規(guī)模最大的公共空間自主機(jī)器人車隊(duì)之一，并在城市地區(qū)完成了超過 10 萬(wàn)次“最后一英里”送餐。Serve 的機(jī)器人每月收集 100 萬(wàn)英里的數(shù)據(jù)，包含近 1700 億張圖像與激光雷達(dá)樣本，這些數(shù)據(jù)被用于仿真訓(xùn)練以持續(xù)優(yōu)化機(jī)器人模型。

除了給人送餐，Serve 最近還使用其機(jī)器人來運(yùn)送算力——將全新的NVIDIA DGX Spark個(gè)人 AI 超級(jí)計(jì)算機(jī)交付給 Refik Anadol、Will.I.AM 和 Ollama。DGX Spark 提供 1 petaflop 的 AI 性能，為開發(fā)者提供了桌面級(jí)計(jì)算能力，支持從 AI 模型原型設(shè)計(jì)、模型微調(diào)到推理及機(jī)器人開發(fā)等全流程工作。

自主無人機(jī)送貨公司 Zipline 也參與了 DGX Spark 的交付，首席硬件官 Jo Mardall 在加利福尼亞州半月灣的公司總部和測(cè)試場(chǎng)地通過無人機(jī)接收了 DGX Spark。Zipline 使用NVIDIA Jetson邊緣 AI 和機(jī)器人平臺(tái)為其無人機(jī)配送系統(tǒng)提供支持。

了解開發(fā)者如何使用合成數(shù)據(jù)

光輪智能作為一家仿真優(yōu)先的機(jī)器人解決方案提供商，正利用 SimReady 資產(chǎn)和大規(guī)模合成數(shù)據(jù)集幫助公司彌合仿真到現(xiàn)實(shí)的差距。憑借基于 OpenUSD 構(gòu)建的高質(zhì)量合成數(shù)據(jù)和仿真環(huán)境，光輪智能的解決方案有助于確保在仿真中訓(xùn)練的機(jī)器人能夠在從工廠車間到家庭場(chǎng)景的真實(shí)環(huán)境中高效運(yùn)作。

數(shù)據(jù)科學(xué)家、Omniverse 社區(qū)成員Santiago Villa正運(yùn)用合成數(shù)據(jù)結(jié)合Omniverse 庫(kù)與 Blender 軟件，通過識(shí)別阻礙作業(yè)的大型巖塊來優(yōu)化采礦作業(yè)。

未被檢測(cè)到的巖石進(jìn)入破碎機(jī)可能會(huì)導(dǎo)致每次事故延誤七分鐘或更久，每年給礦山造成高達(dá) 65 萬(wàn)美元的生產(chǎn)損失。利用 Omniverse 在不同光照和天氣條件下生成數(shù)千張自動(dòng)標(biāo)注的合成圖像能夠顯著降低培訓(xùn)成本，同時(shí)使礦業(yè)公司能夠改進(jìn)巖石檢測(cè)系統(tǒng)，避免設(shè)備停機(jī)。

FS Studio與一家全球物流領(lǐng)導(dǎo)者合作，利用Omniverse 庫(kù) (如 Replicator)創(chuàng)建了數(shù)千種在不同光照條件下的逼真包裹變體，以改善 AI 驅(qū)動(dòng)的包裹檢測(cè)。合成數(shù)據(jù)集顯著提高了目標(biāo)檢測(cè)精度，減少了誤報(bào)，為客戶物流網(wǎng)絡(luò)中的吞吐速度和系統(tǒng)性能帶來了可衡量的提升。

Robots for Humanity 為一家石油和天然氣客戶在 Isaac Sim 中使用 Omniverse 庫(kù)構(gòu)建了完整的仿真環(huán)境，生成合成數(shù)據(jù)，包括深度、分割和 RGB 圖像，同時(shí)通過遙操作從 Unitree G1 機(jī)器人收集關(guān)節(jié)和運(yùn)動(dòng)數(shù)據(jù)。

Omniverse 大使Scott Dempsey正在開發(fā)一個(gè)合成數(shù)據(jù)生成合成器，根據(jù)現(xiàn)實(shí)世界制造商的規(guī)格構(gòu)建各種電纜，使用 Isaac Sim 生成經(jīng)過 Cosmos Transfer 增強(qiáng)的合成數(shù)據(jù)，為檢測(cè)和處理電纜的應(yīng)用創(chuàng)建逼真的訓(xùn)練數(shù)據(jù)集。