用于合成數(shù)據(jù)的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基礎(chǔ)模型，為通用人形機(jī)器人的開發(fā)注入強(qiáng)大動力。

未來二十年，預(yù)計(jì)人形機(jī)器人市場將達(dá)到 380 億美元。為了滿足這一巨大需求，尤其是工業(yè)和制造業(yè)領(lǐng)域的需求，NVIDIA 發(fā)布了一系列機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架，以加速下一代人形機(jī)器人的開發(fā)進(jìn)程。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 CES 上宣布 NVIDIA 正式推出用于合成運(yùn)動生成的NVIDIA Isaac GR00T Blueprint，該 Blueprint 可幫助開發(fā)者生成海量的合成運(yùn)動數(shù)據(jù)，以便通過模仿學(xué)習(xí)來訓(xùn)練人形機(jī)器人。

模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個子集，它能讓人形機(jī)器人通過觀察和模仿人類專家的示范來獲取新技能。在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時，而且成本往往高得令人卻步。通過用于合成運(yùn)動生成的 Isaac GR00T Blueprint，開發(fā)者只需少量人類示范，就能輕松生成海量的合成數(shù)據(jù)集。

首先通過 GR00T-Teleop 工作流，用戶可以借助 Apple Vision Pro 在數(shù)字孿生環(huán)境中捕捉人類動作。這些人類動作會被記錄下來作為金標(biāo)準(zhǔn)，并在仿真環(huán)境中由機(jī)器人模仿學(xué)習(xí)。

然后，GR00T-Mimic 工作流會將捕捉到的人類示范擴(kuò)展成更大的合成運(yùn)動數(shù)據(jù)集。最后，基于NVIDIA Omniverse和NVIDIA Cosmos平臺構(gòu)建的 GR00T-Gen 工作流，會通過域隨機(jī)化和 3D 提升技術(shù)，指數(shù)級擴(kuò)增這個數(shù)據(jù)集。

之后，該數(shù)據(jù)集可作為機(jī)器人策略的輸入，在NVIDIA Isaac Lab（一個用于機(jī)器人學(xué)習(xí)的開源模塊化框架）中，教會機(jī)器人如何在其環(huán)境中高效且安全地移動和互動。

世界基礎(chǔ)模型

縮小仿真與現(xiàn)實(shí)的差距

NVIDIA 在 CES 上還發(fā)布了 Cosmos 平臺，該平臺擁有一系列開放的預(yù)訓(xùn)練世界基礎(chǔ)模型，專為生成具有物理感知的視頻和物理 AI 開發(fā)所需的世界狀態(tài)而設(shè)計(jì)。它包含自回歸模型和擴(kuò)散模型，有各種模型尺寸并適用于多種輸入數(shù)據(jù)格式。這些模型基于 1800 萬億個數(shù)據(jù)單元進(jìn)行訓(xùn)練，其中包括 200 萬小時的自動駕駛、機(jī)器人、無人機(jī)拍攝的視頻以及合成數(shù)據(jù)。

除了幫助生成大型數(shù)據(jù)集外，Cosmos 還能通過將圖像從 3D 擴(kuò)展到真實(shí)場景，縮小仿真與現(xiàn)實(shí)之間的差距。將 Omniverse（一個用于構(gòu)建 3D 應(yīng)用程序和服務(wù)的應(yīng)用程序編程接口和微服務(wù)開發(fā)平臺）與 Cosmos 相結(jié)合至關(guān)重要，通過其高度可控、物理精確的仿真提供關(guān)鍵保障，有助于最大限度地減少世界模型常見的幻覺問題。

不斷擴(kuò)展的生態(tài)系統(tǒng)

NVIDIA Isaac GR00T、Omniverse 和 Cosmos 正在助力物理 AI 和人形機(jī)器人創(chuàng)新實(shí)現(xiàn)巨大飛躍。包括波士頓動力和 Figure 在內(nèi)的主要機(jī)器人公司已開始采用 Isaac GR00T，并展示了相關(guān)成果。

人形機(jī)器人的軟件、硬件制造商以及機(jī)器人廠商可以申請?zhí)崆凹尤?NVIDIA 的人形機(jī)器人開發(fā)者計(jì)劃。