作者：Oyindamola Omotuyi

構(gòu)建強(qiáng)大的智能機(jī)器人需要在復(fù)雜環(huán)境中進(jìn)行測(cè)試。然而，在現(xiàn)實(shí)世界中收集數(shù)據(jù)不僅成本高昂、耗時(shí)漫長(zhǎng)，還常常伴隨高風(fēng)險(xiǎn)。針對(duì)關(guān)鍵危險(xiǎn)場(chǎng)景（例如高速碰撞或硬件故障）進(jìn)行安全訓(xùn)練幾乎是不可能的。更嚴(yán)重的是，現(xiàn)實(shí)世界的數(shù)據(jù)往往偏向“正?！边\(yùn)行條件，導(dǎo)致機(jī)器人在面對(duì)突發(fā)狀況時(shí)缺乏應(yīng)對(duì)能力。

模擬對(duì)于彌合這一差距至關(guān)重要，可為嚴(yán)格的開發(fā)提供無風(fēng)險(xiǎn)的環(huán)境。然而，傳統(tǒng)流水線難以滿足現(xiàn)代機(jī)器人的復(fù)雜需求。當(dāng)今的多面手機(jī)器人必須掌握多模態(tài)學(xué)習(xí)，融合視覺、觸覺和本體感知等多種輸入，才能在混亂且非結(jié)構(gòu)化的環(huán)境中有效導(dǎo)航。這對(duì)仿真技術(shù)提出了新的要求：必須在緊湊的訓(xùn)練循環(huán)中實(shí)現(xiàn)規(guī)模性、真實(shí)感以及多模態(tài)感知能力，而這些正是受 CPU 限制的傳統(tǒng)模擬器難以高效應(yīng)對(duì)的挑戰(zhàn)。

本期NVIDIA 機(jī)器人研發(fā)摘要 (R2D2)介紹了NVIDIA Isaac Lab，一個(gè)來自NVIDIA Research的開源 GPU 原生仿真框架，如何將這些功能整合到一個(gè)專為大規(guī)模多模態(tài)機(jī)器人學(xué)習(xí)設(shè)計(jì)的統(tǒng)一堆棧中。

機(jī)器人學(xué)習(xí)的主要挑戰(zhàn)

仿真中的現(xiàn)代機(jī)器人學(xué)習(xí)將仿真基礎(chǔ)設(shè)施推向極限。為高效訓(xùn)練出穩(wěn)健的策略，研究人員必須克服以下關(guān)鍵障礙：

將模擬擴(kuò)展到數(shù)千個(gè)并行環(huán)境，以解決 CPU 受限工具訓(xùn)練耗時(shí)過長(zhǎng)的問題

集成多種傳感器模式（視覺、力覺和本體感知），形成同步的高保真數(shù)據(jù)流

建模真實(shí)執(zhí)行器與控制頻率，以捕捉物理硬件的細(xì)微特性

通過可靠的域隨機(jī)化與精確的物理屬性，縮小仿真與現(xiàn)實(shí)世界部署之間的差距

Isaac Lab：一個(gè)用于機(jī)器人學(xué)習(xí)的統(tǒng)一開源框架

Isaac Lab 是一個(gè)用于多模態(tài)機(jī)器人學(xué)習(xí)的GPU 加速仿真框架。作為一個(gè)統(tǒng)一的 GPU 原生平臺(tái)，它致力于應(yīng)對(duì)現(xiàn)代機(jī)器人學(xué)習(xí)中的各項(xiàng)挑戰(zhàn)。通過將物理仿真、渲染、感知與學(xué)習(xí)整合至單一架構(gòu)中，該平臺(tái)為研究人員提供了訓(xùn)練具備大規(guī)模與高保真度的通用智能體的技術(shù)支持。

圖 1. Isaac Lab 仿真框架支持多種機(jī)器人應(yīng)用

Isaac Lab 核心元件

Isaac Lab 的關(guān)鍵元素包括：

GPU 原生架構(gòu)：通過端到端 GPU 加速支持物理特性和渲染，實(shí)現(xiàn)大規(guī)模并行計(jì)算，顯著縮短訓(xùn)練時(shí)間

模塊化和可組合設(shè)計(jì)：提供適用于多種應(yīng)用場(chǎng)景（如人形機(jī)器人、機(jī)械手）的靈活組件與可復(fù)用環(huán)境，加快開發(fā)進(jìn)程

多模態(tài)仿真：結(jié)合分塊 RTX 渲染與基于 Warp 的傳感器模擬，生成豐富的同步觀測(cè)數(shù)據(jù)（視覺、深度、觸覺），并支持逼真的多頻率控制回路

集成工作流：原生支持強(qiáng)化學(xué)習(xí)（RL）與模仿學(xué)習(xí)（IL），簡(jiǎn)化大規(guī)模數(shù)據(jù)收集、域隨機(jī)化及策略評(píng)估流程；無縫對(duì)接主流 RL 庫（包括 SKRL、RSL-RL、RL-Games、SB3 和 Ray），并可與NVIDIA Cosmos生成的數(shù)據(jù)高效集成，提升模仿學(xué)習(xí)效果

Isaac Lab 框架內(nèi)部：模塊化工具包

Isaac Lab 將機(jī)器人學(xué)習(xí)分解為可組合的基礎(chǔ)模塊，幫助您構(gòu)建復(fù)雜且可擴(kuò)展的任務(wù)，而無需重復(fù)造輪子。

圖 2. Isaac Lab 包含多種材質(zhì)、多模態(tài)傳感器和標(biāo)準(zhǔn)控制器

功能包括基于管理器的工作流、程序化場(chǎng)景生成等。

基于管理器的工作流程

Isaac Lab 將您的環(huán)境分解為獨(dú)立的“管理器”，分別用于觀察、操作、獎(jiǎng)勵(lì)和事件，而非編寫融合物理與邏輯的單一腳本。這種設(shè)計(jì)使代碼更具模塊化和可重用性。例如，您可以更換機(jī)器人的獎(jiǎng)勵(lì)功能，而無需修改其傳感器配置。

程序化場(chǎng)景生成

為防止過擬合，通常不建議在單一靜態(tài)場(chǎng)景上進(jìn)行訓(xùn)練。借助 Isaac Lab 場(chǎng)景生成工具，您可以通過程序化定義規(guī)則來生成多樣化的環(huán)境。無論是為導(dǎo)航任務(wù)隨機(jī)散布障礙物，還是為運(yùn)動(dòng)生成粗糙地形，只需定義一次邏輯，框架便能在 GPU 上高效生成數(shù)千種環(huán)境變體。

更多功能

此外，Isaac Lab 還提供：

統(tǒng)一的資產(chǎn) API，支持從 USD、URDF 或 MJCF 導(dǎo)入任意機(jī)器人

逼真的執(zhí)行器模型，用于電機(jī)動(dòng)力學(xué)仿真，并提供包括 IMU 到真實(shí)感 RTX 攝像頭在內(nèi)的十余種傳感器類型

內(nèi)置遠(yuǎn)程操作堆棧，進(jìn)一步簡(jiǎn)化數(shù)據(jù)采集流程

這些功能共同提供了從原型到部署高效策略所需的完整支持。

大規(guī)模提供 GPU 加速性能

Isaac Lab 可提供現(xiàn)代機(jī)器人學(xué)習(xí)所需的巨大吞吐量，在人形機(jī)器人運(yùn)動(dòng)（Unitree H1）中實(shí)現(xiàn) 135000 FPS，在操作任務(wù)（Franka Cabinet）中實(shí)現(xiàn)超過 150000 FPS——訓(xùn)練策略可在數(shù)分鐘內(nèi)完成，而非數(shù)天。其統(tǒng)一的 GPU 架構(gòu)消除了 CPU 瓶頸，即使在 4096 個(gè)環(huán)境中啟用復(fù)雜的 RGB-D 傳感器，仍能保持高吞吐量。

基準(zhǔn)測(cè)試證實(shí)了使用 VRAM 可實(shí)現(xiàn)線性擴(kuò)展，并成功實(shí)現(xiàn)了零樣本遷移，適用于多種具身形態(tài)，包括靈巧手、多智能體蜂群以及 H1 人形機(jī)器人在戶外的穩(wěn)健行走。

標(biāo)準(zhǔn)機(jī)器人學(xué)習(xí)工作流程

Isaac Lab 將機(jī)器人學(xué)習(xí)循環(huán)標(biāo)準(zhǔn)化為一個(gè)清晰的、以 Python 優(yōu)先的工作流。無論您是在訓(xùn)練運(yùn)動(dòng)策略還是操作技能，該流程均遵循相同的四個(gè)步驟：設(shè)計(jì)、隨機(jī)化、訓(xùn)練和驗(yàn)證。

要運(yùn)行一個(gè)完整的示例（訓(xùn)練人形機(jī)器人行走），請(qǐng)按以下步驟操作。

第 1 步：設(shè)計(jì)和配置

首先，在 Python 中定義您的環(huán)境。通過配置類來選擇機(jī)器人（例如 Unitree H1）、傳感器以及隨機(jī)化邏輯：

有關(guān)更多詳細(xì)信息，請(qǐng)參閱 isaac-sim/IsaacLab GitHub 倉庫中的H1 人形機(jī)器人環(huán)境配置。此外，您還可以添加其他傳感器。傳感器的配置過程十分簡(jiǎn)便。

配置平鋪攝像頭：

配置光線投射器 (LiDAR) ：

第 2 步：訓(xùn)練策略

接下來，啟動(dòng)訓(xùn)練腳本以開始學(xué)習(xí)。Isaac Lab 采用 Gymnasium 接口，因此能夠便捷地與 RSL-RL 或 SKRL 等強(qiáng)化學(xué)習(xí)庫進(jìn)行連接。

第 3 步：播放并可視化

訓(xùn)練完成后，請(qǐng)?jiān)谕评砟Ｊ较逻\(yùn)行策略以驗(yàn)證其效果。該過程將加載已訓(xùn)練好的檢查點(diǎn)并渲染結(jié)果。

第 4 步：從仿真到現(xiàn)實(shí)的部署

驗(yàn)證后，可將策略導(dǎo)出為 ONNX 或 TorchScript 格式，以便在物理硬件上部署時(shí)利用訓(xùn)練過程中應(yīng)用的域隨機(jī)化。如需查看實(shí)際示例，請(qǐng)參閱仿真到現(xiàn)實(shí)部署指南。

采用生態(tài)系統(tǒng)

人形機(jī)器人、具身 AI 和腿部運(yùn)動(dòng)領(lǐng)域的領(lǐng)先機(jī)構(gòu)與研究實(shí)驗(yàn)室正在部署 Isaac Lab，以加速通用機(jī)器人策略及基礎(chǔ)模型的開發(fā)，涵蓋以下方面：

Agility Robotics的通用人形機(jī)器人 Digit 采用 Isaac Lab 框架，通過數(shù)百萬個(gè)強(qiáng)化學(xué)習(xí)場(chǎng)景優(yōu)化全身控制，加速技能組合的提升，例如在制造和物流設(shè)施等高度動(dòng)態(tài)環(huán)境中，實(shí)現(xiàn)從外部干擾中快速恢復(fù)步伐的能力。

Skild AI正在開發(fā)一個(gè)適用于有腿、輪式及人形機(jī)器人的通用機(jī)器人基礎(chǔ)模型，利用 Isaac Lab 訓(xùn)練運(yùn)動(dòng)與靈巧操作任務(wù)，并借助NVIDIA Cosmos 世界基礎(chǔ)模型生成訓(xùn)練所需的數(shù)據(jù)集。

FieldAI正在訓(xùn)練跨形態(tài)的具身機(jī)器人智能體，用于建筑、制造以及石油和天然氣等環(huán)境中的監(jiān)測(cè)與巡檢任務(wù)，采用 Isaac Lab 進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，同時(shí)使用NVIDIA Isaac Sim生成合成數(shù)據(jù)并完成軟件在環(huán)驗(yàn)證。

機(jī)器人與 AI 研究機(jī)構(gòu)正基于 NVIDIA Isaac Lab 訓(xùn)練高性能的強(qiáng)化學(xué)習(xí)控制器，以實(shí)現(xiàn)敏捷的腿部運(yùn)動(dòng)、動(dòng)態(tài)的全身操作能力，并適配多種自定義機(jī)器人平臺(tái)；在將策略部署至波士頓動(dòng)力的 Spot 和 Atlas 以及 RAI 的 Ultra Mobile Vehicle (UMV) 之前，通過優(yōu)化模擬器參數(shù)，有效縮小仿真與現(xiàn)實(shí)之間的差距。

加州大學(xué)河濱分校（UCR）正在 NVIDIA Isaac 平臺(tái)上研發(fā)適用于重工業(yè)的堅(jiān)固型人形機(jī)器人，利用 Isaac GR00T 的合成數(shù)據(jù)流水線 Isaac Lab 與 Isaac Sim，訓(xùn)練端到端的移動(dòng)策略，并持續(xù)迭代以縮小仿真與現(xiàn)實(shí)的差異，確保 Moby 能在嚴(yán)苛的建筑與工業(yè)場(chǎng)景中穩(wěn)定可靠地運(yùn)行。

開始使用多模態(tài)機(jī)器人學(xué)習(xí)

準(zhǔn)備好使用 Isaac Lab 擴(kuò)展您自己的多模態(tài)機(jī)器人學(xué)習(xí)工作負(fù)載了嗎？從核心資源入手，進(jìn)階到高級(jí)工作流程的前沿研究。

使用 Isaac Lab快速入門指南安裝并運(yùn)行您的首個(gè)環(huán)境。

探索Isaac Lab GitHub 存儲(chǔ)庫，了解示例、環(huán)境和問題。

按照Isaac Lab 學(xué)習(xí)路徑開始學(xué)習(xí)。

查閱Isaac Lab 文檔，掌握相關(guān)概念和 API 參考。

使用快速入門指南并設(shè)置 Isaac Sim 作為底層模擬器。

詳細(xì)了解研究人員如何運(yùn)用模擬與生成式 AI 推動(dòng)機(jī)器人學(xué)習(xí)的發(fā)展：

Harmon：結(jié)合語言模型與物理特性，直接從文本生成富有表現(xiàn)力的全身人形機(jī)器人動(dòng)作。

MaskedMimic：一種通用控制策略，通過運(yùn)動(dòng)模仿學(xué)習(xí)多種技能，簡(jiǎn)化人形機(jī)器人控制，無需依賴復(fù)雜的獎(jiǎng)勵(lì)設(shè)計(jì)。

SIMPLER:用于評(píng)估仿真中真實(shí)操作策略（如 RT-1、Octo）的框架，可可靠預(yù)測(cè)其在真實(shí)環(huán)境中的物理表現(xiàn)。

NVIDIA GTC AI 大會(huì)將于 2026 年 3 月 16 日至 19 日在圣何塞舉行，首席執(zhí)行官黃仁勛將于太平洋時(shí)間 3 月 16 日上午 11 點(diǎn)在SAP 中心發(fā)表備受矚目的主題演講。歡迎探索GTC 機(jī)器人會(huì)議，深入了解 AI、仿真和加速計(jì)算如何賦能機(jī)器人實(shí)現(xiàn)高效感知、學(xué)習(xí)與實(shí)時(shí)決策。

本文是NVIDIA 機(jī)器人研發(fā)摘要 (R2D2)系列文章的一部分，該系列旨在幫助開發(fā)者深入理解NVIDIA Research在物理 AI與機(jī)器人應(yīng)用領(lǐng)域的前沿突破。

關(guān)于作者

Oyindamola Omotuyi 是 NVIDIA 的產(chǎn)品營(yíng)銷經(jīng)理實(shí)習(xí)生，專注于機(jī)器人開發(fā)社區(qū)。在之前的 NVIDIA 實(shí)習(xí)期間，她撰寫了 NVIDIA 對(duì)話 AI 電子書的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學(xué)系統(tǒng)工程學(xué)士學(xué)位和辛辛那提大學(xué)機(jī)械工程碩士學(xué)位。她目前正在辛辛那提大學(xué)攻讀博士學(xué)位，專注于多智能體深度強(qiáng)化學(xué)習(xí)和機(jī)器人感知。