3月30日，摩爾線程正式開(kāi)源MuJoCo Warp MUSA。這是具身智能領(lǐng)域首個(gè)基于MUSA架構(gòu)的全功能GPU加速物理仿真后端，補(bǔ)齊了國(guó)產(chǎn)算力在強(qiáng)化學(xué)習(xí)仿真訓(xùn)練底層生態(tài)中的關(guān)鍵一環(huán)。

長(zhǎng)期以來(lái)，大規(guī)模強(qiáng)化學(xué)習(xí)仿真訓(xùn)練高度依賴單一國(guó)際算力架構(gòu)。尤其在機(jī)器人運(yùn)控訓(xùn)練場(chǎng)景中，物理仿真、并行環(huán)境調(diào)度與大規(guī)模訓(xùn)練任務(wù)對(duì)底層算力平臺(tái)和軟件棧提出了極高要求，國(guó)產(chǎn)算力在這一領(lǐng)域長(zhǎng)期缺乏可用、完整的基礎(chǔ)支撐。

MuJoCo Warp MUSA的開(kāi)源，標(biāo)志著國(guó)產(chǎn)全功能GPU在強(qiáng)化學(xué)習(xí)仿真訓(xùn)練領(lǐng)域?qū)崿F(xiàn)了從無(wú)到有的突破。通過(guò)打通云側(cè)大規(guī)模訓(xùn)練與端側(cè)自研SoC芯片部署路徑，摩爾線程率先為機(jī)器人仿真領(lǐng)域提供了可落地、可驗(yàn)證的全棧國(guó)產(chǎn)算力參考方案。該方案通過(guò)全鏈路并行加速與高效分布式擴(kuò)展，在足式機(jī)器人運(yùn)控訓(xùn)練任務(wù)中實(shí)現(xiàn)了相較CPU最高40倍的訓(xùn)練加速。

MuJoCo Warp MUSA：

為MuJoCo引入MUSA原生支持

MuJoCo（Multi-Joint dynamics with Contact）是由神經(jīng)科學(xué)家Emo Todorov開(kāi)發(fā)、現(xiàn)由DeepMind維護(hù)的高精度物理引擎。憑借對(duì)多關(guān)節(jié)機(jī)器人、摩擦、碰撞、肌肉與電機(jī)驅(qū)動(dòng)等復(fù)雜物理交互的穩(wěn)定模擬能力，MuJoCo已成為學(xué)術(shù)界與工業(yè)界廣泛使用的物理仿真平臺(tái)之一，OpenAI Gym、dm_control等標(biāo)準(zhǔn)模擬平臺(tái)均已集成MuJoCo作為物理仿真后端。

早期開(kāi)源的MuJoCo主要基于CPU運(yùn)行，在復(fù)雜接觸場(chǎng)景和海量強(qiáng)化學(xué)習(xí)樣本生成任務(wù)中，性能瓶頸較為明顯。為提升效率，MuJoCo團(tuán)隊(duì)與國(guó)際主流GPU廠商合作，基于Warp編程語(yǔ)言推出了GPU加速版本MuJoCo Warp。

此次，摩爾線程為MuJoCo Warp增加了對(duì)MUSA架構(gòu)的原生支持，使MuJoCo物理引擎能夠直接調(diào)用摩爾線程全功能GPU，加速機(jī)器人物理仿真與強(qiáng)化學(xué)習(xí)訓(xùn)練任務(wù)。

圖注：MuJoCo Warp MUSA機(jī)器人仿真訓(xùn)練的階段性過(guò)程Viser回放。

關(guān)鍵測(cè)試結(jié)果

*更多測(cè)試結(jié)果可參見(jiàn)摩爾線程開(kāi)發(fā)者公眾號(hào)

▼基礎(chǔ)單元測(cè)試：MuJoCo Warp MUSA與MuJoCo Warp CPU版本完成嚴(yán)格一致性對(duì)齊，單個(gè)仿真步長(zhǎng)計(jì)算結(jié)果的絕對(duì)誤差控制在 1e-5 以內(nèi)，并通過(guò) Viewer 可視化驗(yàn)證，對(duì)比結(jié)果如下：

視頻：Humanoid GPU-CPU 對(duì)比測(cè)試，配置參數(shù)如下。

nbody:17

solver:NEWTON

iterations:10

integrator:EULER

視頻：LeRobot GPU-CPU 對(duì)比測(cè)試，配置參數(shù)如下。

nbody:10

solver:NEWTON

iterations:10

integrator:EULER

▼四足機(jī)器狗訓(xùn)練：在宇樹(shù)Go2四足機(jī)器狗平地運(yùn)控任務(wù)中，MTT S5000單卡處理4096個(gè)仿真環(huán)境僅需7~8 秒，相較多核CPU的280~300秒，實(shí)現(xiàn)最高約40倍加速，單卡1小時(shí)完成收斂，大幅縮短了訓(xùn)練周期。

圖注：Go2機(jī)器狗平地環(huán)境運(yùn)控，關(guān)鍵訓(xùn)練配置參數(shù)如下。

num environment:4096

solver:newton with PCG 10 iterations

ccd_iterations:50

num_steps_per_env:24

decimation:4

▼兩足人形機(jī)器人訓(xùn)練：在宇樹(shù)G1人形機(jī)器人動(dòng)作跟蹤任務(wù)中，MTT S5000單卡約4.8天完成模仿學(xué)習(xí)收斂，驗(yàn)證了MuJoCo Warp MUSA在高難度人形機(jī)器人任務(wù)中的穩(wěn)定性。

圖注：G1人形機(jī)器人動(dòng)作跟蹤（Motion Tracking）訓(xùn)練實(shí)驗(yàn)。

▼分布式GPU加速測(cè)試：在數(shù)據(jù)并行策略下，MuJoCo Warp MUSA支持多卡近線性擴(kuò)展，8卡訓(xùn)練收斂加速達(dá)8倍以上，32卡最快約3.6小時(shí)完成訓(xùn)練。

圖注：G1人形機(jī)器人動(dòng)作跟蹤訓(xùn)練，MTT S5000單卡與8卡訓(xùn)練結(jié)果對(duì)比。

圖注：分布式加速性能。表中“時(shí)間”為單步仿真耗時(shí)，“倍數(shù)”為訓(xùn)練收斂加速比。如上表所示，采用數(shù)據(jù)并行（Data Parallelism）策略：每張GPU運(yùn)行4096個(gè)env環(huán)境，一共同時(shí)計(jì)算8×4096 = 32,768個(gè)env，進(jìn)行分布式并行仿真，收斂速度隨GPU數(shù)量增加接近線性提升，而單次迭代耗時(shí)基本不變。

▼Sim2Real真機(jī)驗(yàn)證：四足機(jī)器狗與兩足人形機(jī)器人均已完成真機(jī)驗(yàn)證，訓(xùn)練策略可穩(wěn)定遷移至真實(shí)機(jī)器人，展現(xiàn)出良好的動(dòng)作跟蹤精度、動(dòng)態(tài)平衡能力與現(xiàn)實(shí)部署可行性。

圖注：兩足人形機(jī)器人真機(jī)驗(yàn)證，高精度跟蹤舞蹈動(dòng)作軌跡。

從訓(xùn)練到部署：

自研SoC芯片協(xié)同，打通云邊端

MuJoCo Warp MUSA的意義不僅在于訓(xùn)練加速，更在于進(jìn)一步打通從仿真訓(xùn)練到真實(shí)部署的關(guān)鍵鏈路。

在真機(jī)部署階段，機(jī)器人本體采用摩爾線程自研的長(zhǎng)江SoC芯片作為端側(cè)控制核心。該芯片不僅可以滿足基礎(chǔ)運(yùn)控策略的實(shí)時(shí)執(zhí)行需求，也可支持語(yǔ)音 TTS、ASR、各類 CV 模型以及端側(cè)大模型部署。

通過(guò)“云側(cè)大規(guī)模訓(xùn)練加速 + 端側(cè)高效執(zhí)行部署”的協(xié)同，摩爾線程初步構(gòu)建起了從仿真訓(xùn)練到真機(jī)部署的完整閉環(huán)支持，也為具身智能終端提供了全棧的國(guó)產(chǎn)算力支撐。

圖注：正在進(jìn)行策略部署調(diào)試中的機(jī)器狗，端側(cè)控制采用摩爾線程長(zhǎng)江SoC芯片。

圖注：使用摩爾線程長(zhǎng)江SoC芯片對(duì)機(jī)器狗進(jìn)行端側(cè)控制的真機(jī)運(yùn)行效果。

開(kāi)源共建：

持續(xù)完善國(guó)產(chǎn)具身智能基礎(chǔ)設(shè)施

MuJoCo Warp MUSA 的開(kāi)源，是摩爾線程在機(jī)器人仿真方向邁出的關(guān)鍵一步，也為國(guó)產(chǎn)具身智能生態(tài)補(bǔ)上了重要的底層能力。

通過(guò)提供自主可控的物理仿真加速方案，摩爾線程希望為開(kāi)發(fā)者與科研機(jī)構(gòu)提供了更具可行性的國(guó)產(chǎn)技術(shù)底座，加速推動(dòng)機(jī)器人從虛擬訓(xùn)練走向真實(shí)應(yīng)用。

后續(xù)，摩爾線程將持續(xù)優(yōu)化MUSA軟件棧，并計(jì)劃將當(dāng)前成果進(jìn)一步整合重構(gòu)為通用的機(jī)器人仿真訓(xùn)練平臺(tái)Lambda Lab，面向具身智能開(kāi)發(fā)者持續(xù)推進(jìn)開(kāi)源共建。

MTT KUAE 開(kāi)放試用申請(qǐng)：

https://metapark.mthreads.com/kuaetry

MuJoCo Warp MUSA開(kāi)源地址：

https://github.com/MooreThreads/mujoco_warp_musa

*以上測(cè)試數(shù)據(jù)、視頻及圖片均來(lái)源于摩爾線程具身智能實(shí)驗(yàn)室。

關(guān)于摩爾線程

摩爾線程以全功能GPU為核心，致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國(guó)際競(jìng)爭(zhēng)力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。