引言

2025年6月，全球計(jì)算機(jī)視覺(jué)與人工智能領(lǐng)域的頂級(jí)盛會(huì)——CVPR（IEEE/CVF Conference on Computer Vision and Pattern Recognition）將重磅亮相，本屆會(huì)議聚焦“生成式人工智能時(shí)代的多智能體具身系統(tǒng)”，深入探討人工智能技術(shù)的前沿發(fā)展與應(yīng)用。作為CVPR協(xié)作智能workshop的核心賽事之一，RoboTwin雙臂協(xié)作競(jìng)賽備受學(xué)界關(guān)注。

RoboTwin雙臂協(xié)作挑戰(zhàn)賽專注于雙臂機(jī)器人操作領(lǐng)域，將基于RoboTwin平臺(tái)進(jìn)行剛體操作以及觸覺(jué)操作兩個(gè)賽道的賽題評(píng)測(cè)，旨在通過(guò)仿真和實(shí)戰(zhàn)任務(wù)推動(dòng)雙臂操作技術(shù)的前沿發(fā)展。本次競(jìng)賽由上海交通大學(xué)、香港大學(xué)、地瓜機(jī)器人多家單位聯(lián)合主辦，地瓜機(jī)器人承擔(dān)了本次賽事中的基礎(chǔ)設(shè)施建設(shè)工作，為參賽團(tuán)隊(duì)提供了穩(wěn)定、高效、并行多卡的仿真評(píng)測(cè)平臺(tái)，最多可支持超百支隊(duì)伍實(shí)時(shí)在線PK各家的具身操作模型。

亮點(diǎn)速覽

難度升級(jí)，聚焦真實(shí)場(chǎng)景

競(jìng)賽基于RoboTwin平臺(tái)，要求參賽者開(kāi)發(fā)雙臂機(jī)器人控制策略，完成復(fù)雜物體操作任務(wù)，如工具使用、物體交接、雙臂動(dòng)作協(xié)調(diào)等。任務(wù)數(shù)據(jù)融合了真實(shí)遙操作數(shù)據(jù)與數(shù)字孿生生成的合成數(shù)據(jù)，覆蓋多樣化場(chǎng)景，考驗(yàn)算法在模擬與真實(shí)環(huán)境間的泛化能力。

技術(shù)挑戰(zhàn)：需解決雙臂運(yùn)動(dòng)規(guī)劃中的動(dòng)力學(xué)干擾、多模態(tài)感知融合、任務(wù)序列優(yōu)化等難題。

獎(jiǎng)金豐厚，國(guó)際影響力加持

參與競(jìng)賽的團(tuán)隊(duì)不僅獲得豐厚獎(jiǎng)金，還將在CVPR Workshop現(xiàn)場(chǎng)展示成果，與全球頂尖學(xué)者、企業(yè)代表直接對(duì)話，提升技術(shù)影響力，優(yōu)秀團(tuán)隊(duì)還將有機(jī)會(huì)獲得張江集團(tuán)赴美參賽資助。

First Prize ($1500)

Second Prize ($1000)

Third Prize ($500)

突破限制，在線PK具身模型

本次競(jìng)賽的模擬賽環(huán)節(jié)突破了傳統(tǒng)仿真框架強(qiáng)依賴顯示器及實(shí)體機(jī)環(huán)境的限制，地瓜機(jī)器人云平臺(tái)為參賽團(tuán)隊(duì)提供了穩(wěn)定、高效、并行多卡的仿真評(píng)測(cè)平臺(tái)，最多可支持超百支隊(duì)伍實(shí)時(shí)在線PK各家的具身操作模型。本次競(jìng)賽的評(píng)測(cè)平臺(tái)在競(jìng)賽后也將長(zhǎng)期對(duì)外開(kāi)放，地瓜機(jī)器人作為業(yè)內(nèi)領(lǐng)先的軟硬件機(jī)器人通用底座提供商，甘愿做好底層賦能，助力改善算法效果驗(yàn)證碎片化的現(xiàn)狀，加速具身智能的技術(shù)迭代。

參賽攻略

比賽內(nèi)容

比賽采用RoboTwin仿真平臺(tái)和Cobot-Magic實(shí)體平臺(tái)，分為模擬賽和線下賽兩個(gè)階段，旨在解決模擬和現(xiàn)實(shí)世界環(huán)境中機(jī)器人操作的復(fù)雜性問(wèn)題。模擬賽階段的剛性物體操作項(xiàng)目著重于對(duì)剛性對(duì)象的精確操縱，要求參與者開(kāi)發(fā)算法，使機(jī)器人能夠以受控的方式掌握，移動(dòng)和與剛性對(duì)象進(jìn)行交互。觸覺(jué)對(duì)象操縱賽道由于團(tuán)隊(duì)數(shù)量過(guò)多和后勤限制已取消報(bào)名，作為本次競(jìng)賽的bonus項(xiàng)。

第一階段：模擬賽階段（2025年3月20日-4月30日）

• 5個(gè)剛性物體操作任務(wù)，1個(gè)觸覺(jué)操作任務(wù)（作為加分項(xiàng)）
• 任務(wù)包括：放置杯子、放置鞋子、堆疊碗碟、堆疊積木、投放瓶子等

第二階段：現(xiàn)實(shí)賽階段（2025年4月30日-6月11日）

• 僅模擬賽中排名前5的隊(duì)伍可進(jìn)入現(xiàn)實(shí)賽
• 現(xiàn)實(shí)賽任務(wù)將基于模擬賽任務(wù)設(shè)計(jì)，但在真實(shí)環(huán)境中進(jìn)行

評(píng)分細(xì)則

1）模擬賽評(píng)分（總計(jì)100分）

• 放置杯子任務(wù)（10分）：將杯子準(zhǔn)確放置在杯墊上
• 放置鞋子任務(wù)（20分）：第一只鞋子成功放置得6分，第二只鞋子成功放置額外得14分
• 堆疊碗碟任務(wù)（20分）：堆疊兩個(gè)碗得6分，堆疊第三個(gè)碗額外得14分
• 堆疊積木任務(wù)（25分）：堆疊兩個(gè)積木得10分，堆疊第三個(gè)積木額外得15分
• 投放瓶子任務(wù)（25分）：
• 成功投放全部三個(gè)瓶子得25分
• 成功投放兩個(gè)瓶子得12.5分
• 成功投放一個(gè)瓶子得5分
• 觸覺(jué)分類任務(wù)（5分額外加分）：成功區(qū)分矩形體和25面棱柱

2）模擬賽評(píng)估方法

• 使用地瓜機(jī)器人云平臺(tái)自動(dòng)進(jìn)行評(píng)估
• 每個(gè)任務(wù)進(jìn)行100次測(cè)試（觸覺(jué)任務(wù)10次），取平均分?jǐn)?shù)
• 實(shí)時(shí)更新排行榜，參賽團(tuán)隊(duì)可隨時(shí)查看排名

3）現(xiàn)實(shí)賽評(píng)分

• 與模擬賽基本一致，但在真實(shí)環(huán)境中執(zhí)行
• 額外考慮以下因素：
• 系統(tǒng)穩(wěn)定性（10分）：在不同光照和物體位置變化下的表現(xiàn)
• 操作精度（10分）：機(jī)器人抓取和放置的精確度
• 執(zhí)行效率（10分）：完成任務(wù)所需的時(shí)間
• 系統(tǒng)魯棒性（10分）：應(yīng)對(duì)干擾和不確定性的能力
• 代碼質(zhì)量（10分）：代碼結(jié)構(gòu)、可讀性和可擴(kuò)展性

4）評(píng)分標(biāo)準(zhǔn)細(xì)則

• 成功標(biāo)準(zhǔn)：
• 放置任務(wù)：物體穩(wěn)定放置在目標(biāo)區(qū)域中心5cm范圍內(nèi)
• 堆疊任務(wù)：上層物體與下層物體接觸面積≥60%且保持穩(wěn)定10秒
• 投放任務(wù)：物體完全落入目標(biāo)容器內(nèi)部
• 時(shí)間限制：
• 每個(gè)任務(wù)有固定時(shí)間限制（90-120秒不等）
• 在時(shí)間限制內(nèi)完成任務(wù)的程度決定得分
• 失敗條件：
• 物體掉落或損壞
• 機(jī)器人與環(huán)境發(fā)生不安全碰撞
• 超出任務(wù)時(shí)間限制

5）代碼要求

• 必須為端到端策略：從感知到?jīng)Q策到執(zhí)行
• 不允許使用預(yù)設(shè)的硬編碼動(dòng)作序列
• 所有代碼將被組織者審查，確保符合比賽規(guī)則
• 參賽團(tuán)隊(duì)需提交可重現(xiàn)的訓(xùn)練和評(píng)估代碼
• 系統(tǒng)應(yīng)能適應(yīng)初始位置和物體擺放的隨機(jī)變化

6）綜合評(píng)分計(jì)算

• 模擬賽總分 = 五項(xiàng)任務(wù)得分總和（100分）+ 觸覺(jué)任務(wù)加分（5分）
• 現(xiàn)實(shí)賽總分 = 任務(wù)完成度（100分）+ 系統(tǒng)性能評(píng)估（50分）
• 最終排名依據(jù)現(xiàn)實(shí)賽總分確定，模擬賽成績(jī)將作為參考

比賽日程

比賽階段

時(shí)間

報(bào)名開(kāi)始

2025.3.20-2025.04.16

仿真平臺(tái)賽第一輪

2025.03.20-2025.04.30

晉級(jí)隊(duì)伍公布

2025.04.30

仿真平臺(tái)第二輪/現(xiàn)實(shí)賽開(kāi)始

2025.04.30

真機(jī)評(píng)測(cè)賽代碼提交截止

2025.06.03

仿真平臺(tái)第二輪結(jié)束

2025.06.11

真機(jī)評(píng)測(cè)比賽

2025.06.11-2025.06.15