一、前言

我是一名京東具身智能算法團(tuán)隊(duì)的研究人員，目前，主要專注在真實(shí)場景真實(shí)機(jī)器人下打造一套快速落地新場景的具身智能技術(shù)架構(gòu)，聚集機(jī)器人操作泛化能力提升，涉及模仿/強(qiáng)化學(xué)習(xí)、“視覺-語言-動(dòng)作”大模型等方法研究。本文主要以第一階段咖啡機(jī)器人任務(wù)場景為切入點(diǎn)，來闡述所取得的技術(shù)突破，以及后續(xù)技術(shù)優(yōu)化方向。如下是機(jī)器人全程自主完成打咖啡的視頻。

二、問題定義和路徑選擇

具身智能，指的是配備實(shí)體身軀、支持物理交互的智能體所展現(xiàn)出的智能形態(tài)。憑借這一智能形式，機(jī)器人及其他智能設(shè)備得以在復(fù)雜多變的現(xiàn)實(shí)世界中執(zhí)行各類任務(wù)。然而，鑒于任務(wù)的復(fù)雜性以及操作所呈現(xiàn)出的高難度與多樣性，具身智能技術(shù)遭遇諸多挑戰(zhàn)，當(dāng)前仍處于持續(xù)發(fā)展階段?，F(xiàn)階段，多數(shù)具身智能研究僅在實(shí)驗(yàn)室或結(jié)構(gòu)化場景中開展，很難將成果遷移至真實(shí)場景加以應(yīng)用。究其根源，理想環(huán)境屏蔽了諸多在真實(shí)場景中才會(huì)暴露的問題。有鑒于此，我將研究重心聚焦于真實(shí)場景下的具身智能技術(shù)突破，同時(shí)，為推動(dòng)具身智能技術(shù)廣泛賦能多元業(yè)務(wù)，著力打造一套能夠快速適配新場景的具身智能技術(shù)架構(gòu)。

目前，具身操作是具身智能核心技術(shù)卡點(diǎn)，其技術(shù)路線粗分為預(yù)測機(jī)器人操作動(dòng)作與預(yù)測物體抓取位姿。前者泛化性弱且依賴大量專家數(shù)據(jù)，后者難適用于復(fù)雜長序列任務(wù)，靈巧手位姿也難獲取。鑒于此，創(chuàng)建了技術(shù)上乘上啟下“末端模仿” 新路徑，融合兩者優(yōu)勢，包括預(yù)測預(yù)抓取位姿（易實(shí)現(xiàn)、泛化性強(qiáng)）與統(tǒng)一操作軌跡學(xué)習(xí)（減少專家數(shù)據(jù)依賴、操作靈巧），且該路徑可靈活擴(kuò)展為 “視覺 - 語言 - 動(dòng)作” 大模型方法。

三、快速落地新場景技術(shù)架構(gòu)打造

在當(dāng)今快速變化的技術(shù)環(huán)境中，集團(tuán)會(huì)面臨著不斷適應(yīng)新業(yè)務(wù)場景的挑戰(zhàn)。只能適應(yīng)單一場景的具身智能技術(shù)不具備長期價(jià)值，而能夠快速落地新場景的具身智能技術(shù)則至關(guān)重要。因此，針對(duì)于真實(shí)場景下機(jī)器人打咖啡任務(wù)，打造了一套快速落地新場景的技術(shù)架構(gòu)原型，并取得了關(guān)鍵技術(shù)突破。

1、關(guān)鍵技術(shù)突破及價(jià)值

1）真實(shí)場景下從0到1打造具身智能系統(tǒng)技術(shù)架構(gòu)

面臨挑戰(zhàn)：具身智能系統(tǒng)往往涉及內(nèi)容模塊較多，耦合關(guān)系較為復(fù)雜，可擴(kuò)展性較差，難以快速適應(yīng)新任務(wù)場景。與此同時(shí)，真實(shí)場景下，往往面臨著通信時(shí)延、模型推理速度和系統(tǒng)穩(wěn)定性等挑戰(zhàn)。

技術(shù)突破：如下圖所示，打造了一套具備高擴(kuò)展性的具身智能系統(tǒng)技術(shù)架構(gòu)，只需定義合適的子任務(wù)序列就可落地新場景。其中，該系統(tǒng)以ROS系統(tǒng)為基礎(chǔ)構(gòu)建，整個(gè)流程通過主調(diào)度模塊進(jìn)行協(xié)調(diào)，確保各模塊之間的協(xié)同工作，通過不同控制模式?jīng)Q定系統(tǒng)不同階段的工作方式，包括導(dǎo)航、感知、基于Agent的任務(wù)規(guī)劃、遙操、具身操作等。此外，設(shè)計(jì)了模型異步推理、GRPC協(xié)議數(shù)據(jù)傳輸和子母路由通信等機(jī)制來攻克通信時(shí)延、推理速度慢等問題。

核心價(jià)值：在真實(shí)場景下，從0到1打造了整套具身智能系統(tǒng)技術(shù)架構(gòu)，并且成功落地咖啡機(jī)器人任務(wù)場景中，而不是在簡單的實(shí)驗(yàn)室或者結(jié)構(gòu)化場景下。與此同時(shí)，為后續(xù)真實(shí)場景下具身智能技術(shù)的研發(fā)提供了堅(jiān)實(shí)的基礎(chǔ)。

2）面向雙臂靈巧手構(gòu)建高頻率一體式遙操技術(shù)

面臨挑戰(zhàn)：目前，大多數(shù)遙操采用了同構(gòu)方式。這種方式需要額外配置相應(yīng)的機(jī)械臂，并且不同結(jié)構(gòu)機(jī)器人是無法共享，可擴(kuò)展性及便捷性低。其次，雙臂和靈巧手的一體式遙操技術(shù)對(duì)其同步性及延遲率要求高，實(shí)現(xiàn)難度大。

技術(shù)突破：如以下視頻所示，構(gòu)建了面向雙臂靈巧手的一體式高頻率遙操技術(shù)。通過結(jié)合慣性動(dòng)捕和視覺動(dòng)捕技術(shù)，對(duì)遙操設(shè)備進(jìn)行了創(chuàng)新設(shè)計(jì)，使機(jī)器人能夠精準(zhǔn)復(fù)刻人類動(dòng)作。同時(shí)，借助手和臂數(shù)據(jù)透傳技術(shù)，優(yōu)化了從動(dòng)作捕捉到控制執(zhí)行的高頻率跟隨鏈路，極大提升了系統(tǒng)響應(yīng)速度與操作精度。

核心價(jià)值：相比于行業(yè)其他遙操技術(shù)，該技術(shù)具備輕量化、價(jià)格低廉和擴(kuò)展性強(qiáng)特點(diǎn)。此外，通過該遙操技術(shù)，雙臂靈巧手的整體控制頻率達(dá)50hz以上，并且系統(tǒng)延時(shí)在50ms以內(nèi)。

3）少量數(shù)據(jù)下實(shí)現(xiàn)物體位置的泛化操作

面臨挑戰(zhàn)：具身操作的泛化性一直是一個(gè)挑戰(zhàn)性問題。目前，大多數(shù)方法都依賴于大量數(shù)據(jù)使其涌現(xiàn)出泛化性能。然而，大量的示教數(shù)據(jù)需要消耗大量人力物力。訓(xùn)練模型也需較多計(jì)算資源的支撐，且效果也難以達(dá)到較佳的泛化性能。

技術(shù)突破：如下圖所示，提出了基于末端模仿的泛化操作方法，聚集于統(tǒng)一的操作軌跡學(xué)習(xí)，能在較少的數(shù)據(jù)下實(shí)現(xiàn)較強(qiáng)的位置泛化能力，涉及核心模塊包括：操作物體感知與位姿估計(jì)、預(yù)操作位姿到達(dá)和聚集物體的策略學(xué)習(xí)。此外，設(shè)計(jì)了聚集于物體的視覺特征提取模塊，增強(qiáng)對(duì)核心操作區(qū)域的感知。

核心價(jià)值：相比與行業(yè)已有方法，首次提出聚集于核心操作軌跡的學(xué)習(xí)方法，能在較少數(shù)據(jù)量情況下實(shí)現(xiàn)物體位置的泛化操作，在打咖啡任務(wù)中，成功率達(dá)90%以上。此外，在大量抓取任務(wù)中（拿掃碼槍、抓娃娃、搬箱子等等），該方法表現(xiàn)出的性能相比于baseline成功率提升了50%以上。

2、咖啡機(jī)器人任務(wù)場景實(shí)踐

基于所打造的具身智能技術(shù)架構(gòu)，首先落地了咖啡機(jī)器人任務(wù)場景。機(jī)器人打咖啡任務(wù)主要包含以下幾個(gè)步驟：導(dǎo)航到咖啡機(jī)、拿起空杯子、放好杯子、點(diǎn)擊屏幕（選擇咖啡、確認(rèn)按鈕和已放好按鈕）、拿起咖啡杯、導(dǎo)航到用戶位置、將咖啡杯遞給人。打咖啡任務(wù)是一個(gè)真實(shí)場景下的長序列任務(wù)，包含多個(gè)子任務(wù)。子任務(wù)都是按序列銜接好的，完成當(dāng)前子任務(wù)才會(huì)執(zhí)行下一個(gè)子任務(wù)。與此同時(shí)，設(shè)計(jì)了子任務(wù)是否成功完成的檢測機(jī)制，提升整個(gè)系統(tǒng)的魯棒性，比如：點(diǎn)擊屏幕過程中，如果沒有點(diǎn)擊觸發(fā)，會(huì)反復(fù)點(diǎn)擊直到成功。即便面對(duì)打咖啡這樣復(fù)雜的場景，憑借該具身智能技術(shù)架構(gòu)打造的系統(tǒng)，仍能以極高的成功率完成任務(wù)。以下是機(jī)器人打咖啡的精彩瞬間。

拿空杯子	放杯子	選咖啡
點(diǎn)擊按鈕	拿咖啡杯	遞送給人

在咖啡機(jī)器人任務(wù)場景實(shí)踐中，遇到諸多新問題。起初為機(jī)器人在胸部和頭部各配備 RealSense D435 相機(jī)，卻發(fā)現(xiàn)胸部相機(jī)易被機(jī)械臂遮擋，且兩款相機(jī) FOV 過小，常無法捕捉操作物體和靈巧手，而這類問題在實(shí)驗(yàn)室桌面操作場景中難以察覺。于是，將頭部相機(jī)換成 FOV 更大的 ZED 相機(jī)，可新相機(jī)又導(dǎo)致模型視覺特征不聚集，遂通過聚焦手部局部視角解決。點(diǎn)擊屏幕時(shí)，按鈕需快速抽離動(dòng)作才能觸發(fā)，給靈巧手控制帶來極大困難。為此設(shè)計(jì)檢測機(jī)制，讓靈巧手能反復(fù)嘗試，有效提升了點(diǎn)擊成功率。

四、下一步技術(shù)優(yōu)化及進(jìn)展

后續(xù)，將進(jìn)一步完善和優(yōu)化整個(gè)具身智能系統(tǒng)架構(gòu)，使其能快速落地新場景。核心聚集于具身操作方向，提升機(jī)器人的泛化操作能力，擴(kuò)充其技能庫的上限。結(jié)合具身技術(shù)發(fā)展趨勢以及現(xiàn)有架構(gòu)的不足，主要圍繞以下兩個(gè)方面開展工作。

“視覺-語言-動(dòng)作”大模型促進(jìn)快速落地新場景：“視覺-語言-動(dòng)作”大模型會(huì)利用“視覺-語言”預(yù)訓(xùn)練模型知識(shí)來促進(jìn)對(duì)機(jī)器人動(dòng)作的學(xué)習(xí)。在大量的數(shù)據(jù)訓(xùn)練基礎(chǔ)上，“視覺-語言-動(dòng)作”大模型將會(huì)涌現(xiàn)出令人意想不到的能力：基于語言指令的新技能泛化、新物體泛化、甚至多機(jī)協(xié)作能力。這些潛能在Figure AI公司最新發(fā)布的Helix模型實(shí)驗(yàn)結(jié)果中已展現(xiàn)出來。

真機(jī)強(qiáng)化學(xué)習(xí)優(yōu)化整個(gè)具身智能系統(tǒng)：在目前的具身操作技術(shù)中，大多數(shù)采用了模仿學(xué)習(xí)方法。然而，模仿學(xué)習(xí)存在其局限性，較為依賴于專家數(shù)據(jù)，并且存在性能上限。強(qiáng)化學(xué)習(xí)方法則能使機(jī)器人探索更多數(shù)據(jù)，突破其性能上限，對(duì)專家數(shù)據(jù)依賴程度較低。另外，真機(jī)強(qiáng)化學(xué)習(xí)是基于機(jī)器人實(shí)時(shí)與環(huán)境交互所得數(shù)據(jù)來優(yōu)化模型，這種優(yōu)化不僅僅是提升模型性能，而且能夠?qū)?strong>整個(gè)具身系統(tǒng)進(jìn)行優(yōu)化。

五、我對(duì)具身智能的思考和堅(jiān)持

在具身智能技術(shù)的實(shí)際落地進(jìn)程中，真實(shí)場景的復(fù)雜程度往往遠(yuǎn)遠(yuǎn)超出了在實(shí)驗(yàn)室或結(jié)構(gòu)化場景中預(yù)先設(shè)定的界限。在真實(shí)任務(wù)場景中進(jìn)行技術(shù)探索，不但有助于我們對(duì)算法的實(shí)際性能進(jìn)行驗(yàn)證和優(yōu)化，還能夠發(fā)掘出在實(shí)驗(yàn)室或結(jié)構(gòu)化場景中未曾預(yù)想到的問題與挑戰(zhàn)。通過在真實(shí)場景中對(duì)技術(shù)進(jìn)行測試和應(yīng)用，我們能夠獲取更為豐富的數(shù)據(jù)和反饋，進(jìn)而推動(dòng)技術(shù)不斷迭代和創(chuàng)新。

隨著 Figure AI 公司發(fā)布的 Helix 模型并在物流倉庫中的成功應(yīng)用，這使我愈發(fā)堅(jiān)信具身智能的時(shí)代已然降臨。對(duì)其實(shí)現(xiàn)的技術(shù)邏輯進(jìn)行剖析：重點(diǎn)圍繞一個(gè)機(jī)器人本體，在一個(gè)特定的垂類領(lǐng)域中積累充足的數(shù)據(jù)量，在 “視覺 - 語言 - 動(dòng)作” 大模型的有力支持下，機(jī)器人能夠?qū)W會(huì)多種類人的技能，并且具有較強(qiáng)的泛化性能。其能夠出圈的核心在于圍繞一本體在真實(shí)場景下打磨技術(shù)。我認(rèn)為這是實(shí)現(xiàn)快速落地的較佳方案，值得借鑒。此外，當(dāng)前技術(shù)都圍繞提升機(jī)器人任務(wù)成功率開展，若要真正將其在新場景中落地，還必須考慮機(jī)器人完成任務(wù)的效率問題。

展望未來，機(jī)器人會(huì)逐步融入人類社會(huì)。我們須傾熱血與干勁，全力投身具身智能技術(shù)攻堅(jiān)，力求讓技術(shù)快速落地新場景，為企業(yè)技術(shù)增長添磚加瓦。

審核編輯 黃宇