作者：蘭灃卜，趙文博，朱凱，張濤 來源：基于具身智能的移動操作機器人系統(tǒng)發(fā)展研究[J].中國工程科學(xué),2024,26(1):139-148. ?

具身智能是新一輪科技革命與產(chǎn)業(yè)變革中的戰(zhàn)略性技術(shù)，是當(dāng)前世界各國重點競爭的前沿高地之一；移動操作機器人系統(tǒng)因其優(yōu)秀的運動、規(guī)劃、執(zhí)行能力成為具身技術(shù)首選的硬件載體；基于具身智能的移動操作機器人系統(tǒng)作為實現(xiàn)跨領(lǐng)域、多場景、多功能的自主具身智能平臺，將成為引領(lǐng)未來新一代信息技術(shù)和人工智能發(fā)展的關(guān)鍵。

中國工程院院刊《中國工程科學(xué)》2024年第1期刊發(fā)清華大學(xué)張濤教授研究團隊的《基于具身智能的移動操作機器人系統(tǒng)發(fā)展研究》一文。文章從基于具身智能的移動操作機器人系統(tǒng)發(fā)展的需求出發(fā)，總結(jié)基于具身智能的移動操作機器人系統(tǒng)的發(fā)展現(xiàn)狀，分析該領(lǐng)域發(fā)展面臨的問題和挑戰(zhàn)，提出共性關(guān)鍵技術(shù)和對策建議，以期助力具身智能發(fā)展浪潮下我國移動操作機器人領(lǐng)域的長足發(fā)展。

一、前言

人工智能（AI）是引領(lǐng)新一輪科技革命與產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)之一，對助力我國現(xiàn)代化產(chǎn)業(yè)體系建設(shè)、推動戰(zhàn)略性新興產(chǎn)業(yè)融合集群發(fā)展、賦能各行各業(yè)發(fā)展具有重要意義。隨著通用AI技術(shù)的加速突破，技術(shù)基礎(chǔ)扎實且可多場景適用的移動操作機器人作為具身智能的優(yōu)質(zhì)載體，在全球科技界與產(chǎn)業(yè)界掀起了新一輪的研究浪潮，成為新一輪科技革命中的前沿技術(shù)高地之一。

基于具身智能的移動操作機器人系統(tǒng)（簡稱“具身智能移動操作機器人”）旨在構(gòu)建具備自主環(huán)境感知、充分理解認(rèn)知、流暢人機交互、可靠智能決策與自然運動操作規(guī)劃的機器人系統(tǒng)，依托跨領(lǐng)域、多場景、多功能的自主具身智能平臺，為傳統(tǒng)移動操作機器人升級賦能，引領(lǐng)未來移動操作機器人的行業(yè)發(fā)展。在具備可感知、理解與決策的類腦結(jié)構(gòu)后，移動操作機器人能夠自主理解并完成人類下達的高級指令，實現(xiàn)真正的通用智能。

與傳統(tǒng)移動機器人相比，具身智能移動操作機器人能夠完成一些通常需要人類智慧才能完成的復(fù)雜工作，隨著其技術(shù)不斷發(fā)展與成熟，必將給人類社會帶來革命性的變革。具身智能移動操作機器人在服務(wù)、餐飲、醫(yī)療、智能家居、無人配送等民用領(lǐng)域，智能工廠、智能制造等工業(yè)領(lǐng)域以及單兵作戰(zhàn)等軍事領(lǐng)域，都擁有廣闊的應(yīng)用前景。目前，國內(nèi)外對于具身智能移動操作機器人的研發(fā)大多仍處于實驗室測試階段，針對特定場景、特定任務(wù)的具身智能移動操作機器人雖然有了較大的發(fā)展，但整體技術(shù)并不成熟，尚未實現(xiàn)產(chǎn)業(yè)化與商品化。學(xué)術(shù)界對于移動操作機器人的研究主要圍繞環(huán)境感知、運動控制、路徑規(guī)劃、車臂協(xié)同等方面展開，對具身智能技術(shù)和移動操作機器人技術(shù)的研究處于平行發(fā)展階段。文章從具身智能移動操作機器人發(fā)展的需求出發(fā)，厘清具身智能移動操作機器人的發(fā)展現(xiàn)狀，分析面臨的挑戰(zhàn)，總結(jié)相關(guān)關(guān)鍵技術(shù)，并提出發(fā)展建議，以期為具身智能移動操作機器人研究提供參考。

二、基于具身智能的移動操作機器人系統(tǒng)發(fā)展現(xiàn)狀

移動操作機器人泛指具備移動與抓取操作能力的機器人，基本結(jié)構(gòu)由移動基座、機械臂、操作末端共同組成，進而發(fā)展出類人結(jié)構(gòu)。移動操作機器人擁有形態(tài)優(yōu)勢和移動操作能力，是最接近人類形態(tài)的機器人構(gòu)型，是具身智能最理想的硬件載體。移動操作機器人技術(shù)發(fā)展歷史悠久，經(jīng)過長足發(fā)展，已形成相對成熟的技術(shù)體系。具身智能作為通用AI技術(shù)的重要實現(xiàn)手段，近年來正在不斷取得全新突破，具身智能移動操作機器人呈現(xiàn)出廣闊的應(yīng)用前景。

（一）移動操作機器人

移動操作機器人需要在未知環(huán)境中完成感知、導(dǎo)航與控制等任務(wù)，主要由移動底盤、機械臂和操作末端三部分組成，核心技術(shù)包括感知、導(dǎo)航與控制技術(shù)，靈巧操作控制技術(shù)等。移動操作機器人技術(shù)的發(fā)展使機器人能夠更精確、快速、穩(wěn)定地利用多模態(tài)數(shù)據(jù)來感知周圍環(huán)境，進行更高效的運動控制和路徑規(guī)劃。隨著深度學(xué)習(xí)技術(shù)的發(fā)展和應(yīng)用，基于深度學(xué)習(xí)和強化學(xué)習(xí)的機器人控制技術(shù)、多模態(tài)感知技術(shù)將得到進一步發(fā)展，推動移動操作機器人的感知、規(guī)劃、控制能力進一步提升。

移動操作機器人在感知、導(dǎo)航與控制技術(shù)方面的發(fā)展現(xiàn)狀如下。① 在感知技術(shù)層面，移動操作機器人依靠傳感器來感知外部的物理世界，通過裝配相機、雷達、超聲波、紅外等感知傳感器以及慣性測量單元、編碼器等傳感器來確定自身位置姿態(tài)和運動狀態(tài)。通過多傳感器融合技術(shù)，移動機器人可以利用多源感知數(shù)據(jù)來提高自身感知的精度和魯棒性，實現(xiàn)對環(huán)境的高精度實時感知。此外，感知層還需要完成對未知環(huán)境的建圖任務(wù)。定位與建圖技術(shù)用于解決移動機器人在真實物理世界中的環(huán)境重建和自身定位問題，是移動機器人的關(guān)鍵技術(shù)之一。目前，定位與建圖技術(shù)研究通常采用激光測距儀、計算機視覺兩類方法：前者構(gòu)建的點云地圖精度較高，算法相對簡單，在光照不足、明暗變化大的環(huán)境下魯棒性強，但是難以展現(xiàn)較好的環(huán)境細(xì)節(jié)信息；后者得到的視覺圖像包含更加豐富的環(huán)境特征信息，使機器人能夠在更大范圍內(nèi)完成任務(wù)，但是算法設(shè)計復(fù)雜，對光照等條件要求比較苛刻。② 在導(dǎo)航技術(shù)層面，移動操作機器人根據(jù)目標(biāo)點和感知地圖，實時生成離散航路點序列或連續(xù)期望軌跡的算法。移動操作機器人導(dǎo)航技術(shù)主要包括全局路徑規(guī)劃、局部避碰與避障等技術(shù)。移動操作機器人導(dǎo)航任務(wù)主要包括以地圖的形式生成世界模型，計算從起始位置到目標(biāo)位置的無碰撞軌跡，沿著計算的軌跡移動，避免與障礙物碰撞。③ 在控制技術(shù)層面，移動操作機器人不僅需要具備移動機器人的感知、定位與導(dǎo)航運動能力，還需要具備精確控制移動機器人抵達預(yù)期航路點的能力。目前，機器人控制技術(shù)相對成熟，通過對機器人建立運動學(xué)和動力學(xué)模型，采用基于全局線性化的控制、基于近似線性化的控制、基于李雅普諾夫理論的控制等方法，實現(xiàn)較為穩(wěn)定的控制。經(jīng)典的機器人控制策略有計算力矩控制、魯棒控制、滑?？刂啤⒆赃m應(yīng)控制、神經(jīng)網(wǎng)絡(luò)控制、模糊邏輯控制、自抗擾控制與柔性控制。

在靈巧操作控制技術(shù)方面，傳統(tǒng)機器人的操作末端通常為夾爪或夾手，缺乏機動性與靈巧性；移動操作機器人將具備更加靈巧通用的操作末端，如類手結(jié)構(gòu)、柔順捕獲結(jié)構(gòu)等，以提升末端抓取的通用性，擁有任意物體抓取、工具使用、柔性物體操作等高級技能，進而可以在工業(yè)環(huán)境中完成裝配、焊接、搬運等任務(wù)以及在家庭場景中完成廚具使用、家庭清潔等工作。除此之外，計算機視覺技術(shù)可以幫助移動操作機器人與周圍環(huán)境進行互動，增強其智能化和自主性，使其像人一樣感知、理解和響應(yīng)環(huán)境，對提升機器人視覺跟蹤、物體識別、移動抓取、人機交互等能力都有重要意義。機械臂控制技術(shù)和靈巧操作技術(shù)助力移動操作機器人完成高精度、高性能的復(fù)雜任務(wù)。移動操作機器人可以通過相機等視覺傳感器、壓敏陣列等觸覺提升智能操作、靈巧操作和交互操作能力。受限于硬件資源與工作場景，移動操作機器人主要通過圖像數(shù)據(jù)強化其操作能力，利用計算機視覺技術(shù)輸入相機等傳感器的圖像像素并轉(zhuǎn)換為環(huán)境中物體的類別、位置、姿態(tài)、速度以及人類的面部表情、手勢等具體信息，運用計算機算法和機器學(xué)習(xí)算法對數(shù)字圖像進行分析、處理、識別和理解，進而實現(xiàn)智能化應(yīng)用。

得益于其感知、移動、抓取和靈巧操作等能力的提升，移動操作機器人在民用和軍用等領(lǐng)域均擁有廣闊的應(yīng)用前景和應(yīng)用價值。① 在民用領(lǐng)域，移動操作機器人在智慧醫(yī)療、智能工廠、交通物流、實驗室助手、家居服務(wù)、餐飲服務(wù)、住宿服務(wù)等行業(yè)涌現(xiàn)出多種落地產(chǎn)品，為智慧社會構(gòu)建提供了強大推力。在醫(yī)療方面，移動操作機器人可以完成藥品和工具遞送、病人看護、輔助診療等任務(wù)。在制造業(yè)中，移動操作機器人可以實現(xiàn)傳統(tǒng)機械臂無法實現(xiàn)的功能，提升工業(yè)生產(chǎn)的自主化水平。在實驗室助手方面，移動操作機器人可以幫助實驗人員開展化學(xué)實驗工作，如中國科學(xué)技術(shù)大學(xué)集成移動機器人、化學(xué)工作站、智能操作系統(tǒng)、科學(xué)數(shù)據(jù)庫，研制出數(shù)據(jù)智能驅(qū)動的全流程機器“化學(xué)家”。在家居服務(wù)方面，移動操作機器人可以完成物品遞送、開門關(guān)門、垃圾清理等便捷居民生活的任務(wù)。在餐飲和住宿服務(wù)方面，智能移動機器人可以輔助完成上餐、餐具回收、物品遞送等任務(wù)。② 在軍用領(lǐng)域，移動操作機器人可以輔助作戰(zhàn)部隊開展偵察、跨越險阻、彈藥運輸、后勤保障等任務(wù)，提高作戰(zhàn)效率和豐富作戰(zhàn)手段。具備一定或較高智能的移動操作機器人的廣泛應(yīng)用，為具身智能移動操作機器人產(chǎn)業(yè)化提供了需求與應(yīng)用場景。

（二）具身智能移動操作機器人

具身智能概念在1950年首次被提出，指能夠與環(huán)境交互感知，具備自主規(guī)劃、決策、行動、執(zhí)行能力的機器人或虛擬環(huán)境中的仿真人，是AI的終級形態(tài)。具身智能具備自主感知、認(rèn)知、理解、推理、行動等類人或高于人類的能力，具備由“大腦”“小腦”“腦干”組成的完整人腦結(jié)構(gòu)以及可實現(xiàn)行動的機器身體，如圖1所示。其中，“大腦”部分負(fù)責(zé)對場景進行認(rèn)知、理解、推斷、分析，“小腦”部分開展柔性控制、協(xié)同控制、交互控制、靈巧操作等技能學(xué)習(xí)，“腦干”部分則承擔(dān)能源調(diào)配、環(huán)境感知、信號分析與計算等工作。隨著時代的發(fā)展和科技的進步，具身智能的概念被不斷迭代和更新，尚未形成定論，但通識的理解是具有身體的智能技術(shù)，即為智能技術(shù)賦予行動能力。具身智能的實現(xiàn)依賴于AI領(lǐng)域的計算機視覺技術(shù)、多模態(tài)感知融合技術(shù)、自然語言處理技術(shù)、因果推斷技術(shù)、移動導(dǎo)航與規(guī)劃技術(shù)等。區(qū)別于離線智能，具身智能要求機器人具備高度自主化且可進行感知、理解與決策的“腦”，具有穩(wěn)定、安全、運動自然的機器人“身體”。此外，機器人還要具備在執(zhí)行人類高級指令及與環(huán)境交互過程中進行在線學(xué)習(xí)、更新“腦”和“身體”的能力。

圖1　具身智能的內(nèi)涵及其應(yīng)用場景

2022年，OpenAI公司研發(fā)的大語言模型ChatGPT被視為通用AI技術(shù)領(lǐng)域取得的重要突破，進而使得具身智能被重新提起。大規(guī)模網(wǎng)絡(luò)模型基于海量優(yōu)質(zhì)數(shù)據(jù)訓(xùn)練后，在個性化應(yīng)答、機器翻譯、語言理解、圖像理解等方面的性能獲得顯著提升，應(yīng)用價值大幅提高。以大模型為內(nèi)核，移動操作機器人可以具備思考、理解、認(rèn)知的能力。目前，全球已出現(xiàn)多個成功商品化的大模型，國內(nèi)包括百度公司研發(fā)的文心一言、阿里巴巴公司研發(fā)的通義千問等；國外包括OpenAI公司最新研發(fā)的GPT-4和圖像生成大模型DALL.E 3、谷歌公司研發(fā)的Gemini、微軟公司研發(fā)的數(shù)學(xué)推理大模型WizardMath、谷歌與柏林工業(yè)大學(xué)共同推出的視覺語言模型PaLM-E等。這些大模型在常識推理、代碼完善、知識遷移等領(lǐng)域展現(xiàn)出較強的應(yīng)用能力。在語言識別與理解方面，基于大模型的聊天機器人可以和人自由交流，完成資料檢索、總結(jié)歸納、日程安排、出行規(guī)劃、行為規(guī)劃等任務(wù)，具備強大的文本認(rèn)知與理解能力；針對圖像信息，大模型可以準(zhǔn)確識別其中包含的各類物品，實現(xiàn)像素級細(xì)粒度分割，并具備初步的空間識別能力；在點云信息處理方面，大模型能夠準(zhǔn)確分割空間中的點云區(qū)域，根據(jù)點云實現(xiàn)零訓(xùn)練的分類任務(wù)；在數(shù)學(xué)推理、代碼生成方面，部分專用大模型已經(jīng)可以完成定理證明、數(shù)學(xué)推導(dǎo)與計算，并可以自主編程實現(xiàn)相應(yīng)任務(wù)。目前，部分綜合大模型已經(jīng)具備較強的文本、圖像、點云的信息關(guān)聯(lián)能力，能夠根據(jù)文本信息準(zhǔn)確地識別、分割或生成所需的圖像、點云模型，并且支持將真實世界的連續(xù)傳感器模態(tài)直接結(jié)合到語言模型中，從而建立單詞文本和感知之間的聯(lián)系。在近期的研究中，綜合大模型已經(jīng)可以對人類高級命令生成分步指令。例如，由人類給出整理房間的指令，大模型可以根據(jù)當(dāng)前的圖片信息判斷各類物品應(yīng)擺放于何處，進而生成分布執(zhí)行指令完成該任務(wù)。

與傳統(tǒng)移動操作機器人相比，具身智能移動操作機器人最大的進步在于其具備智慧大腦，能夠?qū)崿F(xiàn)對世界的認(rèn)知理解進而進行智能決策。具身智能發(fā)展的核心是機器人“大腦”能力的進步。當(dāng)前的具身智能發(fā)展主要集中在對移動操作機器人“大腦”層面的研究。隨著大模型技術(shù)尤其是多模態(tài)綜合大模型技術(shù)的高速發(fā)展，具身智能移動操作機器人將具備更強大的思考、感知、認(rèn)知、決策能力，實現(xiàn)更加通用自主的機器智能，利用多模態(tài)數(shù)據(jù)進行自我學(xué)習(xí)、自我適應(yīng)、自我優(yōu)化，自主篩選出最優(yōu)的行動策略與最佳的解決方案以執(zhí)行任務(wù)。

隨著機器人技術(shù)和AI技術(shù)的快速發(fā)展，移動操作機器人實物系統(tǒng)不斷落地，出現(xiàn)了多個具備感知、導(dǎo)航、操作能力的移動操作機器人系統(tǒng)，如北京字節(jié)跳動科技有限公司的端到端機器人操作模型GR-1、斯坦福大學(xué)Mobile ALOHA機器人、谷歌DeepMind公司的視覺 ? 文本多模態(tài)大模型RT-2以及最新推出的AutoRT等。沈陽新松機器人自動化股份有限公司于2021年推出了全新的多可移動協(xié)作機器人，可搭載自主研發(fā)的視覺和夾具等執(zhí)行單元，實現(xiàn)對物料的搬運、裝配、檢測和精密加工等功能應(yīng)用。杭州迦智科技有限公司推出了新款復(fù)合作業(yè)機器人MORA300，具有自主充電、自主定位導(dǎo)航、智能路徑規(guī)劃、第三方設(shè)施對接交互等功能。庫卡機器人有限公司（KUKA）近年來推出了KMR iisy、KMR iiwa等移動協(xié)作機器人平臺，可以與人一起合作，并以毫米級精度在工件上作業(yè)。此外，KUKA公司的完全自主作業(yè)式移動機器人平臺不需要電感線圈、地面標(biāo)記或磁鐵。2023年7月，谷歌DeepMind公司推出的機器人模型RT-2是一個全新的視覺 ? 語言 ? 動作模型，可以通過網(wǎng)絡(luò)和機器人的數(shù)據(jù)進行學(xué)習(xí)，并將這些知識轉(zhuǎn)化為機器人控制的通用指令。2023年11月，One X公司與OpenAI公司深度合作，開發(fā)了一款具身智能類人機器人EVE，可以實現(xiàn)對人類日常工作環(huán)境的認(rèn)知理解，在與環(huán)境交互的過程中學(xué)習(xí)、糾正、收集數(shù)據(jù)，完成自主居家、辦公幫手任務(wù)。波士頓動力公司研發(fā)了Spot機器狗，能夠?qū)崿F(xiàn)敏捷快速的探索與運動，支持在機器狗上擴展機械臂等多種外設(shè)；可以集成更多的傳感器，提升通信和計算能力；通過元學(xué)習(xí)方式支持自主導(dǎo)航與探索，實現(xiàn)物理世界交互與無邊界探索。

總體而言，具身智能移動操作機器人擁有支持感覺和運動的機器身體，增強了主動感知與靈活執(zhí)行的能力；不僅具備傳統(tǒng)移動操作機器人的功能，還能夠聽懂人類語言，感知并理解外部環(huán)境，并據(jù)此分解任務(wù)、規(guī)劃子任務(wù)，在移動中識別物體，與物理環(huán)境交互、最終完成相應(yīng)任務(wù)。具身智能移動操作機器人正朝著形態(tài)多樣化、功能全面化、任務(wù)通用化、行為自主化、交互人性化的方向發(fā)展，不斷涌現(xiàn)出新的移動操作機器人設(shè)計思路和功能任務(wù)。移動操作機器人平臺和實物系統(tǒng)的產(chǎn)業(yè)化進程不斷加快，但其對外部環(huán)境和人類指令的理解和認(rèn)知能力還有待提升，仍需人來發(fā)送具體的指令。未來，具身智能和移動操作機器人系統(tǒng)深入結(jié)合與落地，將推動移動操作機器人產(chǎn)業(yè)的進一步發(fā)展。

三、基于具身智能的移動操作機器人系統(tǒng)關(guān)鍵技術(shù)

當(dāng)前，具身智能移動操作機器人發(fā)展形成的關(guān)鍵技術(shù)包括多模態(tài)感知技術(shù)、世界認(rèn)知與理解技術(shù)、智能自主決策技術(shù)、運動與操作聯(lián)合規(guī)劃技術(shù)（見圖2），旨在推動移動操作機器人的系統(tǒng)的發(fā)展。

圖2　具身智能移動操作機器人發(fā)展與研究框架

（一）多模態(tài)感知技術(shù)

多模態(tài)感知技術(shù)能夠使具身智能移動操作機器人實現(xiàn)更高的自主性、高效性、通用性，增強對周圍環(huán)境的局部感知能力，并為機器人提供豐富、穩(wěn)定、準(zhǔn)確的環(huán)境數(shù)據(jù)。室內(nèi)復(fù)雜場景的運動感知信息往往存在多源性、異構(gòu)性、動態(tài)性等特征，同時機器人需要面對環(huán)境光強變化、非全局特征感知、遮擋復(fù)原與推斷等問題。對此，機器人可通過多角度圖像信號、激光雷達（LiDAR）等不同模態(tài)信息數(shù)據(jù)關(guān)聯(lián)以及多源圖像數(shù)據(jù)融合，完成對周圍局部環(huán)境的立體重建。針對室外開闊場景與復(fù)雜高噪環(huán)境，通過圖像、LiDAR、熱成像檢測、全球定位系統(tǒng)等多源多模態(tài)傳感器的多元融合技術(shù)，實現(xiàn)多傳感器的優(yōu)勢互補，確保感知信息完備有效。通過目標(biāo)檢測、目標(biāo)分割等技術(shù)，構(gòu)建感知環(huán)境與實際環(huán)境的空間映射關(guān)系，形成多模態(tài)環(huán)境數(shù)據(jù)“一站式”融合智能處理系統(tǒng)，實現(xiàn)對局部環(huán)境空間、物體的即時感知與虛擬重建，為移動操作機器人系統(tǒng)對環(huán)境的認(rèn)知與理解提供可靠數(shù)據(jù)來源。

（二）世界認(rèn)知與理解技術(shù)

具身智能移動操作機器人與傳統(tǒng)移動操作機器人相比，具備能夠自主感知、認(rèn)知理解、任務(wù)規(guī)劃的智慧大腦。具身智能移動操作機器人構(gòu)建感知世界與現(xiàn)實世界理解認(rèn)知的共性關(guān)鍵技術(shù)發(fā)展方向主要有兩種，一是基于深度學(xué)習(xí)方法，構(gòu)建大模型，以環(huán)境感知數(shù)據(jù)為輸入，通過迭代訓(xùn)練，形成對感知世界的經(jīng)驗認(rèn)知與理解；二是通過對物理世界的物體認(rèn)知，對物體運動、物體形變、工具使用等客觀現(xiàn)象進行物理仿真和建模分析，構(gòu)建世界共性物理模型，實現(xiàn)對局部環(huán)境的認(rèn)知與理解。移動操作機器人系統(tǒng)利用智能技術(shù)完成對環(huán)境的感知與理解，進而對人類指令進行分析以構(gòu)建上層任務(wù)的解析與規(guī)劃，最終形成基于自然感知環(huán)境數(shù)據(jù)、可以獨立自主對人類命令進行分析、實現(xiàn)任務(wù)分解的上層規(guī)劃系統(tǒng)。

（三）智能自主決策技術(shù)

魯棒、安全、最優(yōu)的智能決策系統(tǒng)是具身智能移動操作機器人與環(huán)境和人類穩(wěn)定交互、可靠執(zhí)行、可行決策的關(guān)鍵。通過智能化技術(shù)，移動操作機器人具備自主決策與社交能力，可以通過自主生成、人機交互、機器人間交互三類方式生成決策。決策系統(tǒng)包含局部世界環(huán)境感知與物體認(rèn)知理解的相互映射匹配和對齊、人類與機器人指令交互的雙向價值對齊、人類命令與機器人可執(zhí)行指令對齊三個主體部分。具體來說，具身智能移動操作機器人在獲得人類高級命令后，融合移動操作機器人系統(tǒng)環(huán)境感知數(shù)據(jù)與物體認(rèn)知理解，構(gòu)建局部環(huán)境空間映射和物體種類、用途、使用方式的關(guān)聯(lián)關(guān)系。在此基礎(chǔ)上，決策系統(tǒng)進一步生成人類分步指令集，完成上游命令的任務(wù)分解，在人機交互過程中以在線學(xué)習(xí)方式動態(tài)進行雙向人機價值對齊，保障分步?jīng)Q策符合人類價值體系。最終，構(gòu)建人類命令與機器人可執(zhí)行指令的轉(zhuǎn)化系統(tǒng)，完成分步?jīng)Q策結(jié)果到移動操作機器人可執(zhí)行指令的對齊轉(zhuǎn)換，形成與環(huán)境和人類穩(wěn)定交互、自主決策的移動操作機器人決策系統(tǒng)。與一般智能機器人相比，該系統(tǒng)通常具備社交導(dǎo)航、物體導(dǎo)航、人機協(xié)作、多機協(xié)作等高級能力?，F(xiàn)有的機器人自主決策研究主要有兩種方式，一種是以大語言模型為核心，通過對人類指令進行預(yù)編碼解碼分析，設(shè)計輸入信息，利用大語言模型給出決策方案以實現(xiàn)自主決策；另一種則是通過對人類行為與物理世界進行解析分析，理解人類行為與價值評判，進而根據(jù)當(dāng)前感知信息推斷規(guī)劃生成最優(yōu)決策。這兩種方式各有優(yōu)劣，目前由于大語言模型技術(shù)的快速發(fā)展，第一種方法在近年來更受關(guān)注。

（四）運動與操作聯(lián)合規(guī)劃技術(shù)

隨著移動機器人技術(shù)的發(fā)展，移動操作機器人的種類不斷增多，機器人的移動導(dǎo)航相關(guān)技術(shù)發(fā)展日趨成熟，機械臂的規(guī)劃控制魯棒性、自抗擾性、柔性控制技術(shù)日益完善。然而，移動操作機器人系統(tǒng)作為具身智能的實際載體，其運動與操作聯(lián)合規(guī)劃技術(shù)尚未完備，致使具身智能的部署與應(yīng)用受到較大掣肘。具身智能移動操作機器人已經(jīng)具備對上游高級命令進行自動感知、自主決策、多機協(xié)作、人機交互的決策能力，而這對導(dǎo)航運動與操作的協(xié)同規(guī)劃提出了更高的要求，單一的導(dǎo)航運動與操作控制無法滿足其靈巧性、高效性、連貫性、穩(wěn)定性、安全性的需求。具身智能移動操作機器人的運動與操作聯(lián)合規(guī)劃技術(shù)需要具備移動基座與機械臂的協(xié)同規(guī)劃控制能力，多機協(xié)作、人機協(xié)作的工作能力。在此基礎(chǔ)上，具身智能移動操作機器人能夠在復(fù)雜空間約束環(huán)境下完成典型任務(wù)，包括在室內(nèi)外復(fù)雜約束地形與環(huán)境下的移動、抓取、搜索、運輸、交互，融合環(huán)境感知數(shù)據(jù)進行局部建圖與定位、多關(guān)節(jié)路徑規(guī)劃、協(xié)同交互式操作、工具理解與使用等；能夠與其他機器人和人類并行統(tǒng)一協(xié)作或串行交互傳遞完成難以獨立完成的、更為復(fù)雜的高級任務(wù)。此外，在共享同一工作空間的典型社會化人機交互場景中，由于機器人的安全性和性能與人類的運動自然耦合，機器人需要對人類未來的運動進行實時推斷，規(guī)劃出安全、高效、符合社會規(guī)范的路徑，讓人類長期接受機器人作為合作者，實現(xiàn)社交導(dǎo)航。未來，移動操作機器人均需要在動態(tài)社會化環(huán)境中進行安全的自主導(dǎo)航，人類也需要很好地理解移動操作機器人的行為以便對其未來的行為做出預(yù)測。人機交互共融技術(shù)將逐漸成為移動操作機器人領(lǐng)域的研究重點。

四、基于具身智能的移動操作機器人系統(tǒng)發(fā)展面臨的問題與挑戰(zhàn)

當(dāng)前，對機器人自主化、智能化的要求不斷提高，傳統(tǒng)離線智能模式的局限逐漸增多，已不能滿足國家的戰(zhàn)略需求與行業(yè)應(yīng)用需要。隨著多模態(tài)感知、AI、人機交互、自然語言處理、任務(wù)和運動規(guī)劃等技術(shù)的不斷發(fā)展，現(xiàn)有的具身智能移動操作機器人關(guān)鍵技術(shù)仍有待演進提升，具身智能移動操作機器人發(fā)展依然面臨諸多問題與挑戰(zhàn)。

（一）感知方面

在感知方面，具身智能移動操作機器人主要面臨如下問題。一是自主感知能力欠缺。具身智能移動操作機器人不再局限于接受指令后僅對當(dāng)前所在位置進行局部感知，而能夠在復(fù)雜場景下根據(jù)人類提供的高級指令，自主判斷對當(dāng)前環(huán)境的感知程度，并進一步通過自主規(guī)劃運動，實現(xiàn)動態(tài)感知，豐富自身對環(huán)境的感知程度，因此對其自主感知能力提出了更高的要求。二是交互感知能力薄弱。具身智能移動操作機器人不再單獨依靠人類低級指令進行規(guī)劃執(zhí)行，而是通過人類高級指令進行感知規(guī)劃，完善對當(dāng)前局部環(huán)境的多粒度探索，豐富環(huán)境感知數(shù)據(jù)。目前，移動操作機器人在約束環(huán)境下的自主感知技術(shù)仍處于發(fā)展階段，沒有有效的感知手段，對人機交互感知的準(zhǔn)確性、即時性、有效性都提出了挑戰(zhàn)。三是多模態(tài)數(shù)據(jù)融合與局部環(huán)境構(gòu)建緩慢。移動操作機器人需要對周圍局部環(huán)境進行充分完備的感知與重建，需要實現(xiàn)多模態(tài)數(shù)據(jù)融合與環(huán)境空間的三維映射，重建局部三維地圖；具身智能移動操作機器人需要具備快速響應(yīng)、自主規(guī)劃能力，而當(dāng)前技術(shù)在效率上無法保證即時高效。

（二）認(rèn)知與理解方面

在認(rèn)知與理解方面，具身智能移動操作機器人主要面臨如下問題。一是對環(huán)境物體的形態(tài)、功能、使用、交互方式存在認(rèn)知欠缺。在具身智能下，移動操作機器人需要基于環(huán)境感知數(shù)據(jù)，完成對環(huán)境中各類物體的用途與使用方式等的認(rèn)知和推斷。當(dāng)前，AI領(lǐng)域的大模型技術(shù)雖然對常見物品具備一定的通識理解能力，但和人類經(jīng)驗之間仍存在偏差，無法構(gòu)建環(huán)境中物體的關(guān)聯(lián)關(guān)系，也難以根據(jù)環(huán)境中物體的實際形態(tài)、狀態(tài)實現(xiàn)信息融合。這對移動操作機器人的決策生成與規(guī)劃執(zhí)行帶來了可行性挑戰(zhàn)。二是對人機交互的高級命令存在理解不足。在面對人類給出的諸如整理房間、完成倉庫中貨物運輸、搜救被困人員等高級指令時，現(xiàn)有以大語言模型為基礎(chǔ)的AI技術(shù)尚無法通過與感知環(huán)境數(shù)據(jù)融合以給出合理的認(rèn)知與任務(wù)分解，容易陷入經(jīng)驗認(rèn)知陷阱，缺乏交互學(xué)習(xí)與矯正能力。

（三）決策方面

在決策方面，具身智能移動操作機器人主要面臨如下挑戰(zhàn)。一是自主智能決策能力薄弱。具身智能移動操作機器人的智慧大腦需要實現(xiàn)環(huán)境感知與世界認(rèn)知理解結(jié)果的融合匹配，依照人類價值體系生成合理、可行的決策方案，構(gòu)建移動操作機器人系統(tǒng)可執(zhí)行的指令集，完成人類執(zhí)行方案與機器人系統(tǒng)指令集的關(guān)聯(lián)映射，形成移動操作機器人解決方案。因此，移動操作機器人系統(tǒng)在決策時需要具備類人的價值標(biāo)準(zhǔn)、環(huán)境物體與認(rèn)知物體的理解對齊能力、將人類高級指令分解為機器人可執(zhí)行指令序列的能力等，這些對移動操作機器人技術(shù)與具身智能發(fā)展提出了挑戰(zhàn)。當(dāng)前，具身智能決策方法主要圍繞大語言模型進行認(rèn)知理解與推斷，加入先驗信息引導(dǎo)或加入后驗信息反饋矯正。由于大語言模型存在的幻覺、偽邏輯等問題，可能生成一系列機器人難以執(zhí)行的指令；同時在引入先驗信息時，由于具身智能移動操作機器人的工作場景及任務(wù)通常需要即時決策，對細(xì)粒度圖像與點云進行分割、特征提取的現(xiàn)有方法雖然效果與泛化能力很強，但計算成本與耗時均較高（如SAM），不利于即時導(dǎo)航與決策。近期，LLaMA、LLaVA等通過預(yù)訓(xùn)練模型、有監(jiān)督微調(diào)、近端優(yōu)化等方式，其性能得到進一步提高，但依然存在指令通用性太強，無法具體執(zhí)行的問題。

（四）運動與操作的聯(lián)合規(guī)劃方面

傳統(tǒng)運動導(dǎo)航與機械臂運動規(guī)劃相結(jié)合的方式存在靈活性差、穩(wěn)定度低、空間路徑次優(yōu)等諸多問題。一是在復(fù)雜的室內(nèi)外場景，如家庭室內(nèi)環(huán)境、工廠車間環(huán)境、災(zāi)后搜救環(huán)境等，針對目標(biāo)的尋找、捕獲和運輸?shù)热蝿?wù)存在很強的空間、時間條件約束，現(xiàn)有算法存在運動不連續(xù)、不自然、不穩(wěn)定、不安全的問題。二是在動態(tài)環(huán)境中，基于局部感知進行移動導(dǎo)航與操作存在規(guī)劃求解緩慢、效率較低等問題。雖然在靜態(tài)和已知環(huán)境中的機器人導(dǎo)航方面已經(jīng)開展了大量研究，但當(dāng)機器人從靜態(tài)或受控環(huán)境轉(zhuǎn)變?yōu)閯討B(tài)環(huán)境時，多個智能體以不同的模式移動，會面臨諸多挑戰(zhàn)。三是移動操作機器人與公共空間中其他動態(tài)機器人或人類進行交互時，對安全性提出了新的更高要求。人類可以依靠常識和經(jīng)驗來理解其他智能體的行為，但當(dāng)前的智能移動操作機器人僅限于執(zhí)行預(yù)設(shè)的交互模型完成與有限人類行為的交互，且移動操作機器人行為的有效性需要在人機系統(tǒng)中進行評估。然而，由于人機混合系統(tǒng)的高度復(fù)雜性，難以進行理論分析和全面仿真評估；在試驗評估中，人的安全性至關(guān)重要，與人相關(guān)的失敗容忍度極低，因此開發(fā)更安全有效的人機交互系統(tǒng)評估平臺至關(guān)重要。

（五）通用仿真實驗平臺方面

目前，移動操作機器人領(lǐng)域技術(shù)研發(fā)過程中缺乏通用、可靠、多接口的多場景綜合仿真實驗平臺，技術(shù)研發(fā)速度減緩，衍生出諸多實物部署中需要面臨的兼容性、穩(wěn)定性、準(zhǔn)確性、泛化性問題。具身智能移動操作機器人的技術(shù)更新與迭代速度快，構(gòu)建軟硬件上下游系統(tǒng)的成本較高，但由于仿真環(huán)境多樣性的限制，適用場景十分有限，亟需在仿真平臺進行研發(fā)與實驗驗證，推進技術(shù)落地與產(chǎn)業(yè)化。目前，學(xué)界與業(yè)界缺乏具備通用接口、真實物理引擎、包含多場景的機器人綜合仿真平臺，阻礙了具身智能移動操作機器人的發(fā)展，成為桎梏具身智能移動操作機器人發(fā)展的一大關(guān)鍵節(jié)點。因此，在當(dāng)前具身智能發(fā)展的浪潮下，移動操作機器人系統(tǒng)的研發(fā)對綜合仿真實驗平臺需求更加迫切。

五、基于具身智能的移動操作機器人系統(tǒng)發(fā)展建議

（一）緊抓具身智能移動操作機器人持續(xù)發(fā)展與產(chǎn)業(yè)生態(tài)構(gòu)建

我國具身智能移動操作機器人發(fā)展應(yīng)著眼形成涵蓋優(yōu)質(zhì)數(shù)據(jù)、前沿關(guān)鍵技術(shù)、實驗測試平臺、實體開發(fā)與成果轉(zhuǎn)化的科技研發(fā)與落地全鏈條，與國內(nèi)外高水平研發(fā)機構(gòu)、高科技領(lǐng)軍企業(yè)、交叉領(lǐng)域相關(guān)單位充分聯(lián)合，有效凝聚科技協(xié)同創(chuàng)新的戰(zhàn)略資源，探索高效的有機協(xié)同機制，形成“產(chǎn)學(xué)研用”一體化的優(yōu)勢互補發(fā)展模式；以國家重大戰(zhàn)略需求與政策為引導(dǎo)，推進我國基礎(chǔ)技術(shù)、關(guān)鍵技術(shù)、應(yīng)用部署技術(shù)的研究與突破，形成跨領(lǐng)域的產(chǎn)業(yè)化發(fā)展優(yōu)勢，滿足國家建設(shè)、社會經(jīng)濟發(fā)展的戰(zhàn)略需求，加速推進智慧社會與智慧城市的構(gòu)建。

（二）注重關(guān)鍵技術(shù)領(lǐng)域的原創(chuàng)性突破

圍繞具身智能移動操作機器人的共性關(guān)鍵技術(shù)，在環(huán)境感知、認(rèn)知理解、智能決策、運動與操作聯(lián)合規(guī)劃等核心技術(shù)方面進行突破。建議行業(yè)主管部門發(fā)布具身智能共性關(guān)鍵技術(shù)研究計劃，加強行業(yè)對新技術(shù)態(tài)勢下的移動操作機器人系統(tǒng)的智能化、自主化、通用化、靈巧化、安全化的重視程度，切實推動具身智能發(fā)展。加速AI技術(shù)對移動操作機器人的賦能，構(gòu)建完備的軟硬件交互平臺，持續(xù)推進具備自動感知、自主決策、自然交互、安全執(zhí)行能力的移動操作機器人系統(tǒng)構(gòu)建。

（三）重視發(fā)展智能科學(xué)與機器人領(lǐng)域，關(guān)注智能科學(xué)與技術(shù)學(xué)科建設(shè)和人才培養(yǎng)

推進校企聯(lián)合開展關(guān)鍵技術(shù)研究與突破，整合創(chuàng)新資源，加強研究機構(gòu)與上下游企業(yè)的深度合作與資源共享，圍繞共性關(guān)鍵技術(shù)研究與工程化集成應(yīng)用突破，構(gòu)建具身智能移動操作機器人的創(chuàng)新鏈條與產(chǎn)業(yè)鏈條。同時，進一步完善學(xué)科領(lǐng)域布局，推進智能科學(xué)與技術(shù)的一級學(xué)科建設(shè)，設(shè)立智能機器人專業(yè)，增加智能機器人相關(guān)碩士研究生和博士研究生的招生名額；完善智能機器人相關(guān)學(xué)科的培養(yǎng)與教學(xué)方案，拓寬智能機器人學(xué)科交叉范圍，與數(shù)學(xué)、物理學(xué)、生物學(xué)、計算科學(xué)等學(xué)科教育進行交叉融合。強化實驗實踐與實物部署在教學(xué)中的占比，提升AI技術(shù)到實體移動操作機器人的部署能力，為國家智能機器人領(lǐng)域發(fā)展提供充足的人才資源。

（四）鼓勵建設(shè)多場景移動操作機器人系統(tǒng)通用驗證平臺

與醫(yī)療、教育、消防、交通、家庭服務(wù)、工業(yè)生產(chǎn)等領(lǐng)域中的相關(guān)單位展開深入合作，為具身智能移動操作機器人提供應(yīng)用場景與示范驗證平臺，推進多場景智能機器人的通用性測試驗證基地建設(shè)，為智能移動操作機器人發(fā)展提供充足的研究數(shù)據(jù)，為社會智能升級積累經(jīng)驗。借助我國與“一帶一路”及其他地區(qū)的經(jīng)貿(mào)合作關(guān)系，推廣我國具身智能移動操作機器人的相關(guān)技術(shù)與產(chǎn)品，擴大領(lǐng)域影響力，推動形成技術(shù)與產(chǎn)品的全球布局。

（五）協(xié)調(diào)具身智能移動操作機器人與人類社會和諧發(fā)展

具身智能移動操作機器人技術(shù)在發(fā)展過程中因其自主性、智能性、交互性等特點，在人類社會中安全、可靠、穩(wěn)定的運作依然需要在倫理、法律層面予以保障，進而確保相關(guān)技術(shù)的安全研發(fā)。在倫理層面，對于移動操作機器人的自主決策過程，技術(shù)研發(fā)需恪守白盒方式，明確機器人的完整推理與決策過程，保障人類的可靠干預(yù)，確保機器人的行為正常無風(fēng)險。在法律層面，針對具身智能可能對社會帶來的影響，充分考慮并予以法律保障。例如，對于移動操作機器人的自主決策與運動規(guī)劃行為，需明確界定其法理責(zé)任；對于移動操作機器人可能替代的行業(yè)人群，需從法律角度協(xié)調(diào)機器人的生產(chǎn)進程，保障人類公民的就業(yè)與生存等；配合明晰機器人行為生成的相關(guān)技術(shù)模塊，便于明確責(zé)任人和責(zé)任關(guān)系，為法律執(zhí)行提供合理的判罰標(biāo)準(zhǔn)與論據(jù)。

審核編輯：黃飛