Progress-Think

機器人首次實現(xiàn)語義進展推理

零標簽在指令結(jié)構(gòu)中定位任務(wù)進展

在視覺語言導(dǎo)航(VLN)中，機器人長期缺乏一種關(guān)鍵能力：它能持續(xù)前進，卻無法判斷自己的任務(wù)推進到了哪一步。導(dǎo)航在空間中不斷展開，畫面節(jié)節(jié)推進，但模型并不知道自己在自然語言指令里處于什么階段，因此容易漂移、兜圈，或做出難以解釋的決策。我們認為，引入語義進展推理，是破解長程導(dǎo)航不穩(wěn)定性的關(guān)鍵路徑。

Progress-Think讓機器人第一次具備語義層面的“進展坐標系”。我們首次揭示了視覺觀測序列與指令語義之間的結(jié)構(gòu)性關(guān)聯(lián)，并將其提煉為可學(xué)習(xí)的進展信號，使模型無需額外標注即可學(xué)會思考：“我剛完成了什么”。通過自監(jiān)督的進展對齊、進展引導(dǎo)決策以及進展一策略聯(lián)合微調(diào)，僅憑單目相機輸入，模型就能顯著減少偏航并提升穩(wěn)定性。Progress-Think在R2R-CE等標準數(shù)據(jù)集上取得領(lǐng)先表現(xiàn)，并進一步推動具身推理朝更明確的任務(wù)導(dǎo)向發(fā)展。

? 論文題目：

Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation

? 論文鏈接：

https://arxiv.org/abs/2511.17097

?項目主頁：

https://horizonrobotics.github.io/robot_lab/progress-think

從空間定位到進展定位

在視覺語言導(dǎo)航 (VLN) 中，機器人往往只會執(zhí)行動作，卻難以理解任務(wù)的推進。它能在空間中持續(xù)移動，卻無法判斷指令走到了哪一步；視覺觀測不斷更新，但任務(wù)完成度可能在它的認知里存在偏差。這種缺乏“語義位置感”的現(xiàn)象，使導(dǎo)航在遇到復(fù)雜場景時容易失去方向，出現(xiàn)漂移、兜圈或反復(fù)確認等不穩(wěn)定行為。

視覺觀測與指令語義呈協(xié)同單調(diào)推進；即隨著觀測累積（上），匹配的指令前綴同步單調(diào)擴展（下），后續(xù)進展（紅）始終在早期進展（藍）上遞進。

Progress-Think的核心洞見在于：視覺語言導(dǎo)航本質(zhì)上不僅是幾何運動，而是執(zhí)行一段結(jié)構(gòu)化語言指令的語義進展過程。基于這一視角，我們揭示了視覺觀測序列與指令語義之間存在協(xié)同單調(diào)關(guān)系：當畫面從“床邊”走向“門口”時，指令也應(yīng)從“離開床邊”自然推進到“朝門口轉(zhuǎn)向”。我們進一步將這一結(jié)構(gòu)規(guī)律提煉為任務(wù)層面的語義方位基準，為后續(xù)決策提供進展的建模。

零標注學(xué)習(xí)語義進展

為了在沒有進展標注的情況下習(xí)得進展定位能力，我們設(shè)計了一個三階段的學(xué)習(xí)框架。第一階段，通過前綴對齊的自監(jiān)督訓(xùn)練，模型在視覺軌跡中自動推斷出與指令前綴的對應(yīng)關(guān)系，使“當前觀察對應(yīng)哪一語義段落”成為一種內(nèi)生表征，而非依賴外部標注。第二階段，我們將進展表示作為上下文注入導(dǎo)航VLA策略，使決策在結(jié)合指令和觀測的同時，也能參考自身的任務(wù)進展，從而形成明確的語義方向感。第三階段，通過進展推理與導(dǎo)航VLA策略的聯(lián)合優(yōu)化，使模型在推理時保持一致、穩(wěn)健的進展定位能力，并形成從語義對齊到動作生成的完整閉環(huán)。

Progress-Think模型在原有VLA結(jié)構(gòu)上加入“進展推理模塊”，用于判斷當前指令完成到哪一步，并據(jù)此引導(dǎo)動作生成。整個系統(tǒng)通過三階段、無需標注的流程完成訓(xùn)練：① 自監(jiān)督的進展對齊；② 進展引導(dǎo)的策略預(yù)訓(xùn)練；③ 進展–策略聯(lián)合優(yōu)化。

在三階段學(xué)習(xí)下，進展不再是一個回歸值或附加標簽，而演化為貫穿視覺理解、語義推理與行動決策的結(jié)構(gòu)性信號。機器人由此首次具備真正的“進展定位”能力，能夠在執(zhí)行中持續(xù)推理“我完成到哪了”，并據(jù)此更清晰地決策“下一步該做什么”。

語義進展助力多步驟指令導(dǎo)航

具備可推理的進展定位后，機器人的行為方式發(fā)生了明顯變化。它不再像傳統(tǒng)模型那樣給出與任務(wù)無關(guān)或時序混亂的描述，而是能夠持續(xù)跟蹤自己處于指令的哪一步。導(dǎo)航軌跡因此更穩(wěn)、更有方向感，執(zhí)行過程也呈現(xiàn)出清晰的語義連貫性，讓人類能一眼看出它正在完成任務(wù)的哪一段。

GPT-4o和NVILA的描述經(jīng)常跑偏，無法用于判斷進展；消融版Progress-Think偶有幻覺，可靠性不足；而完整版Progress-Think能穩(wěn)定推理出與真實進展對齊的結(jié)果。

在R2R-CE等基準上，Progress-Think在僅使用單目RGB的條件下，便超越了依賴全景或深度的傳統(tǒng)方案，顯著提升了長程任務(wù)的成功率、穩(wěn)定性與可解釋性。結(jié)果表明，長程導(dǎo)航的核心限制在于缺失語義進展這一結(jié)構(gòu)性能力；當機器人能夠理解“自己做到哪”，導(dǎo)航才真正具備持續(xù)、可靠的任務(wù)推進能力。

在R2R Val-Unseen上，Progress-Think在無深度、無全景、零外部數(shù)據(jù)的條件下依然取得最佳表現(xiàn)。

總結(jié)和展望

隨著Progress-Think的引入，機器人第一次擁有了自身行為在任務(wù)語義層面的“進展坐標系”，能夠在任務(wù)結(jié)構(gòu)中定位自己，并以此為決策提供額外的進展約束。它在決策“下一步怎么走”前，先思考“我已經(jīng)走到哪一步”，從而讓長程行為更連貫、更可解釋。我們期待將這種語義進展推理能力擴展至高層規(guī)劃、多輪交互和自主探索，讓具身智能逐步邁向真正的任務(wù)理解與長期推理。