深度強(qiáng)化學(xué)習(xí)開發(fā)出的機(jī)器人模型通常很難應(yīng)用到真實(shí)環(huán)境中，因此機(jī)器人開發(fā)中鮮少使用該技術(shù)。然而這已經(jīng)板上釘釘了嗎？在兩天前引發(fā)人工智能界關(guān)注的 ANYmal 機(jī)器人中，其機(jī)動(dòng)性和適應(yīng)性看起來絲毫不遜色于波士頓動(dòng)力。其相關(guān)論文近期登上了 Science 子刊《Science Robotics》，并且明確指出使用了深度強(qiáng)化學(xué)習(xí)技術(shù)?；?AI 技術(shù)的成功應(yīng)用，ANYmal 在數(shù)據(jù)驅(qū)動(dòng)的開發(fā)上或許會(huì)更有優(yōu)勢(shì)。

摘要：足式機(jī)器人是機(jī)器人學(xué)中最具挑戰(zhàn)性的主題之一。動(dòng)物動(dòng)態(tài)、敏捷的動(dòng)作是無法用現(xiàn)有人為方法模仿的。一種引人注目的方法是強(qiáng)化學(xué)習(xí)，它只需要極少的手工設(shè)計(jì)，能夠促進(jìn)控制策略的自然演化。然而，截至目前，足式機(jī)器人領(lǐng)域的強(qiáng)化學(xué)習(xí)研究還主要局限于模仿，只有少數(shù)相對(duì)簡(jiǎn)單的例子被部署到真實(shí)環(huán)境系統(tǒng)中。主要原因在于，使用真實(shí)的機(jī)器人（尤其是使用帶有動(dòng)態(tài)平衡系統(tǒng)的真實(shí)機(jī)器人）進(jìn)行訓(xùn)練既復(fù)雜又昂貴。本文介紹了一種可以在模擬中訓(xùn)練神經(jīng)網(wǎng)絡(luò)策略并將其遷移到當(dāng)前最先進(jìn)足式機(jī)器人系統(tǒng)中的方法，因此利用了快速、自動(dòng)化、成本合算的數(shù)據(jù)生成方案。該方法被應(yīng)用到 ANYmal 機(jī)器人中，這是一款中型犬大小的四足復(fù)雜機(jī)器人系統(tǒng)。利用在模擬中訓(xùn)練的策略，ANYmal 獲得了之前方法無法實(shí)現(xiàn)的運(yùn)動(dòng)技能：它能精確、高效地服從高水平身體速度指令，奔跑速度比之前的機(jī)器人更快，甚至在復(fù)雜的環(huán)境中還能跌倒后爬起來。

圖 1：創(chuàng)建一個(gè)控制策略。第一步是確定機(jī)器人的物理參數(shù)并估計(jì)其中的不確定性。第二步是訓(xùn)練一個(gè)致動(dòng)器網(wǎng)絡(luò)，建模復(fù)雜的致動(dòng)器/軟件動(dòng)力機(jī)制。第三步是利用前兩步中得到的模型訓(xùn)練一個(gè)控制策略。第四步是直接在物理系統(tǒng)中部署訓(xùn)練好的策略。

結(jié)果

該視頻展示了結(jié)果和方法。

基于命令的運(yùn)動(dòng)

圖 2：習(xí)得運(yùn)動(dòng)控制器的量化評(píng)估結(jié)果。A. 發(fā)現(xiàn)的步態(tài)模式按速度指令以 1.0 m/s 的速度運(yùn)行。LF 表示左前腿，RF 表示右前腿，LH 表示左后腿，RH 表示右后腿。B. 使用本文方法得到的基礎(chǔ)速度的準(zhǔn)確率。C-E. 本文習(xí)得控制器與現(xiàn)有最佳控制器在能耗、速度誤差、扭矩大小方面的對(duì)比，給定的前進(jìn)速度指令為 0.25、0.5、0.75 和 1.0 m/s。

高速運(yùn)動(dòng)

圖 3：對(duì)高速運(yùn)動(dòng)訓(xùn)練策略的評(píng)估結(jié)果。A. ANYmal 的前進(jìn)速度。B. 關(guān)節(jié)速度。C. 關(guān)節(jié)扭矩。D. 步態(tài)模式。

跌倒后的恢復(fù)

圖 4：在真實(shí)機(jī)器人上部署的恢復(fù)控制器。該研究學(xué)到的策略成功使機(jī)器人在 3 秒內(nèi)從隨機(jī)初始配置中恢復(fù)。

材料和方法

這一部分會(huì)詳細(xì)描述模擬環(huán)境、訓(xùn)練過程和在物理環(huán)境中的部署。圖 5 是訓(xùn)練方法概覽。訓(xùn)練過程如下：剛體模擬器會(huì)根據(jù)關(guān)節(jié)扭矩和當(dāng)前狀態(tài)輸出機(jī)器人的下一個(gè)狀態(tài)。關(guān)節(jié)速度和位置誤差會(huì)被緩存在有限時(shí)間窗口的關(guān)節(jié)狀態(tài)歷史中。由帶兩個(gè)隱藏層的 MLP 實(shí)現(xiàn)的控制策略會(huì)將當(dāng)前狀態(tài)和關(guān)節(jié)狀態(tài)歷史的觀察結(jié)果映射為關(guān)節(jié)位置目標(biāo)。最后，致動(dòng)器網(wǎng)絡(luò)會(huì)將關(guān)節(jié)狀態(tài)歷史和關(guān)節(jié)位置目標(biāo)映射為 12 個(gè)關(guān)節(jié)扭矩值，然后進(jìn)入下一個(gè)訓(xùn)練循環(huán)。

圖 5：模擬過程中的訓(xùn)練控制策略。

建模剛體動(dòng)力機(jī)制

為了在合理時(shí)間內(nèi)有效訓(xùn)練復(fù)雜的策略，并將其遷移到現(xiàn)實(shí)世界，我們需要一種又快又準(zhǔn)確的模擬平臺(tái)。開發(fā)行走機(jī)器人的最大挑戰(zhàn)之一是非連續(xù)接觸的動(dòng)力機(jī)制建模。為此，研究者使用了之前工作中開發(fā)出的剛體接觸求解器 [41]。這個(gè)接觸求解器使用了一個(gè)完全遵循庫(kù)倫摩擦錐約束的硬接觸模型。這種建模技術(shù)可以準(zhǔn)確地捕獲一系列剛體和環(huán)境進(jìn)行硬接觸時(shí)的真實(shí)動(dòng)力機(jī)制。該求解器能準(zhǔn)確而快速地在臺(tái)式計(jì)算機(jī)上每秒生成模擬四足動(dòng)物的 90 萬個(gè)時(shí)間步。

連接的慣性是從 CAD 模型估計(jì)出來的。研究者預(yù)期估計(jì)會(huì)達(dá)到 20% 的誤差因?yàn)闆]有建模布線和電子器件。為了考慮這些建模不確定性，研究者通過隨機(jī)采樣慣性訓(xùn)練了 30 種不同的 ANYmal 模型來使得策略更加穩(wěn)健。質(zhì)心位置、連接的質(zhì)量和關(guān)節(jié)位置分別通過添加從 U(?2, 2) cm、U(?15, 15)%、 U(?2, 2) cm 中采樣的噪聲進(jìn)行隨機(jī)化。

建模致動(dòng)器

圖 6：學(xué)得致動(dòng)器模型的驗(yàn)證結(jié)果。

強(qiáng)化學(xué)習(xí)

研究者展示了離散時(shí)間中的控制問題。在每個(gè)時(shí)間步 t，智能體獲取觀測(cè)結(jié)果 o_t ∈O，執(zhí)行動(dòng)作 a_t ∈A，獲取標(biāo)量獎(jiǎng)勵(lì) r_t ∈ ?。研究者所指獎(jiǎng)勵(lì)和成本是可以互換的，因?yàn)槌杀揪褪秦?fù)的獎(jiǎng)勵(lì)。研究者用 O_t = 〈o_t, o_t ? 1, …, o_t ? h〉表示近期觀測(cè)結(jié)果的元組。智能體根據(jù)隨機(jī)策略 π(a_t|O_t) 選擇動(dòng)作，該隨機(jī)策略是基于近期觀測(cè)結(jié)果的動(dòng)作分布。其目的在于找到在無窮水平中使折扣獎(jiǎng)勵(lì)總和最大化的策略：

其中 γ ∈ (0, 1) 是折扣因子，τ(π) 是在策略 π 下的軌跡分布（該策略和環(huán)境動(dòng)態(tài)下的分布）。在研究設(shè)置中，觀測(cè)結(jié)果是評(píng)估機(jī)器人狀態(tài)的指標(biāo)（向控制器提供），動(dòng)作是向致動(dòng)器傳達(dá)的位置命令，獎(jiǎng)勵(lì)是指定的（以誘導(dǎo)感興趣的行為）。

多種強(qiáng)化學(xué)習(xí)算法可應(yīng)用于這個(gè)指定策略優(yōu)化問題。研究者選擇了置信域策略優(yōu)化（TRPO），該算法可在模擬中學(xué)習(xí)運(yùn)動(dòng)策略。它幾乎不需要調(diào)參，論文中所有學(xué)習(xí)會(huì)話都僅使用默認(rèn)參數(shù)（[22, 54] 提供的參數(shù)）。研究者使用了該算法的快速自定義實(shí)現(xiàn) [55]。這一高效實(shí)現(xiàn)和快速剛體模擬 [41] 可在約 4 小時(shí)內(nèi)生成和處理 2.5 億狀態(tài)轉(zhuǎn)換。當(dāng)該策略的平均性能在 300 個(gè) TRPO 迭代中的改進(jìn)沒有超過任務(wù)特定閾值時(shí)，學(xué)習(xí)會(huì)話終止。

在物理系統(tǒng)上部署

研究者用 ANYmal 機(jī)器人來展示其方法在真實(shí)環(huán)境中的適用性，如圖 1 中步驟 4 所示。ANYmal 是一種體型與狗差不多的四足機(jī)器人，重 32kg。每只足約 55 厘米長(zhǎng)，且有三個(gè)驅(qū)動(dòng)自由度，即髖部外展/內(nèi)收、髖關(guān)節(jié)屈/伸、膝關(guān)節(jié)屈/伸。

ANYmal 有 12 個(gè) SEA。一個(gè) SEA 由一個(gè)電動(dòng)機(jī)、一個(gè)高傳動(dòng)比傳動(dòng)裝置、一個(gè)彈性元件和兩個(gè)旋轉(zhuǎn)編碼器組成。它可以測(cè)量彈簧偏移和輸出位置。在本文中，研究者在 ANYmal 機(jī)器人的關(guān)節(jié)級(jí)促動(dòng)器模塊上使用了具有低反饋收益的關(guān)節(jié)級(jí) PD 控制器。促動(dòng)器的動(dòng)態(tài)包含多個(gè)連續(xù)的組件，如下所示。首先，使用 PD 控制器將位置指令轉(zhuǎn)換成期望的扭矩。接著，使用來自期望扭矩的 PID 控制器計(jì)算期望電流。然后，用磁場(chǎng)定向控制器將期望電流轉(zhuǎn)換成相電壓，該控制器在變速器的輸入端產(chǎn)生扭矩。變速器的輸出端與彈性元件相連，彈性元件的偏移最終在關(guān)節(jié)處生成扭矩。這些高度復(fù)雜的動(dòng)態(tài)引入了很多隱藏的內(nèi)部狀態(tài)，研究者無法直接訪問這些內(nèi)部狀態(tài)并復(fù)雜化其控制問題。

從混合模擬中為訓(xùn)練策略獲得參數(shù)集后，在真實(shí)系統(tǒng)上的部署變得簡(jiǎn)單多了。定制的 MLP 實(shí)現(xiàn)和訓(xùn)練好的參數(shù)集被導(dǎo)到機(jī)器人的機(jī)載 PC 上。當(dāng)這個(gè)網(wǎng)絡(luò)在 200Hz 時(shí)，其狀態(tài)被評(píng)估為基于命令/高速的運(yùn)動(dòng)，在 100Hz 時(shí)被評(píng)估為從墜落中恢復(fù)。研究者發(fā)現(xiàn)，其性能出人意料地對(duì)控制率不敏感。例如，在 20 Hz 時(shí)訓(xùn)練恢復(fù)運(yùn)動(dòng)與在 100 Hz 時(shí)性能一致。這可能是因?yàn)榉D(zhuǎn)行為涉及低關(guān)節(jié)速度（大部分低于 6 弧度/秒）。更動(dòng)態(tài)的行為（如運(yùn)動(dòng)）通常需要更高的控制率才能獲得足夠的性能。實(shí)驗(yàn)中使用了更高的頻率（100 Hz），因?yàn)檫@樣噪音更少。甚至在 100 Hz 時(shí)，對(duì)網(wǎng)絡(luò)的評(píng)估僅使用了單個(gè) CPU 核上可用計(jì)算的 0.25 %。