[首發(fā)于智駕最前沿微信公眾號]在談及自動駕駛大模型訓(xùn)練時，有的技術(shù)方案會采用模仿學(xué)習(xí)，而有些會采用強(qiáng)化學(xué)習(xí)。同樣作為大模型的訓(xùn)練方式，強(qiáng)化學(xué)習(xí)有何不同？又有什么特點(diǎn)呢？

什么是強(qiáng)化學(xué)習(xí)？

強(qiáng)化學(xué)習(xí)是一種讓機(jī)器通過“試錯”學(xué)會決策的辦法。與監(jiān)督學(xué)習(xí)不同，監(jiān)督學(xué)習(xí)是有人提供示范答案，讓模型去模仿；而強(qiáng)化學(xué)習(xí)不會把每一步的“正確答案”都告訴你，而是把環(huán)境、動作和結(jié)果連起來，讓機(jī)器自己探索哪個行為長期看起來更有利，便往那個行為中去靠。

強(qiáng)化學(xué)習(xí)示意圖，圖片源自：網(wǎng)絡(luò)

這里的“有利”是通過一個叫做獎勵（reward）的信號來衡量的。獎勵可以是正向的，也可以是負(fù)向的，機(jī)器的目標(biāo)是讓長期累計(jì)的獎勵盡可能多。把決策過程抽象成在某個狀態(tài)下采取某個動作會進(jìn)入到下一個狀態(tài)并獲得相應(yīng)的獎勵的機(jī)制，這種數(shù)學(xué)化的描述叫做馬爾可夫決策過程。

從定義上看，這個概念有些晦澀難懂，舉個簡單的例子吧。自動駕駛系統(tǒng)在駕駛仿真里開車，順利通過一個路口就可以得到獎勵，但撞到路緣或急剎車將被罰分，這些獎勵和懲罰會引導(dǎo)學(xué)習(xí)算法偏向于那些帶來更多正向回報(bào)的駕駛行為。強(qiáng)化學(xué)習(xí)把這樣一整套“感知—決策—反饋—調(diào)整”的循環(huán)自動化，讓模型在沒有人逐條教它規(guī)則的情況下也能學(xué)出一套安全的駕駛策略。

為什么強(qiáng)化學(xué)習(xí)會被用到自動駕駛中

自動駕駛汽車會通過各種傳感器識別路況，但它不是簡單識別攝像頭拍攝的圖片或激光雷達(dá)探測到的點(diǎn)云這么簡單，它會不斷與環(huán)境進(jìn)行交互。自動駕駛汽車需要在復(fù)雜且動態(tài)的交通環(huán)境里做出連續(xù)決策，這些決策不僅影響當(dāng)前瞬間的安全，也會改變未來的交通態(tài)勢。

圖片源自：網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)剛好擅長解決這種“序列決策”的問題。相比傳統(tǒng)方案中把每種場景寫成規(guī)則的方式，強(qiáng)化學(xué)習(xí)能夠把環(huán)境狀態(tài)（來自攝像頭、雷達(dá)、激光雷達(dá)以及速度、加速度等車載信息）映射成動作（轉(zhuǎn)向、加速、減速等），并通過長期回報(bào)來優(yōu)化策略。

這種端到端或者半端到端的學(xué)習(xí)方式讓模型在面對復(fù)雜交互、非線性場景時比規(guī)則系統(tǒng)更具適應(yīng)性。很多技術(shù)方案中會把強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來，處理高維輸入，然后再輸出決策。

在安全可控的仿真環(huán)境里，強(qiáng)化學(xué)習(xí)還可以以極大的樣本量去嘗試各種邊緣情況，積累經(jīng)驗(yàn)，之后再把模型遷移或微調(diào)到真實(shí)車輛上，這將極大優(yōu)化模型的訓(xùn)練效果。

簡而言之，當(dāng)問題表現(xiàn)為“連續(xù)決策、長期回報(bào)、即時反饋”時，強(qiáng)化學(xué)習(xí)提供了一條比規(guī)則更有彈性的途徑。

強(qiáng)化學(xué)習(xí)如何應(yīng)用到自動駕駛中

將自動駕駛系統(tǒng)拆分開看，其實(shí)是一條連續(xù)的系統(tǒng)，其最前端是感知，中間是決策規(guī)劃，末端是執(zhí)行控制。強(qiáng)化學(xué)習(xí)可以在多個環(huán)節(jié)發(fā)揮作用，但更多是用在決策與控制之間。

感知模塊負(fù)責(zé)把攝像頭、雷達(dá)、激光雷達(dá)這些原始數(shù)據(jù)處理成如周圍車輛的位置和速度、車道線、交通標(biāo)志等對路況有用的表征信息。決策模塊要基于這些信息決定接下來幾秒鐘內(nèi)的動作。

圖片源自：網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)的優(yōu)勢在于，它可以把決策看作是一個優(yōu)化問題，其不只是考慮當(dāng)前動作的即時好壞，更會衡量動作序列在未來帶來的累計(jì)效果。因此在跟車、換道、避障和復(fù)雜交叉口應(yīng)對這類需要考慮連貫動作與長期影響的任務(wù)上，強(qiáng)化學(xué)習(xí)能學(xué)出比單步規(guī)則更流暢、可預(yù)測的行為。

在很多的技術(shù)方案中，強(qiáng)化學(xué)習(xí)不僅可以單獨(dú)作為一個端到端控制器，從傳感器輸入直接學(xué)習(xí)輸出控制命令，也可以作為決策層的一個組件，與傳統(tǒng)規(guī)劃器或約束優(yōu)化器協(xié)同工作。前者在學(xué)出來后更簡潔，但可解釋性和可驗(yàn)證性較差；后者能把強(qiáng)化學(xué)習(xí)產(chǎn)生的策略納入現(xiàn)有安全約束下進(jìn)行檢查和修正，從而兼顧靈活性和安全性。

現(xiàn)階段很多常見的做法是先用模擬器做大量訓(xùn)練，得到一個初步策略，再用監(jiān)督學(xué)習(xí)的方法做預(yù)訓(xùn)練，把人類駕駛數(shù)據(jù)用作引導(dǎo)，最后在仿真里用強(qiáng)化學(xué)習(xí)精調(diào)。這樣的復(fù)合流程能顯著提升模型訓(xùn)練效率并降低在真實(shí)世界試錯的風(fēng)險。

強(qiáng)化學(xué)習(xí)有什么問題？

強(qiáng)化學(xué)習(xí)的概念看起來的確不錯，可以讓大模型自己學(xué)習(xí)，并研究出一套可行的駕駛策略。但想把它安全可靠地部署到車輛上，并不是一朝一夕的事情。其最大的問題就是安全與魯棒性。

仿真和真實(shí)世界一定會存在差距，這個差距會讓在仿真中表現(xiàn)良好的策略在實(shí)車上出現(xiàn)意外行為。環(huán)境變化、傳感器噪聲、極端天氣、未見過的交通流模式等都會考驗(yàn)?zāi)Ｐ偷姆夯芰?。深度?qiáng)化學(xué)習(xí)一般還是黑盒式的，難以解釋模型為什么在某個時刻做出某個決定，這給責(zé)任歸屬、事故分析和安全驗(yàn)證帶來了極大挑戰(zhàn)。

強(qiáng)化學(xué)習(xí)的訓(xùn)練成本也是很現(xiàn)實(shí)的問題，強(qiáng)化學(xué)習(xí)需要大量多樣的樣本來覆蓋邊緣情況，光靠真實(shí)道路采集不僅危險還很慢，因此很多訓(xùn)練必須在高質(zhì)量的仿真中完成，而高保真模擬本身就需要很高的成本投入且需不斷精細(xì)化，這無疑提高了成本。

強(qiáng)化學(xué)習(xí)還會面臨在線學(xué)習(xí)和離線學(xué)習(xí)之間的取舍。完全在線學(xué)習(xí)在真實(shí)道路上意味著系統(tǒng)會在行駛過程中不斷試錯，這必然會帶來很多的風(fēng)險。而長期離線訓(xùn)練則可能讓模型落后于環(huán)境變化，為此，就就需要周期性地遷移學(xué)習(xí)或進(jìn)行持續(xù)集成。

最后的話

強(qiáng)化學(xué)習(xí)的核心價值在于為序列決策問題提供系統(tǒng)化的解決框架，尤其在處理長期目標(biāo)、復(fù)雜交互與高維感知方面展現(xiàn)出很強(qiáng)的潛力。但想將其從算法潛力變成可靠應(yīng)用的轉(zhuǎn)化，始終面臨可驗(yàn)證性、安全約束與工程落地的核心挑戰(zhàn)。當(dāng)前可以將強(qiáng)化學(xué)習(xí)視為一種強(qiáng)大的優(yōu)化與決策組件，在明確邊界內(nèi)與傳統(tǒng)方法進(jìn)行架構(gòu)性整合。

審核編輯 黃宇