[首發(fā)于智駕最前沿微信公眾號(hào)]世界模型應(yīng)該是這兩天自動(dòng)駕駛行業(yè)討論度非常高的一項(xiàng)技術(shù)。通俗來(lái)講，世界模型就像是給自動(dòng)駕駛車輛裝上了一個(gè)具備想象力的大腦。它不僅能看到眼前的紅綠燈和行人，還能根據(jù)當(dāng)前的狀況推演未來(lái)幾秒鐘內(nèi)交通環(huán)境可能發(fā)生的變化。這種預(yù)測(cè)未來(lái)的能力，是實(shí)現(xiàn)復(fù)雜場(chǎng)景自主決策的關(guān)鍵，但在實(shí)際部署時(shí)，卻有非常多的問(wèn)題需要解決。

復(fù)雜的世界如何塞進(jìn)算法？

想要讓算法理解現(xiàn)實(shí)世界，首先要解決的是數(shù)據(jù)壓縮與特征提取的問(wèn)題。現(xiàn)實(shí)環(huán)境的信息量是爆炸式的，攝像頭、激光雷達(dá)和毫米波雷達(dá)每秒鐘產(chǎn)生的數(shù)據(jù)多達(dá)數(shù)個(gè)GB。如果直接讓模型去處理這些原始像素或點(diǎn)云，計(jì)算壓力會(huì)大到無(wú)法想象。因此，世界模型的第一步是建立一個(gè)潛空間，也就是將復(fù)雜的視覺信息壓縮成一組精煉的數(shù)學(xué)向量。

圖片源自：網(wǎng)絡(luò)

這種壓縮過(guò)程非常容易丟失關(guān)鍵細(xì)節(jié)。比如遠(yuǎn)處的紅綠燈顏色、地面的細(xì)微結(jié)冰痕跡或者行人的一個(gè)眼神動(dòng)作，在數(shù)據(jù)大幅度降維的過(guò)程中可能被當(dāng)作“噪聲”過(guò)濾掉。而在自動(dòng)駕駛中，這些細(xì)節(jié)往往決定了決策的成敗。如何在保持模型運(yùn)算效率的同時(shí)，精準(zhǔn)地捕捉到那些能夠影響駕駛安全的微小特征，是目前技術(shù)實(shí)現(xiàn)的第一個(gè)難點(diǎn)。

此外，潛空間的狀態(tài)表示需要具備極強(qiáng)的泛化能力。如果模型只在晴天和寬敞的高速公路上訓(xùn)練，當(dāng)它面對(duì)暴雨、大雪或者擁堵的城中村路口時(shí)，原有的壓縮邏輯就可能會(huì)失效。這種對(duì)未知環(huán)境的理解深度，直接決定了世界模型是否能像人類駕駛員那樣，在陌生路段也能迅速做出合理的判斷。

面對(duì)不確定性時(shí)該怎么辦？

世界模型的核心任務(wù)是預(yù)測(cè)未來(lái)，但未來(lái)本身是具有多重可能性的，這在技術(shù)上被稱為多模態(tài)預(yù)測(cè)。當(dāng)車輛行駛到一個(gè)十字路口，左側(cè)的行人可能繼續(xù)直行，也可能突然停下。如果模型只能給出一個(gè)確定的預(yù)測(cè)結(jié)果，那么一旦現(xiàn)實(shí)情況偏離了預(yù)測(cè)軌道，系統(tǒng)就會(huì)陷入混亂。

圖片源自：網(wǎng)絡(luò)

對(duì)于這個(gè)問(wèn)題，目前的難題在于，模型如何在概率分布中找到平衡。如果預(yù)測(cè)得過(guò)于發(fā)散，車輛會(huì)因?yàn)榭紤]到所有潛在的危險(xiǎn)而變得異常膽小，甚至在空曠的路口遲疑不決；如果預(yù)測(cè)得過(guò)于集中，又容易忽略掉低概率但高風(fēng)險(xiǎn)的極端情況。這種對(duì)未來(lái)可能性的建模，要求模型不僅要學(xué)習(xí)物體運(yùn)動(dòng)的物理規(guī)律，還要在某種程度上理解社會(huì)契約和交通心理，這顯然超出了單純圖像識(shí)別的范疇。

在長(zhǎng)序列預(yù)測(cè)中，不確定性帶來(lái)的問(wèn)題會(huì)呈幾何倍數(shù)增長(zhǎng)。隨著預(yù)測(cè)時(shí)間軸的拉長(zhǎng)，微小的初始誤差會(huì)被不斷放大。模型預(yù)測(cè)出的未來(lái)圖像會(huì)從清晰變得模糊，甚至出現(xiàn)違反物理常識(shí)的幻覺，造成類似預(yù)測(cè)出的車輛憑空消失或建筑發(fā)生形變的情況。如何保證模型在預(yù)測(cè)未來(lái)數(shù)秒甚至更長(zhǎng)時(shí)間時(shí)，依然能維持畫面的邏輯一致性和物理真實(shí)性，是開發(fā)者必須跨越的一道坎。

算力真的跟得上實(shí)時(shí)響應(yīng)嗎？

自動(dòng)駕駛對(duì)實(shí)時(shí)性的要求近乎苛刻，任何決策延遲都可能導(dǎo)致嚴(yán)重的后果。目前主流的世界模型，尤其是基于擴(kuò)散模型或自回歸架構(gòu)的模型，其實(shí)需要巨大的計(jì)算資源。這些模型在生成高質(zhì)量的未來(lái)場(chǎng)景預(yù)測(cè)時(shí)，通常涉及大量的迭代計(jì)算，這在云端服務(wù)器上或許可行，但在車載計(jì)算平臺(tái)上卻面臨著嚴(yán)峻的功耗和散熱挑戰(zhàn)。

圖片源自：網(wǎng)絡(luò)

高分辨率的視頻生成和多傳感器的融合處理，對(duì)顯存帶寬和處理器性能提出了極高要求。如果世界模型的推演速度跟不上車輛的實(shí)際行駛速度，那么它的預(yù)測(cè)價(jià)值就會(huì)歸零。

目前，行業(yè)內(nèi)正在嘗試各種剪枝、量化和模型蒸餾的方法，試圖在保證預(yù)測(cè)精度的前提下，壓減模型的參數(shù)規(guī)模。但這種優(yōu)化其實(shí)會(huì)面臨著既要又要的局面，減小模型會(huì)降低其對(duì)復(fù)雜環(huán)境的理解力，維持規(guī)模又難以達(dá)到毫秒級(jí)的響應(yīng)速度。

另外，訓(xùn)練這些模型本身也是一項(xiàng)耗資巨大的工程。世界模型需要海量的、帶有高質(zhì)量標(biāo)注的視頻數(shù)據(jù)進(jìn)行強(qiáng)化學(xué)習(xí)，而這些數(shù)據(jù)的收集、清洗和訓(xùn)練過(guò)程消耗的電力和硬件資源，對(duì)于大多數(shù)企業(yè)來(lái)說(shuō)都是沉重的負(fù)擔(dān)。如何通過(guò)更高效的算法架構(gòu)實(shí)現(xiàn)小樣本學(xué)習(xí)或者自監(jiān)督學(xué)習(xí)，降低對(duì)頂級(jí)算力的依賴，是技術(shù)能否大規(guī)模普及的關(guān)鍵。

預(yù)測(cè)誤差是如何滾雪球的？

由于世界模型在預(yù)測(cè)時(shí)會(huì)采用自回歸的方式，即把前一刻預(yù)測(cè)出的結(jié)果作為下一刻預(yù)測(cè)的輸入，這不可避免地引入了誤差累積的問(wèn)題，這也被形象地稱為“曝光偏差”。在實(shí)際駕駛中，即使每一步的預(yù)測(cè)誤差只有1%，在經(jīng)過(guò)幾十次的連續(xù)反饋后，最終的判斷可能已經(jīng)南轅北轍，導(dǎo)致車輛做出完全錯(cuò)誤的避障動(dòng)作。

這種累積誤差在面對(duì)突發(fā)狀況時(shí)表現(xiàn)得尤為明顯。比如前方車輛突然急剎，模型如果沒(méi)能在第一幀準(zhǔn)確捕捉到剎車燈亮起的細(xì)微變化，后續(xù)的所有推演都會(huì)建立在“前車勻速行駛”的錯(cuò)誤假設(shè)之上。這種閉環(huán)系統(tǒng)中的不穩(wěn)定性，要求模型必須具備強(qiáng)大的實(shí)時(shí)糾錯(cuò)能力。

圖片源自：網(wǎng)絡(luò)

為了解決這個(gè)問(wèn)題，目前的策略是在預(yù)測(cè)過(guò)程中不斷引入真實(shí)的觀測(cè)數(shù)據(jù)進(jìn)行校準(zhǔn)。但這又帶來(lái)了新的矛盾，如果系統(tǒng)過(guò)于依賴實(shí)時(shí)觀測(cè)，世界模型的預(yù)測(cè)意義就會(huì)被削弱，退化回傳統(tǒng)的感知系統(tǒng)；如果過(guò)于依賴內(nèi)部推演，又容易脫離現(xiàn)實(shí)。尋找預(yù)測(cè)推演與實(shí)時(shí)感知的黃金平衡點(diǎn)，并有效遏制誤差的雪球效應(yīng)，依然是當(dāng)前自動(dòng)駕駛領(lǐng)域最前沿、也最棘手的課題之一。

審核編輯 黃宇