[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛領(lǐng)域，如何準(zhǔn)確地感知和理解周?chē)娜S環(huán)境始終是技術(shù)核心。早期的感知方案主要依賴于二維目標(biāo)檢測(cè)，即通過(guò)圖像識(shí)別出車(chē)輛、行人和交通標(biāo)志，并在其周?chē)?huà)出矩形框。

這種基于框的識(shí)別方式在面對(duì)復(fù)雜和不規(guī)則物體時(shí)顯得力不從心。隨著技術(shù)的發(fā)展，鳥(niǎo)瞰圖技術(shù)將多攝像頭采集的圖像轉(zhuǎn)換到俯視坐標(biāo)系中，極大地改善了路徑規(guī)劃的效率，但它依然忽略了高度維度的信息。占用網(wǎng)絡(luò)的出現(xiàn)徹底改變了這一現(xiàn)狀。

占用網(wǎng)絡(luò)的優(yōu)勢(shì)是什么？

占用網(wǎng)絡(luò)不再只是關(guān)注路面上“這是一個(gè)什么物體”，而是通過(guò)將三維空間切分為無(wú)數(shù)個(gè)細(xì)小的方塊，即體素，來(lái)預(yù)測(cè)每個(gè)空間單位是否被占據(jù)。這種從“物體優(yōu)先”向“幾何優(yōu)先”的轉(zhuǎn)變，使自動(dòng)駕駛系統(tǒng)能夠識(shí)別出那些在傳統(tǒng)模型庫(kù)中不存在的異形物體，從而有效填補(bǔ)了感知上的語(yǔ)義裂隙。

占用網(wǎng)絡(luò)的核心優(yōu)勢(shì)在于它能夠提供一種密集的、具有高度信息的環(huán)境描述。通過(guò)這種方式，車(chē)輛不僅能看到前方有一輛車(chē)，還能感知到路面上的細(xì)微起伏、伸向道路的樹(shù)枝或是傾斜的路燈桿。這種全方位的感知能力直接提升了自動(dòng)駕駛系統(tǒng)在復(fù)雜城市場(chǎng)景和非結(jié)構(gòu)化道路中的安全性。

圖片源自：網(wǎng)絡(luò)

在占用網(wǎng)絡(luò)的構(gòu)建過(guò)程中，針對(duì)不同性質(zhì)的場(chǎng)景元素采取差異化的處理手段是提升精度的關(guān)鍵。尤其是路面與天空這兩類(lèi)特征迥異的場(chǎng)景，它們分別代表了物理世界的“支撐面”與“無(wú)窮遠(yuǎn)邊界”，其處理邏輯在算法底層有著本質(zhì)的區(qū)別。

占用網(wǎng)絡(luò)通常由一個(gè)強(qiáng)大的主干網(wǎng)絡(luò)提取多視角圖像特征，隨后利用注意力機(jī)制將這些二維特征投影到三維體素空間中。在這一過(guò)程中，算法必須能夠辨別哪些像素對(duì)應(yīng)著立體的物理障礙物，哪些像素僅僅是作為背景存在。

路面作為車(chē)輛行駛的基礎(chǔ)，其幾何特征的重構(gòu)精度直接影響到避障和懸掛控制；而天空則是一個(gè)沒(méi)有深度信息的區(qū)域，它在占用網(wǎng)絡(luò)中更多地扮演著“幾何定標(biāo)”和“負(fù)約束”的角色。對(duì)這兩個(gè)場(chǎng)景進(jìn)行差異化處理，不僅是提升算力效率的需要，更是實(shí)現(xiàn)高可靠感知的必然選擇。

占用網(wǎng)絡(luò)如何處理路面？

路面在占用網(wǎng)絡(luò)中被視為最基礎(chǔ)的靜態(tài)場(chǎng)景。雖然在視覺(jué)上路面呈現(xiàn)出較為統(tǒng)一的紋理，但在三維空間中，路面的處理遠(yuǎn)比看上去復(fù)雜。路面不僅是“被占據(jù)”的體素，它還承載著坡度、顛簸以及路緣石等關(guān)鍵幾何信息。

為了做好路面的區(qū)分，占用網(wǎng)絡(luò)首先需要解決高精度的高度估計(jì)問(wèn)題。傳統(tǒng)的視覺(jué)感知算法在處理遠(yuǎn)距離路面時(shí)，由于透視效應(yīng)和圖像分辨率的限制，會(huì)出現(xiàn)嚴(yán)重的深度誤差。占用網(wǎng)絡(luò)通過(guò)引入高程重構(gòu)技術(shù)，能夠刻畫(huà)出路面的凹凸不平，這對(duì)于車(chē)輛在復(fù)雜地形下的速度規(guī)劃至關(guān)重要。

在處理路面時(shí)，算法會(huì)利用“地平面先驗(yàn)”作為約束。這意味著模型會(huì)預(yù)先假設(shè)路面是一個(gè)大致連續(xù)的表面，并在此基礎(chǔ)上通過(guò)多幀圖像的融合來(lái)消除單幀預(yù)測(cè)帶來(lái)的噪聲。

對(duì)于非結(jié)構(gòu)化道路中的起伏，一些先進(jìn)的模型采用了坡度感知的自適應(yīng)特征提取模塊。該模塊可以根據(jù)輸入圖像動(dòng)態(tài)調(diào)整特征權(quán)重，從而在陡坡或急彎處保持穩(wěn)定的路面追蹤能力。

與處理障礙物不同，路面的體素填充邏輯一般是分層進(jìn)行的。模型會(huì)先生成一個(gè)粗略的地面網(wǎng)格，再根據(jù)局部的圖像特征進(jìn)行亞體素級(jí)別的細(xì)節(jié)修正，這種從粗到精的過(guò)程保證了感知系統(tǒng)對(duì)行駛路徑的精準(zhǔn)判斷。

數(shù)據(jù)層面的處理同樣體現(xiàn)了路面的特殊性。在生成用于訓(xùn)練占用網(wǎng)絡(luò)的地面真值標(biāo)簽時(shí)，直接使用激光雷達(dá)點(diǎn)云會(huì)遇到稀疏性的問(wèn)題。由于激光束與地面夾角很小，遠(yuǎn)處的點(diǎn)云幾乎無(wú)法覆蓋地面。

因此，有技術(shù)提出了專(zhuān)門(mén)的標(biāo)簽生成管線，通過(guò)融合多幀序列、利用泊松重構(gòu)等算法填補(bǔ)空洞，從而生成一個(gè)連續(xù)、平滑且具有真實(shí)語(yǔ)義的路面體素模型。

此外，針對(duì)路面反光或陰影導(dǎo)致的識(shí)別錯(cuò)誤，占用網(wǎng)絡(luò)會(huì)結(jié)合語(yǔ)義分割信息，將標(biāo)記為“可行駛區(qū)域”的像素點(diǎn)與空間中的深度值進(jìn)行交叉驗(yàn)證，確保被占據(jù)的路面體素不會(huì)與空中的懸浮物混淆。

特斯拉等車(chē)企的占用網(wǎng)絡(luò)通過(guò)預(yù)測(cè)“帶符號(hào)距離場(chǎng)”來(lái)進(jìn)一步提升路面的表現(xiàn)。這種方法不僅能確定路面是否被占據(jù)，還能計(jì)算出空間中任意一點(diǎn)距離路面表面的精確距離。這種精度的提升使得車(chē)輛能夠識(shí)別出路面上微小的凸起。這種對(duì)路面的精細(xì)化建模，極大地增強(qiáng)了自動(dòng)駕駛系統(tǒng)對(duì)復(fù)雜路況的適應(yīng)性。

占用網(wǎng)絡(luò)如何處理天空？

相比于路面的“重幾何”屬性，天空在占用網(wǎng)絡(luò)中的處理邏輯則更傾向于“重語(yǔ)義”和“負(fù)反饋”。天空其實(shí)是無(wú)盡的背景，激光雷達(dá)等主動(dòng)傳感器無(wú)法在天空區(qū)域獲得反射信號(hào)，因此天空在傳感器的原始數(shù)據(jù)中通常表現(xiàn)為“丟失”或“無(wú)窮遠(yuǎn)”。

如果算法不對(duì)天空進(jìn)行特殊處理，那么在將圖像特征投影到三維空間時(shí)，天空區(qū)域的像素特征可能會(huì)因?yàn)槿狈ι疃燃s束而沿著光束方向發(fā)生“漂移”，錯(cuò)誤地填充到近處的體素中，形成“深度流血”現(xiàn)象。

為了有效地區(qū)分天空，占用網(wǎng)絡(luò)引入了“天空接地”技術(shù)。這一技術(shù)是利用大模型或預(yù)訓(xùn)練的語(yǔ)義網(wǎng)絡(luò)識(shí)別出圖像中的天空區(qū)域，并將其作為感知系統(tǒng)的邊界約束。

在投影過(guò)程中，屬于天空區(qū)域的體素會(huì)被強(qiáng)制標(biāo)記為“空閑”或“未觀測(cè)”，從而防止系統(tǒng)在半空中產(chǎn)生虛假的障礙物。這種方法本質(zhì)上是將天空視為一個(gè)過(guò)濾器，利用視覺(jué)背景的確定性來(lái)反向優(yōu)化三維空間的幾何結(jié)構(gòu)。這與路面處理中不斷尋找“支撐點(diǎn)”的邏輯正好相反，天空的處理是在不斷地進(jìn)行“空間排除”。

天空在環(huán)境理解中還承擔(dān)著輔助定標(biāo)的任務(wù)。通過(guò)分析天空中云層的分布、光線的明暗以及地平線的位置，算法可以輔助修正相機(jī)的外參。在無(wú)人船或極端地形下的自動(dòng)駕駛中，利用顏色空間模型（如亮度與飽和度分布）對(duì)天空進(jìn)行精準(zhǔn)檢測(cè)，能夠幫助系統(tǒng)更快速地識(shí)別出陸地和水面的界限。

在占用網(wǎng)絡(luò)的訓(xùn)練階段，對(duì)于天空標(biāo)簽的缺失，研究人員會(huì)引入“能見(jiàn)度掩碼”的機(jī)制。該機(jī)制能夠區(qū)分一個(gè)體素是確實(shí)沒(méi)有被占據(jù)，還是因?yàn)楸徽趽醵鵁o(wú)法觀測(cè)。由于天空永遠(yuǎn)不會(huì)被“占據(jù)”，它在能見(jiàn)度推理中提供了一個(gè)天然的終點(diǎn)參考。

三透視視圖（TPV）等新型表征方式對(duì)天空的處理更加得心應(yīng)手。TPV將空間分解為頂視、側(cè)視和前視三個(gè)互相垂直的平面，天空的語(yǔ)義特征可以在側(cè)視和前視圖中得到充分的表達(dá)，而不會(huì)像傳統(tǒng)的鳥(niǎo)瞰圖（BEV）那樣將高度信息完全壓縮。

這種多維度的特征融合，當(dāng)像素出現(xiàn)在圖像上方且呈現(xiàn)出天空特有的色彩分布時(shí)，其對(duì)應(yīng)的三維體素應(yīng)具有極低的占據(jù)概率。這種語(yǔ)義驅(qū)動(dòng)的幾何推理，是占用網(wǎng)絡(luò)能夠處理各種復(fù)雜氣象和光照條件的關(guān)鍵所在。

異構(gòu)場(chǎng)景的統(tǒng)一建模與技術(shù)協(xié)同

占用網(wǎng)絡(luò)之所以強(qiáng)大，是因?yàn)樗茉谕粋€(gè)框架下，利用完全不同的邏輯同時(shí)處理路面、天空和各種復(fù)雜的障礙物。這種統(tǒng)一性是通過(guò)復(fù)雜的特征提升與融合機(jī)制實(shí)現(xiàn)的。

在自動(dòng)駕駛算法中，三透視視圖（TPV）和Transformer結(jié)構(gòu)的引入，使得模型能夠根據(jù)空間位置的動(dòng)態(tài)變化，自適應(yīng)地應(yīng)用不同的處理策略。如當(dāng)系統(tǒng)識(shí)別到一個(gè)體素位于車(chē)輛下方且語(yǔ)義接近“路面”時(shí)，會(huì)更側(cè)重于幾何表面的平滑性；而當(dāng)體素位于視野上方且呈現(xiàn)天空特征時(shí)，系統(tǒng)則會(huì)應(yīng)用更強(qiáng)的負(fù)約束來(lái)清空該區(qū)域。

為了在有限的算力下實(shí)現(xiàn)這種精細(xì)化的場(chǎng)景區(qū)分，有技術(shù)提出了“距離感知”的感知范式。在車(chē)輛附近的“安全核心區(qū)”，系統(tǒng)會(huì)分配更高的分辨率和更多的體素單元，以便精確重構(gòu)路面的每一個(gè)細(xì)節(jié)；而在遠(yuǎn)距離區(qū)域，則采用更粗糙的體素劃分，主要依靠語(yǔ)義信息來(lái)判斷天空和背景的邊界。

這種資源分配策略不僅模擬了人類(lèi)視覺(jué)“近精遠(yuǎn)粗”的特點(diǎn)，還顯著提升了系統(tǒng)的實(shí)時(shí)處理能力。

同時(shí)，為了解決傳感器數(shù)據(jù)的稀疏性和噪聲問(wèn)題，自監(jiān)督學(xué)習(xí)技術(shù)開(kāi)始嶄露頭角。通過(guò)利用神經(jīng)輻射場(chǎng)（NeRF）等渲染技術(shù)，模型可以將預(yù)測(cè)的三維占用圖重新投影回二維圖像，并與原始視頻幀進(jìn)行比對(duì)，從而在沒(méi)有人工標(biāo)注的情況下，自主學(xué)習(xí)如何區(qū)分復(fù)雜的路面紋理與變幻莫測(cè)的天空背景。