[首發(fā)于智駕最前沿微信公眾號(hào)]感知系統(tǒng)對(duì)于自動(dòng)駕駛來(lái)說(shuō)，就像是眼睛和翻譯官的角色。這套系統(tǒng)不僅要捕捉到周圍環(huán)境的光影信號(hào)，更需要將這些支離破碎的像素點(diǎn)轉(zhuǎn)化為計(jì)算機(jī)能夠理解的物理實(shí)體。

在過(guò)去很長(zhǎng)一段時(shí)間里，行業(yè)內(nèi)主流的感知方案是基于目標(biāo)檢測(cè)的思維方式，也就是在三維空間中尋找特定的物體，并用一個(gè)緊湊的長(zhǎng)方體框?qū)⑺鼈內(nèi)Χǔ鰜?lái)。這種被稱為“3D目標(biāo)檢測(cè)”的方法在處理常見(jiàn)的汽車、行人和自行車時(shí)表現(xiàn)得非常高效，它能告訴車輛前方有一輛多少米長(zhǎng)、多少米寬的小轎車。

然而，現(xiàn)實(shí)交通環(huán)境的復(fù)雜程度遠(yuǎn)超實(shí)驗(yàn)室里預(yù)定義的標(biāo)簽庫(kù)。當(dāng)?shù)缆飞铣霈F(xiàn)一輛側(cè)翻的油罐車、一個(gè)散落的紙箱，或者是一個(gè)伸出吊臂的起重機(jī)時(shí)，傳統(tǒng)的畫(huà)框式算法就會(huì)顯得捉襟見(jiàn)肘，因?yàn)檫@些東西的形狀極不規(guī)則，很難用一個(gè)標(biāo)準(zhǔn)的方盒子去準(zhǔn)確描述。

為了解決這些“不在名單上”的風(fēng)險(xiǎn)，占用網(wǎng)絡(luò)應(yīng)運(yùn)而生。它不再嘗試去辨認(rèn)每個(gè)物體的具體身份，而是將整個(gè)物理世界切分成無(wú)數(shù)個(gè)微小的、邊長(zhǎng)通常只有十幾厘米的立方體，這些小方塊被稱為“體素”。

占用網(wǎng)絡(luò)只需要判斷每一個(gè)體素是否被物理實(shí)體所占據(jù)。這種從“物體檢測(cè)”到“空間占據(jù)預(yù)測(cè)”的邏輯轉(zhuǎn)變，讓自動(dòng)駕駛系統(tǒng)具備了識(shí)別任何形狀障礙物的能力。

傳統(tǒng)視覺(jué)感知有何痛點(diǎn)？

在深入探討占用網(wǎng)絡(luò)之前，有必要先厘清下傳統(tǒng)感知方案在面對(duì)異形物體時(shí)的痛點(diǎn)。早期的自動(dòng)駕駛算法高度依賴“分類”邏輯，也就是系統(tǒng)必須先知道一個(gè)東西是什么，才能確定它在哪。這種邏輯在處理“本體裂紋”或“語(yǔ)義裂縫”時(shí)非常脆弱。

舉個(gè)例子，如果一個(gè)算法的訓(xùn)練集里全都是標(biāo)準(zhǔn)的貨車，當(dāng)它在路上遇到一輛拉著長(zhǎng)木材、木材向后延伸出車廂數(shù)米的拖掛車時(shí)，系統(tǒng)可能只會(huì)把車頭和車廂識(shí)別為一個(gè)長(zhǎng)方體，而忽略掉那些向外延伸的木材。

對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，這種對(duì)空間理解的缺失是非常致命的，因?yàn)檫@意味著規(guī)劃器可能會(huì)認(rèn)為車后方的空間是空的，從而在變道時(shí)發(fā)生碰撞。

此外，傳統(tǒng)3D目標(biāo)檢測(cè)還存在著形狀剛性的挑戰(zhàn)。它嘗試用一個(gè)長(zhǎng)、寬、高固定的立方體去套住所有物體，但在現(xiàn)實(shí)中，很多障礙物是可變形的或者是中空的。

像是一輛正在施工的灑水車，它噴出的水霧在視覺(jué)上可能很模糊，或者一輛造型奇特的工程車，其吊臂懸浮在半空中。傳統(tǒng)的方盒子無(wú)法描述這種“懸空”或“非連續(xù)”的物理占據(jù)，就會(huì)將吊臂下方的空地也標(biāo)記為不可通行，或者干脆完全漏掉懸空的吊臂。

這種對(duì)空間細(xì)節(jié)的粗糙處理，使得車輛在復(fù)雜的城市窄路或施工區(qū)域行駛時(shí)，表現(xiàn)得畏首畏尾或者極度危險(xiǎn)。

視覺(jué)感知還有一個(gè)固有缺陷是深度信息的缺失。雖然我們可以通過(guò)算法將二維圖像轉(zhuǎn)化為三維坐標(biāo)，但在遠(yuǎn)距離場(chǎng)景下，這種轉(zhuǎn)化的誤差會(huì)呈指數(shù)級(jí)增長(zhǎng)。僅靠幾個(gè)像素點(diǎn)的變化來(lái)推斷地平線上一個(gè)物體的距離是非常不可靠的。激光雷達(dá)雖然能通過(guò)物理反射解決距離問(wèn)題，但其成本限制了自動(dòng)駕駛的大規(guī)模普及。

在這種背景下，如何用廉價(jià)的攝像頭實(shí)現(xiàn)媲美激光雷達(dá)的空間建模能力，成為了感知技術(shù)演進(jìn)的核心驅(qū)動(dòng)力。占用網(wǎng)絡(luò)正是在這種需求下，通過(guò)將感知空間從二維平面提升到三維體素，為純視覺(jué)方案補(bǔ)齊了最后一塊短板。

占用網(wǎng)絡(luò)的是如何實(shí)現(xiàn)場(chǎng)景理解的？

占用網(wǎng)絡(luò)的核心理念是將車輛周圍的物理空間徹底“數(shù)字化”。它不再嘗試去理解具體的物體語(yǔ)義，而是將感知的焦點(diǎn)回歸到最原始的問(wèn)題，這個(gè)點(diǎn)上到底有沒(méi)有東西。

為了實(shí)現(xiàn)這一點(diǎn)，系統(tǒng)會(huì)通過(guò)環(huán)視攝像頭捕獲360度的圖像數(shù)據(jù)，然后利用特征提升，將這些二維的像素特征映射到一個(gè)三維的向量空間中。

在這個(gè)過(guò)程中，Transformer架構(gòu)起到了至關(guān)重要的作用。它像是一組敏銳的探測(cè)波，在三維空間中進(jìn)行“位置查詢”，通過(guò)注意力機(jī)制去尋找不同視角的圖像中哪些像素點(diǎn)指向了同一個(gè)物理空間點(diǎn)，從而在系統(tǒng)內(nèi)部構(gòu)建起一個(gè)密集的、充滿了特征信息的立體網(wǎng)格。

這種體素化的表示方法與傳統(tǒng)的點(diǎn)云數(shù)據(jù)有著異曲同工之妙，但它比點(diǎn)云更進(jìn)一步。點(diǎn)云僅僅是物體的表面反射點(diǎn)，而占用網(wǎng)絡(luò)生成的體素網(wǎng)格是連續(xù)的、稠密的。它不僅記錄了物體的表面，還隱含了空間的占據(jù)狀態(tài)。

特斯拉的占用網(wǎng)絡(luò)可以在大約10毫秒內(nèi)完成一次全局的空間預(yù)測(cè)，這個(gè)速度遠(yuǎn)超人類的反應(yīng)極限。它會(huì)將世界劃分為一個(gè)個(gè)極小的立方體，并為每個(gè)立方體賦予一個(gè)“占據(jù)概率”。如果某個(gè)位置的占據(jù)概率超過(guò)了設(shè)定的閾值，規(guī)劃器就會(huì)將其視為障礙物，從而在路徑搜索中自動(dòng)繞開(kāi)該區(qū)域。

值得一提的是，占用網(wǎng)絡(luò)在提升空間分辨率方面也有一套精妙的算法。由于車載芯片的內(nèi)存和算力是有限的，系統(tǒng)不可能對(duì)所有的空間都進(jìn)行同樣精細(xì)的劃分。

因此，先進(jìn)的算法會(huì)采用“按需分配”的策略，在靠近車輛行駛路徑的區(qū)域，體素劃分得非常細(xì)致，足以看清路面上一個(gè)小小的路障；而在遠(yuǎn)離車輛或者天空中不影響行駛的區(qū)域，則使用較粗的網(wǎng)格以節(jié)省計(jì)算資源。

這種“分辨率在關(guān)鍵處發(fā)力”的設(shè)計(jì)，使得占用網(wǎng)絡(luò)能夠在實(shí)時(shí)性與準(zhǔn)確性之間找到完美的平衡點(diǎn)。

為了確保預(yù)測(cè)的準(zhǔn)確性，現(xiàn)代占用網(wǎng)絡(luò)還會(huì)引入時(shí)序融合機(jī)制。它不只是根據(jù)當(dāng)前的一幀畫(huà)面做判斷，還會(huì)參考過(guò)去幾十毫秒甚至幾百毫秒的特征流。這種跨時(shí)間的特征比對(duì)，不僅能過(guò)濾掉單幀圖像中可能出現(xiàn)的噪點(diǎn)，還能讓系統(tǒng)感知到物體是如何在三維空間中移動(dòng)的。

這種時(shí)空的交織，讓車輛不僅擁有“立體感”，還擁有了某種程度上的“物理常識(shí)”。如當(dāng)系統(tǒng)看到一組體素正在向前快速移動(dòng)時(shí)，它能通過(guò)歷史數(shù)據(jù)的一致性判斷出這大概率是一個(gè)動(dòng)態(tài)的交通參與者，而不是路邊靜止的建筑殘骸。

占用網(wǎng)絡(luò)如何解決“看不見(jiàn)的風(fēng)險(xiǎn)”？

占用網(wǎng)絡(luò)最引以為傲的能力，就是它對(duì)“長(zhǎng)尾障礙物”或異形物體有極高魯棒性。在傳統(tǒng)的自動(dòng)駕駛邏輯中，異形物體幾乎就是“無(wú)法識(shí)別”的。但是因?yàn)檎加镁W(wǎng)絡(luò)本質(zhì)上是在做三維空間的幾何重構(gòu)，它對(duì)物體的外觀、顏色或者類別完全不敏感。它只關(guān)心一點(diǎn)，如果在一個(gè)特定的空間坐標(biāo)上，攝像頭觀察到了持續(xù)的視覺(jué)遮擋和特征反饋，那么這個(gè)空間就是“被占據(jù)”的。

這就好比在黑夜中用手摸索前方的障礙。傳統(tǒng)算法像是必須通過(guò)手感猜出摸到的是椅子還是桌子才能避開(kāi)，而占用網(wǎng)絡(luò)則只要發(fā)現(xiàn)手伸不過(guò)去，就立刻認(rèn)定那里有東西。

這種“幾何優(yōu)先”的思維方式徹底解決了語(yǔ)義裂縫問(wèn)題。無(wú)論障礙物是一輛翻倒的灑水車、一堆凌亂的建筑材料，還是一棵橫在路中央的斷樹(shù)，占用網(wǎng)絡(luò)都能精準(zhǔn)地描繪出它們?cè)谌S空間中的實(shí)際輪廓，而不會(huì)像傳統(tǒng)算法那樣，試圖用長(zhǎng)方體去強(qiáng)行套住這些形狀奇詭的東西。

此外，占用網(wǎng)絡(luò)對(duì)于處理“懸空障礙物”具有天然的優(yōu)勢(shì)。這是BEV（鳥(niǎo)瞰圖）技術(shù)在升維過(guò)程中最容易遺失的信息。在傳統(tǒng)的BEV架構(gòu)下，所有東西都被壓扁到了一個(gè)二維的地平面上，系統(tǒng)很難區(qū)分一個(gè)物體到底是長(zhǎng)在地上，還是懸在空中。

而占用網(wǎng)絡(luò)通過(guò)在Z軸（高度軸）上的多層體素劃分，可以清晰地識(shí)別出路面上的隔離帶和橫跨路面的限高桿之間的空間差異。它能告訴車輛，底盤可以安全通過(guò)某些低矮的坑洼，但車頂可能會(huì)撞上前方低垂的樹(shù)枝。這種全方位的幾何理解，讓自動(dòng)駕駛汽車在應(yīng)對(duì)復(fù)雜的施工現(xiàn)場(chǎng)或不規(guī)則的立交橋下空間時(shí)，具備類似人類駕駛員的直覺(jué)。

此外，占用網(wǎng)絡(luò)還具備卓越的“腦補(bǔ)”能力，這在處理遮擋問(wèn)題時(shí)尤為關(guān)鍵。當(dāng)一輛大貨車遮擋住了后方的部分視野時(shí)，傳統(tǒng)的點(diǎn)云方案只能看到貨車的側(cè)面，而無(wú)法知道貨車后面是否還藏著其他東西。

占用網(wǎng)絡(luò)通過(guò)深度學(xué)習(xí)積累的幾何先驗(yàn)，可以在一定程度上預(yù)測(cè)被遮擋區(qū)域的占據(jù)狀態(tài)，并將這些預(yù)測(cè)信息提供給下游的避障算法。這種對(duì)未知空間的防御性建模，極大地提升了車輛在十字路口或視線受阻區(qū)域行駛時(shí)的安全性。

占用流如何實(shí)現(xiàn)預(yù)測(cè)能力？

如果說(shuō)三維體素解決了空間識(shí)別的問(wèn)題，那么“占用流”（Occupancy Flow）則賦予了系統(tǒng)對(duì)動(dòng)態(tài)世界的預(yù)測(cè)能力。

占用流不僅能告訴我們哪些空間被占用了，還能給出每一個(gè)被占用體素的運(yùn)動(dòng)矢量。通過(guò)分析這些矢量的顏色和方向，規(guī)劃算法可以清晰地預(yù)判周圍物體的運(yùn)動(dòng)軌跡。

占用流的引入，本質(zhì)上是引入了物理世界的守恒定律。它意識(shí)到，一個(gè)體素如果現(xiàn)在被占據(jù)了，它下一刻要么留在原地，要么會(huì)移動(dòng)到相鄰的體素位置。這種局部的連貫性約束，使得系統(tǒng)在處理行人鬼探頭、車輛緊急加塞等高風(fēng)險(xiǎn)場(chǎng)景時(shí)，能夠比傳統(tǒng)基于目標(biāo)追蹤的方法更快地做出反應(yīng)。

系統(tǒng)不再需要經(jīng)歷“識(shí)別物體-關(guān)聯(lián)歷史幀-計(jì)算速度-生成預(yù)測(cè)軌跡”的長(zhǎng)鏈條，而是直接觀察體素占據(jù)狀態(tài)的流轉(zhuǎn)趨勢(shì)。這種毫秒級(jí)的響應(yīng)速度提升，往往就是避免一場(chǎng)碰撞的關(guān)鍵。

在模型訓(xùn)練中，占用網(wǎng)絡(luò)也利用了許多前沿的技術(shù)手段來(lái)提升自身的進(jìn)化速度。由于人工標(biāo)注三維體素是一項(xiàng)幾乎不可能完成的任務(wù)，行業(yè)內(nèi)普遍采用“NeRF（神經(jīng)輻射場(chǎng)）”等離線重建技術(shù)進(jìn)行自動(dòng)標(biāo)注。

車輛在行駛過(guò)程中會(huì)通過(guò)眾包的形式收集海量的視覺(jué)數(shù)據(jù)，在云端通過(guò)NeRF技術(shù)還原出極其真實(shí)的3D場(chǎng)景，并以此作為真值來(lái)訓(xùn)練車端的小模型。這種“云端重構(gòu)、車端預(yù)測(cè)”的閉環(huán)，讓占用網(wǎng)絡(luò)能夠從全球數(shù)百萬(wàn)輛車的日常行駛中不斷學(xué)習(xí)，從而持續(xù)增強(qiáng)其泛化能力。

最后的話

占用網(wǎng)絡(luò)不僅是感知的終點(diǎn)，更是實(shí)現(xiàn)“端到端”自動(dòng)駕駛的重要基石。當(dāng)感知系統(tǒng)輸出的是一幅連續(xù)的、帶有物理屬性的四維占用圖時(shí)，下游的規(guī)劃和控制模塊就可以尋找那些概率最低的空隙進(jìn)行穿梭。

這種深度的集成，消除了模塊間由于信息壓縮導(dǎo)致的誤差，讓自動(dòng)駕駛汽車的行為變得更加擬人、更加流暢。雖然目前占用網(wǎng)絡(luò)還面臨著遠(yuǎn)距離精度不足、計(jì)算功耗高等挑戰(zhàn)，但隨著車載算力的爆發(fā)和算法的迭代，這種讓萬(wàn)物皆可被感知的技術(shù)方法，必將徹底重塑人類出行的安全標(biāo)準(zhǔn)。