[首發(fā)于智駕最前沿微信公眾號]在自動駕駛領域，經常會聽到BEV相關的技術討論。BEV是Bird’s Eye View的縮寫，中文譯為“鳥瞰視角”或“俯視圖”。簡單理解它的含義，就是把攝像頭、激光雷達、毫米波雷達或地圖信息，統(tǒng)一映射到同一張以車為中心或者以世界坐標為基準的平面上，自動駕駛系統(tǒng)會像站在空中俯瞰一樣，同時看到車周圍所有物體的位置、車道線以及靜態(tài)障礙物和動態(tài)交通參與者的分布。BEV能把三維的感知問題轉換成二維的空間推理問題，方便把感知、預測、規(guī)劃等耦合在一起，從而提升自動駕駛的安全性。

BEV作為一種中間表示（representation），其強調空間一致性。不管信息來自哪種傳感器、時間上如何變化，最后都可以放到同一個平面與同一坐標系下去表示。對于自動駕駛系統(tǒng)來說，統(tǒng)一視角帶來的直觀好處是很明顯的，規(guī)劃器可以直接在地圖樣式的平面上找可通行區(qū)域、預測模塊可以基于統(tǒng)一坐標去估算軌跡、感知模塊的輸出更容易被后一層模塊消費，從而構建起端到端更流暢的工作流。

BEV的技術架構與實現要點

要將傳感器數據變成可用的BEV表示，需要經過一系列的技術步驟，涉及到傳感器編碼、視角轉換與對齊、特征融合與BEV編碼、時序處理和任務頭（例如檢測、語義分割、軌跡預測、占據網格輸出等）等幾大關鍵模塊。這些步驟會因傳感器組合（純視覺、視覺+雷達、視覺+激光雷達等）不同而有所差異，但總體思路類似。

在純攝像頭的方案里，先把每個攝像頭的圖像經過一個特征提取網絡（例如卷積神經網絡或視覺變換器）得到高維特征圖。然后就是把這些視角特征“投影”到俯視平面上。實現純攝像頭的BEV最簡單的投影方式是基于幾何變換，如通過相機內外參和一個深度估計模塊，將像素點反投影為三維點，再把這些點按照地面坐標投影到平面上，形成BEV的特征投影圖。還有一些技術方案會在像素到BEV的映射中引入可學習的模塊，這些模塊可以在訓練中學習如何把不同視角、多尺度的特征以最合適的方式聚合到BEV網格中，從而緩解直接幾何投影帶來的空洞或誤差。

在帶有激光雷達的系統(tǒng)中，實現BEV的方式把LiDAR的點云先投影到BEV網格（通常稱為鳥瞰柵格），并把點云的強度、點數、最大/最小高度等信息編碼成每個網格單元的特征。激光雷達提供的深度信息本身就很準確，這使得BEV表示的定位精度更高、占據估計會更可靠。

毫米波雷達會提供稀疏但有用的速度信息，它能補充BEV中的動態(tài)信息。毫米波雷達的回波可以投影到BEV網格，用作速度場估計或作為輔助特征。BEV的實現關鍵在于坐標變換的精度、多傳感器間的時間對齊、以及如何在BEV網格上高效表示語義和運動信息。

在BEV的網絡架構內部，常用組件有BEVencoder（對BEV網格做進一步卷積/變換以增加感受野和語義聚合）、跨時間融合模塊（把多個時間步的BEV特征融合起來以獲得運動線索）、以及若干任務頭（用于輸出檢測框、分割掩碼、占用概率、軌跡預測等）。時序上需要考慮ego-motion（自車運動）的補償，也就是說在融合不同時間步信息前，必須把以往幀的BEV特征逆向轉換到當前坐標系，避免特征因車輛運動而錯位。

BEV對自動駕駛系統(tǒng)的影響與優(yōu)勢

BEV作為一種“面向空間”的表示，可以讓規(guī)劃器在同一張圖上進行可通行區(qū)域的搜索、障礙物避讓和軌跡生成。相比于處理多個感知框或不同相機視角的原始輸出，使用BEV后，規(guī)劃模塊面對的是一張有語義、有占據概率、且以精確坐標標注的地圖式數據，設計會變得更直觀，耦合度更低。

BEV也更利于多傳感器融合。相機擅長識別語義（行人、車道線、交通標志），LiDAR擅長提供幾何和精確距離，毫米波雷達擅長速度測量。把這些信息都投影到同一個BEV網格后，融合的方式就會從“跨傳感器的復雜特征對齊”變成“在統(tǒng)一空間上做通道或注意力融合”，更容易保證一致性并減少信息丟失。這樣的統(tǒng)一表示也便于把地圖（包括高精地圖或矢量地圖）與實時感知對齊，用來校正感知結果或約束規(guī)劃輸出。

BEV還有利于端到端或大模型思路的推進。在BEV上訓練的網絡可以同時輸出檢測、分割、軌跡預測等多個任務，且這些任務共享相同的空間表示，這使得多任務學習效果會更好、參數共享能更高效。對于想把決策和控制也盡量靠近感知端做聯合優(yōu)化的研究路線，BEV提供了天然的中間層接口，使得“從感知到軌跡”的聯合訓練變得可行。

BEV更提升了對復雜交通場景的處理能力。復雜交叉口、多車道并線、環(huán)形交叉以及多模態(tài)行為的預測，都需要對空間關系和動態(tài)演化做長時間尺度的推理。BEV可以很方便地在空間上展示交互關系，舉個例子，即便某輛車被另一輛車遮擋，但在BEV上仍然可以通過軌跡歷史和速度場推斷其大致位置，從而為預測模塊提供更多上下文信息。

BEV還有利于系統(tǒng)調試與可視化。工程師在開發(fā)或回放時可以直接看到BEV圖像，判斷識別錯誤是因為深度估計錯誤、投影誤差還是傳感器校準問題。這種可視化的直觀性極大加速了開發(fā)和問題定位流程。

限制、挑戰(zhàn)以及未來發(fā)展方向

BEV最大的一個挑戰(zhàn)來自于純視覺BEV的深度與尺度不確定性。單目相機本身缺乏精確深度信息，把像素特征投影到平面上需要可靠的深度估計或假設地面平面，這在有坡道、橋梁或者復雜立體交通結構的場景下容易出錯。為了解決這一問題，會采用稠密深度估計、結構光或引入LiDAR輔助，或者在網絡中加入可學習的視變換模塊以降低幾何誤差。

BEV的另一個挑戰(zhàn)是分辨率與計算資源的平衡。把周邊環(huán)境以高分辨率網格編碼，會增加內存和計算壓力；但分辨率過低又會損失對小目標（如行人、兒童騎車人）的識別能力。在設計時需要在BEV網格大小、特征通道數、時間步數之間做選擇，還要考慮實時性與延遲對控制安全的影響。

多傳感器的時序和空間對齊也是BEV應用中的一大難題。攝像頭幀率、LiDAR點云率、雷達回波率各不相同，且每個傳感器都有自己的時延和抖動。把它們正確地同步、補償并映射到同一BEV網格，需要準確的時間戳、精確的外參和魯棒的運動補償機制。任何一個環(huán)節(jié)的微小誤差，在BEV上都可能累積成較大的位置偏移，影響下游規(guī)劃。

想訓練一個魯棒的BEV模型，對數據標注和訓練樣本也提出了極高要求。不僅需要海量多傳感器數據在長時間尺度上的配合，其標簽還必須與BEV空間中的網格精確對齊。此類標注的成本十分高昂，而為了確保模型的泛化能力，還需覆蓋夜間、雨雪、隧道等各類長尾場景，這會導致數據分布偏差問題尤為突出。為應對這些挑戰(zhàn)，基于模擬器的數據生成以及弱監(jiān)督、自監(jiān)督學習已成為重要的補充方向。但如何將模擬環(huán)境中訓練的成果無縫遷移到真實世界場景中，目前仍是亟待突破的難點。

最后的話

BEV是當前自動駕駛感知與決策鏈路中非常實用且被廣泛采納的一種空間表示。它用統(tǒng)一的平面視角把多模態(tài)、多時間的信息粘合在一起，使得很多復雜的交通場景推理變得更加可控和直觀。

審核編輯 黃宇