[首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術(shù)的發(fā)展，該技術(shù)已經(jīng)可以在很多高速路況和部分城市路況展現(xiàn)很好的組合輔助駕駛能力。即便如此，自動駕駛技術(shù)依舊未能大范圍使用，之所以會這樣，因為決定自動駕駛是否安全的，不是那99%的正常情況，而是那1%的極少數(shù)會發(fā)送，但危險性極高的瞬間。

想想一下，如果在高速上駕駛車輛時，忽然有一頭野豬忽然從路側(cè)闖入或者前方車輛出現(xiàn)了物體掉落的情況，這些場景雖然發(fā)生的可能性很小，但一旦發(fā)生，自動駕駛系統(tǒng)就必須做出安全且合理的決策。

就在最近，Waymo把這類“長尾”片段挑出來，整理成WOD-E2E（Waymo Open Dataset for End-to-End Driving），目的就是給端到端駕駛研究提供一個專門的、高真實度的測試工具。

數(shù)據(jù)集鏈接：
https://github.com/waymo-research/waymo-open-dataset

WOD-E2E的核心價值在于稀缺性和針對性。它不是簡單將常規(guī)片段湊在一起再發(fā)布，而是從海量行駛數(shù)據(jù)里精挑細選出那些罕見但具有代表性的危險瞬間，從而方便研究者可以把注意力放在系統(tǒng)最脆弱的環(huán)節(jié)上。

與其依賴常規(guī)數(shù)據(jù)評估模型，不如用那些能真正暴露問題的關(guān)鍵片段來檢驗其安全性。在駕駛的臨界時刻，模型能否做出如合理剎車、及時避讓或穩(wěn)定維持車道等安全決策，才是檢驗其安全底線的核心測試。將這類數(shù)據(jù)公開，我們就能在同一套更貼近現(xiàn)實的標(biāo)準(zhǔn)下，比較不同方法的優(yōu)劣、對齊訓(xùn)練目標(biāo)，從而推動端到端系統(tǒng)從“能夠運行”向“能夠安全落地”邁進。

WOD-E2E包含什么？

WOD-E2E數(shù)據(jù)集由4021個20秒長的真實駕駛片段組成，總時長約十二小時，聚焦在需要即時決策的長尾場景的關(guān)鍵瞬間。每個片段配有八個環(huán)繞攝像頭的圖像（前、前左、前右、側(cè)左、側(cè)右、后、后左、后右），覆蓋360度視野，視頻采樣率是10Hz，同時包含自車的歷史軌跡、速度和加速度，以及高層路由指令（如直行、左轉(zhuǎn)、右轉(zhuǎn)）。

訓(xùn)練/驗證集里還公開了未來五秒的真實軌跡，便于監(jiān)督學(xué)習(xí)和評估。Waymo把這些片段按場景類型做了劃分，涵蓋施工區(qū)域、復(fù)雜路口、行人或騎行者的異常交互、多車道競爭、路面異物、特殊車輛交互等多類長尾情形，每類都對應(yīng)不同的決策挑戰(zhàn)。

WOD-E2E中提出了與人類偏好對齊的Rater Feedback Score（RFS）。傳統(tǒng)的軌跡誤差指標(biāo)往往只看模型預(yù)測與日志軌跡的距離，但在緊急避險情況下，偏離日志軌跡反而可能更安全。

RFS的思路是先讓模型生成多條候選軌跡，再由人工評估員為幾條代表軌跡在安全性、合法性、反應(yīng)時機、剎車必要性、效率等維度打分，形成參考軌跡集合。模型的預(yù)測如果落在某條參考軌跡的“信任區(qū)域”內(nèi)，就獲得對應(yīng)分值；若偏離則按指數(shù)衰減扣分，并設(shè)有最低保底分。

這種評價允許存在多種合理動作，強調(diào)與人類判斷的一致性，比單純的距離誤差更能反映安全性和可接受性。

圖片源自：參考報告

其實現(xiàn)階段端到端研究有幾類主流范式，在長尾場景上處理各有優(yōu)勢。把多傳感器信息投影到鳥瞰圖（BEV）后直接在BEV上完成感知與規(guī)劃的方法，在空間一致性和全局決策上表現(xiàn)較好，適合復(fù)雜路口和多車道規(guī)劃。

因為LLM自帶世界知識和推理能力，把多模態(tài)輸入映射到語言或語義空間，利用大語言模型（MLLM）進行推理的做法，更擅長處理語義復(fù)雜或前所未見的情形。

基于生成式或擴散模型的軌跡器則擅長表達多樣性，能給出多個可行解，利于后端做風(fēng)險比較與選擇。

如果在WOD-E2E上做有針對性的微調(diào)、增加完整環(huán)繞輸入或在推理時進行多樣本采樣，就會明顯提升RFS得分；此外，把RFS作為強化學(xué)習(xí)的獎勵也能推動模型朝更符合人類偏好的方向優(yōu)化。

WOD-E2E對自動駕駛的影響

WOD-E2E為自動駕駛研究提供了一個更貼近現(xiàn)實痛點的基準(zhǔn)，可以對長尾問題生成更有針對性的算法。它會促使大家不單純追求與日志軌跡的貼合，而是在訓(xùn)練目標(biāo)、損失設(shè)計和不確定性表達上做出調(diào)整。

對設(shè)計團隊而言，這個數(shù)據(jù)集是補強產(chǎn)品安全性的工具。WOD-E2E可以作為一個“加固集”，可以先用大規(guī)模常規(guī)數(shù)據(jù)訓(xùn)練模型的基礎(chǔ)能力，再用WOD-E2E做微調(diào)和壓力測試，評估時并行使用傳統(tǒng)誤差指標(biāo)和RFS這類人類對齊指標(biāo)，這樣不僅可以保證日常表現(xiàn)，也能提升關(guān)鍵時刻的安全決策。

當(dāng)然，在把WOD-E2E融入訓(xùn)練/驗證流水線時，一定不能把它當(dāng)成唯一數(shù)據(jù)源；合理的數(shù)據(jù)增強和情境合成可以擴大小樣本的效用，但必須保持動力學(xué)和視覺上的真實性。

若希望提升語義推理能力，可以嘗試把視覺與狀態(tài)信息轉(zhuǎn)成結(jié)構(gòu)化語義或指令，再交給MLLM做高層推理；若更看重實時性和空間一致性，BEV-based的端到端管線仍是穩(wěn)妥選擇；若目標(biāo)是給出多種可行解以便后端做風(fēng)險比選，生成式/擴散模型更值得嘗試。把RFS納入訓(xùn)練目標(biāo)（例如作為RL獎勵或輔助監(jiān)督）會比單純優(yōu)化ADE更能提升在長尾場景下的表現(xiàn)。

圖片源自：參考報告

最后的話

WOD-E2E的意義不只是那幾小時的數(shù)據(jù)，而是把“長尾問題”和“人類偏好對齊”的評測思路帶進了端到端駕駛的主流議程。它能讓研究成果在更真實、更危險的場景下經(jīng)受檢驗，也能幫助工程團隊把實驗室里的模型在部署前做更徹底的加固。把這類問題解決好，自動駕駛才有希望真正從能跑的原型，進化為能在復(fù)雜、不確定的真實道路上持續(xù)、安全運行的產(chǎn)品。

審核編輯 黃宇