[首發(fā)于智駕最前沿微信公眾號(hào)]在智能駕駛領(lǐng)域，端到端技術(shù)的提出標(biāo)志著自動(dòng)駕駛系統(tǒng)在架構(gòu)設(shè)計(jì)上的一次根本性轉(zhuǎn)變。從傳統(tǒng)的模塊化架構(gòu)將感知、決策、規(guī)劃以及控制等各子系統(tǒng)彼此獨(dú)立分工，到如今依托深度學(xué)習(xí)算法實(shí)現(xiàn)輸入到輸出端的整體映射，端到端技術(shù)通過(guò)將原始傳感器數(shù)據(jù)直接輸入單一神經(jīng)網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中經(jīng)過(guò)多層的特征提取和信息融合，最終輸出車(chē)輛的控制指令，從根本上打破了以往人工規(guī)則定義的局限。端到端架構(gòu)的優(yōu)勢(shì)在于數(shù)據(jù)處理上的無(wú)縫銜接、信息傳遞時(shí)的低損耗以及整個(gè)系統(tǒng)在目標(biāo)任務(wù)下的統(tǒng)一優(yōu)化，能夠更高效地學(xué)習(xí)和適應(yīng)各種復(fù)雜駕駛場(chǎng)景。這種基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法不僅降低了大量人工設(shè)計(jì)規(guī)則的成本，還通過(guò)共享的骨干網(wǎng)絡(luò)，顯著提高了系統(tǒng)的迭代效率與維持成本的降低。

端到端與模塊化自動(dòng)駕駛

端到端技術(shù)路徑演進(jìn)

端到端自動(dòng)駕駛技術(shù)的發(fā)展可追溯到2016年，當(dāng)時(shí)英偉達(dá)通過(guò)DAVE-2系統(tǒng)首次將攝像頭圖像直接映射為轉(zhuǎn)向指令，開(kāi)啟了自動(dòng)駕駛從模塊化向端到端轉(zhuǎn)變的探索歷程。隨后，隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的日趨成熟及GPU計(jì)算能力的大幅提升，端到端技術(shù)在多個(gè)方面獲得了突破，從早期的行為克隆到后來(lái)與強(qiáng)化學(xué)習(xí)的結(jié)合應(yīng)用，端到端系統(tǒng)不僅可以借鑒專(zhuān)家行為進(jìn)行策略學(xué)習(xí)，更能在大量“試錯(cuò)”過(guò)程中優(yōu)化決策邏輯。針對(duì)系統(tǒng)泛化能力不足的問(wèn)題，還通過(guò)聚合在線數(shù)據(jù)及模擬真實(shí)場(chǎng)景的合成數(shù)據(jù)，提高了模型對(duì)長(zhǎng)尾駕駛場(chǎng)景的適應(yīng)能力，從而在實(shí)際應(yīng)用中不斷突破技術(shù)瓶頸與安全性能的限制。

端到端技術(shù)演進(jìn)

端到端的核心技術(shù)及優(yōu)勢(shì)探討

端到端架構(gòu)的核心優(yōu)勢(shì)在于其數(shù)據(jù)驅(qū)動(dòng)理念，依賴于大規(guī)模且高質(zhì)量的數(shù)據(jù)集支撐模型的訓(xùn)練，讓自動(dòng)駕駛實(shí)現(xiàn)“老司機(jī)”的能力。現(xiàn)實(shí)世界中的自動(dòng)駕駛場(chǎng)景復(fù)雜且多變，駕駛環(huán)境中的細(xì)微差別往往決定了模型能否精準(zhǔn)推斷出相應(yīng)的控制指令。如特斯拉在其FSD（完全自動(dòng)駕駛）系統(tǒng)的迭代過(guò)程中，通過(guò)不斷向模型輸入上百萬(wàn)段駕駛視頻，使得端到端神經(jīng)網(wǎng)絡(luò)能夠捕捉到駕駛中潛在的各種異常情況，并通過(guò)自動(dòng)標(biāo)注技術(shù)大幅提升了數(shù)據(jù)處理的效率。這種數(shù)據(jù)引擎技術(shù)不僅讓模型在面對(duì)長(zhǎng)尾場(chǎng)景時(shí)表現(xiàn)得更加魯棒，還在一定程度上彌補(bǔ)了真實(shí)數(shù)據(jù)采集不足的弊端，進(jìn)一步提升了端到端系統(tǒng)在極端工況下的應(yīng)對(duì)能力。超算中心與云端算力資源的引入，也為大規(guī)模數(shù)據(jù)集的訓(xùn)練提供了堅(jiān)實(shí)保障，推動(dòng)了大模型對(duì)復(fù)雜路況的識(shí)別與預(yù)測(cè)能力實(shí)現(xiàn)質(zhì)的飛躍。

在端到端自動(dòng)駕駛技術(shù)中，不同的算法實(shí)現(xiàn)方式也各具特點(diǎn)，其中模仿學(xué)習(xí)與強(qiáng)化學(xué)習(xí)分別代表了兩種不同的研發(fā)路線。模仿學(xué)習(xí)通過(guò)對(duì)專(zhuān)家行為的模仿實(shí)現(xiàn)策略學(xué)習(xí)，其核心思想是將駕駛問(wèn)題轉(zhuǎn)化為監(jiān)督學(xué)習(xí)問(wèn)題，通過(guò)行為克?。˙C）使模型輸出與專(zhuān)家決策盡量一致。盡管這種方法簡(jiǎn)單高效，但在實(shí)際應(yīng)用中難免面臨協(xié)變量偏移與因果混淆等問(wèn)題。為了解決這一問(wèn)題，通過(guò)引入DAgger等在線訓(xùn)練方法，進(jìn)一步優(yōu)化模型對(duì)復(fù)雜場(chǎng)景的應(yīng)對(duì)能力。此外，逆最優(yōu)控制（IOC）及其衍生的對(duì)抗模仿學(xué)習(xí)（GAIL）方法，通過(guò)從專(zhuān)家示范中推斷獎(jiǎng)勵(lì)或成本函數(shù)，讓系統(tǒng)能夠從行為背后更深層次的決策邏輯中獲得啟發(fā)，進(jìn)而提升模型的自主學(xué)習(xí)與決策水平。

相比之下，強(qiáng)化學(xué)習(xí)技術(shù)則通過(guò)不斷“試錯(cuò)”來(lái)獲取駕駛策略，其核心過(guò)程是模型在與交通環(huán)境的持續(xù)互動(dòng)中，根據(jù)環(huán)境反饋不斷調(diào)整自己的決策策略。盡管強(qiáng)化學(xué)習(xí)在理論上具有強(qiáng)大的自動(dòng)優(yōu)化能力，但是現(xiàn)實(shí)中的應(yīng)用卻面臨數(shù)據(jù)稀缺、場(chǎng)景復(fù)雜、以及訓(xùn)練周期長(zhǎng)等實(shí)際問(wèn)題。因此，在實(shí)際系統(tǒng)設(shè)計(jì)中，許多方案選擇將強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)相結(jié)合，既通過(guò)監(jiān)督信號(hào)獲得基礎(chǔ)的環(huán)境理解能力，又利用強(qiáng)化學(xué)習(xí)進(jìn)一步改善模型的長(zhǎng)期決策與應(yīng)對(duì)不確定性能力。結(jié)合兩者的優(yōu)勢(shì)，使得整個(gè)端到端系統(tǒng)在保留監(jiān)督學(xué)習(xí)便捷高效的同時(shí)，又可以在面對(duì)復(fù)雜動(dòng)態(tài)場(chǎng)景時(shí)，通過(guò)不斷交互積累經(jīng)驗(yàn)，從而實(shí)現(xiàn)更高水平的智能駕駛性能。

硬件支持、數(shù)據(jù)引擎以及計(jì)算平臺(tái)的迭代更新同樣對(duì)端到端自動(dòng)駕駛系統(tǒng)的應(yīng)用起到了至關(guān)重要的作用。以特斯拉為代表的車(chē)企，在硬件層面不斷進(jìn)行自研芯片的迭代，從最初的HW1.0到最新的HW4.0，每一次升級(jí)都極大提升了車(chē)輛端的算力水平，并配合自研的超級(jí)計(jì)算機(jī)Dojo，構(gòu)建了一整套高性能的訓(xùn)練與推理平臺(tái)。硬件與軟件的協(xié)同進(jìn)化，使得端到端模型在處理復(fù)雜場(chǎng)景時(shí)能夠保持高效的實(shí)時(shí)響應(yīng)能力。此外，云端數(shù)據(jù)訓(xùn)練平臺(tái)和算力的支持不斷推進(jìn)，不僅為大模型的訓(xùn)練提供了必要的算力資源，還通過(guò)云端蒸餾技術(shù)將云端的復(fù)雜模型知識(shí)傳遞給車(chē)端輕量化模型，有效解決了車(chē)端芯片算力受限的問(wèn)題。

各車(chē)企端到端技術(shù)分析

當(dāng)前國(guó)內(nèi)外諸多車(chē)企均在積極布局端到端自動(dòng)駕駛技術(shù)，并圍繞核心算法展開(kāi)技術(shù)攻關(guān)。特斯拉依托純視覺(jué)方案不斷推進(jìn)一體化端到端技術(shù)，利用多種傳感器數(shù)據(jù)融合技術(shù)、Transformer網(wǎng)絡(luò)、占用網(wǎng)絡(luò)及大量自動(dòng)標(biāo)注數(shù)據(jù)，實(shí)現(xiàn)了從輔助駕駛到完全自動(dòng)駕駛的技術(shù)跨越。華為通過(guò)模塊化端到端架構(gòu)構(gòu)建了基于激光雷達(dá)和視覺(jué)融合的智能駕駛系統(tǒng)，利用自研的鴻蒙智行平臺(tái)和全棧AI芯片，通過(guò)GOD網(wǎng)絡(luò)和PDP網(wǎng)絡(luò)實(shí)現(xiàn)感知與決策規(guī)劃的深度融合。華為的方案在解決傳感器數(shù)據(jù)融合難題的同時(shí)，也通過(guò)大規(guī)模云端數(shù)據(jù)訓(xùn)練、算力冗余和自研工具鏈來(lái)保障系統(tǒng)的可解釋性與安全性，從而為未來(lái)L3級(jí)自動(dòng)駕駛商用奠定基礎(chǔ)。

ADS 3.0采用兩段式端到端架構(gòu)

小鵬汽車(chē)則走出了一條基于純視覺(jué)方案、依托云端蒸餾模型提升車(chē)端模型性能的技術(shù)路線。小鵬的系統(tǒng)通過(guò)自研的BEV視覺(jué)感知大模型XNet，在大規(guī)模數(shù)據(jù)集和云端深度學(xué)習(xí)架構(gòu)的支持下，大幅提高了對(duì)動(dòng)態(tài)目標(biāo)和靜態(tài)障礙物的識(shí)別精度。小鵬汽車(chē)在云端大模型與車(chē)端輕量化模型之間借助知識(shí)蒸餾技術(shù)實(shí)現(xiàn)知識(shí)傳遞，使得車(chē)端的計(jì)算負(fù)擔(dān)得以顯著降低，從而達(dá)到在有限算力下實(shí)現(xiàn)更高精度駕駛決策的目標(biāo)。通過(guò)不斷迭代優(yōu)化，小鵬不僅提高了駕駛路徑規(guī)劃的精準(zhǔn)度，更在復(fù)雜場(chǎng)景下實(shí)現(xiàn)了違停、緊急避險(xiǎn)等關(guān)鍵技術(shù)指標(biāo)的顯著改善，成功實(shí)現(xiàn)了L2+級(jí)別自動(dòng)駕駛的技術(shù)突破與市場(chǎng)試點(diǎn)。

小鵬XNGP模塊化端到端架構(gòu)

理想汽車(chē)則以雙系統(tǒng)并行模式為特色，利用視覺(jué)語(yǔ)言模型（VLM）輔助端到端模型進(jìn)行規(guī)范控制，將傳感器數(shù)據(jù)直接映射為駕駛軌跡的同時(shí)，通過(guò)并行運(yùn)行的VLM系統(tǒng)對(duì)復(fù)雜場(chǎng)景進(jìn)行深度分析與推理。這種“快—慢系統(tǒng)”協(xié)同的架構(gòu)不僅在大部分場(chǎng)景下依賴于高效的端到端直覺(jué)反應(yīng)，在遇到極端或復(fù)雜場(chǎng)景時(shí)還可調(diào)用VLM進(jìn)行有意識(shí)的決策輔助，從而有效提升了系統(tǒng)的安全性與魯棒性。理想汽車(chē)這種基于雙系統(tǒng)并行的創(chuàng)新思路，既保留了端到端系統(tǒng)高效實(shí)時(shí)的特點(diǎn)，又通過(guò)VLM的邏輯推理能力針對(duì)特定復(fù)雜場(chǎng)景進(jìn)行深度優(yōu)化，形成了一個(gè)從感知到規(guī)劃、由快速反應(yīng)到深度思考相互補(bǔ)充的閉環(huán)式智能駕駛決策體系。

理想汽車(chē)雙系統(tǒng)架構(gòu)

總結(jié)

端到端自動(dòng)駕駛技術(shù)正處于從早期試驗(yàn)階段向大規(guī)模商用過(guò)渡的關(guān)鍵時(shí)期。隨著政策的支持和市場(chǎng)競(jìng)爭(zhēng)的不斷加劇，各主要車(chē)企已經(jīng)開(kāi)始借助先進(jìn)的AI大模型和知識(shí)蒸餾技術(shù)，推動(dòng)端到端模型在車(chē)載應(yīng)用中的普及與成熟。從高階自動(dòng)駕駛測(cè)試數(shù)據(jù)積累、車(chē)端與云端技術(shù)協(xié)同，到基于深度學(xué)習(xí)的場(chǎng)景識(shí)別和融合感知，各項(xiàng)技術(shù)指標(biāo)均顯示出端到端自動(dòng)駕駛系統(tǒng)正穩(wěn)步向著更高的精度、更強(qiáng)的魯棒性和更高的安全性發(fā)展。隨著各大車(chē)企在10萬(wàn)元級(jí)別車(chē)型上逐步推廣高階NOA（自動(dòng)導(dǎo)航輔助駕駛）和L2+級(jí)別自動(dòng)駕駛系統(tǒng)，智能駕駛技術(shù)正從高端豪華車(chē)的專(zhuān)屬配置向主流市場(chǎng)延伸，實(shí)現(xiàn)了從“智駕平權(quán)”到全場(chǎng)景商用的跨越。

審核編輯 黃宇