[首發(fā)于智駕最前沿微信公眾號]在自動駕駛系統(tǒng)里，數(shù)據(jù)處理的實(shí)時性并不是一個抽象的技術(shù)指標(biāo)，而是直接決定車輛“來不來得及反應(yīng)”的關(guān)鍵能力。道路環(huán)境變化極快，前車急剎、行人突然橫穿、旁車并線等情況經(jīng)常出現(xiàn)，這些情況一般只會給系統(tǒng)幾十毫秒的反應(yīng)窗口。

如果數(shù)據(jù)處理的時間慢了一步，哪怕操執(zhí)行動作是對的，也可能錯過最佳時機(jī)。正因為如此，自動駕駛的目標(biāo)并不是算得準(zhǔn)就行，而是必須在嚴(yán)格的時間限制內(nèi)，把該看的看清、該算的算完、該做的做好。

為什么自動駕駛的數(shù)據(jù)處理必須實(shí)時

對于自動駕駛系統(tǒng)來說，“實(shí)時性”不是一個可選的性能指標(biāo)，而是關(guān)乎生命安全的核心保障。所謂“實(shí)時性”，就是指系統(tǒng)在嚴(yán)格的時間約束內(nèi)完成數(shù)據(jù)處理并給出響應(yīng)的能力。

舉個例子，一輛車以60公里/小時車速行駛時，如果前方突然出現(xiàn)行人、障礙物或車輛變道，自動駕駛系統(tǒng)必須在十幾毫秒甚至更短時間內(nèi)感知、判斷并執(zhí)行制動或規(guī)避動作。

如果處理延遲太長，即便算法判斷準(zhǔn)確，車輛也可能無法及時做出反應(yīng)，導(dǎo)致安全風(fēng)險，實(shí)時性在自動駕駛中是一種嚴(yán)格的時限要求。

自動駕駛系統(tǒng)需要從攝像頭圖像、激光雷達(dá)點(diǎn)云、毫米波雷達(dá)測距、慣性測量單元（IMU）數(shù)據(jù)和高精度定位信息等多種傳感器采集大量原始數(shù)據(jù)。每種傳感器產(chǎn)生的數(shù)據(jù)格式和頻率不同，但它們共同支撐著對周圍環(huán)境的全面感知。

不同傳感器之間的數(shù)據(jù)需要在時間和空間上精確對齊，否則就可能出現(xiàn)“感知錯位”，影響對障礙物位置、速度等重要信息的估計，進(jìn)而影響后續(xù)決策。實(shí)現(xiàn)精確的時間同步，是自動駕駛實(shí)時性設(shè)計中不可或缺的一步。

數(shù)據(jù)一旦采集，整個處理鏈路要經(jīng)歷預(yù)處理、感知、融合、決策和控制等多個步驟。每一步都有嚴(yán)格的時間要求，整個流程必須在規(guī)定時限內(nèi)完成。如果某個步驟堵塞或延遲，后續(xù)步驟就要被迫等待，整個鏈路的實(shí)時性就會被打破。

因此，自動駕駛的實(shí)時性依賴于系統(tǒng)架構(gòu)、硬件能力、軟件算法調(diào)度以及網(wǎng)絡(luò)與通信機(jī)制等多方面的協(xié)同優(yōu)化。

架構(gòu)層面的實(shí)時性設(shè)計

自動駕駛系統(tǒng)的數(shù)據(jù)處理架構(gòu)是確保實(shí)時性的基礎(chǔ)。傳統(tǒng)的云計算架構(gòu)在很多應(yīng)用場景中表現(xiàn)良好，但由于車輛與云端之間存在網(wǎng)絡(luò)傳輸時延，加上云端的計算負(fù)載集中，高延遲和帶寬瓶頸，使其難以滿足自動駕駛十毫秒級別的實(shí)時響應(yīng)需求。

為了解決這個問題，目前自動駕駛系統(tǒng)基本采用“端-邊-云”協(xié)同架構(gòu)。

在這種架構(gòu)中，感知和控制等對實(shí)時性要求極高的任務(wù)主要部署在車輛本地的邊緣計算單元或車載主機(jī)板上。這些邊緣節(jié)點(diǎn)集成了高性能的處理器、GPU、AI加速器等硬件模塊，用于快速執(zhí)行復(fù)雜的神經(jīng)網(wǎng)絡(luò)推理和傳感器融合計算。

相比于將數(shù)據(jù)上傳到云端再處理，本地邊緣計算可以顯著縮短數(shù)據(jù)傳輸路徑，避免因網(wǎng)絡(luò)延遲引起的響應(yīng)滯后。

此外，在一些車路協(xié)同（V2X）應(yīng)用場景下，路側(cè)基礎(chǔ)設(shè)施也部署了邊緣計算節(jié)點(diǎn)，使車輛與路側(cè)設(shè)備之間能夠在毫秒級別內(nèi)交換信息，從而更加及時地感知紅綠燈狀態(tài)、路況信息和緊急廣播等。

這種架構(gòu)的關(guān)鍵在于將大部分實(shí)時性要求高的計算任務(wù)下沉到離數(shù)據(jù)源更近的位置，只有部分如高層地圖更新、長時間行為分析等不要求實(shí)時響應(yīng)的任務(wù)才會上送云端處理。

實(shí)時性不僅僅是把計算遷移到本地，還包括將整個系統(tǒng)內(nèi)部不同任務(wù)按照時間敏感級別進(jìn)行劃分。

例如緊急制動和碰撞預(yù)警屬于硬實(shí)時任務(wù)，它們必須得到優(yōu)先處理；而地圖更新、數(shù)據(jù)記錄等屬于軟實(shí)時或背景任務(wù)，可在系統(tǒng)空閑時執(zhí)行。通過這種層級劃分和優(yōu)先級調(diào)度，系統(tǒng)可以把有限的算力資源集中用于最關(guān)鍵的實(shí)時任務(wù)。

軟件與調(diào)度機(jī)制如何保證時限

在自動駕駛軟件架構(gòu)內(nèi)部，實(shí)時性需要靠精確的調(diào)度和資源管理來確保。自動駕駛系統(tǒng)常用實(shí)時操作系統(tǒng)（RTOS）或者在通用操作系統(tǒng)上實(shí)現(xiàn)類似實(shí)時調(diào)度機(jī)制，用以確保關(guān)鍵任務(wù)可以在預(yù)定時間內(nèi)獲得CPU、內(nèi)存等資源。

所謂實(shí)時操作系統(tǒng)，是一種能夠在嚴(yán)格時限內(nèi)完成任務(wù)調(diào)度的操作系統(tǒng)，它的設(shè)計核心是保證時間敏感任務(wù)的確定性響應(yīng)，而不是提高整體吞吐量。

在這種調(diào)度機(jī)制中，任務(wù)被按照其時限要求進(jìn)行分類，如可劃分為緊急感知任務(wù)、軌跡規(guī)劃任務(wù)和后臺數(shù)據(jù)記錄任務(wù)。系統(tǒng)還會根據(jù)優(yōu)先級搶占機(jī)制，為不同任務(wù)分配計算資源。緊急任務(wù)可以搶占其他任務(wù)的資源，從而保證按時完成。

像是在感知模塊中，當(dāng)車輛前方出現(xiàn)緊急障礙物時，障礙物檢測和制動指令生成任務(wù)就會獲得系統(tǒng)最高優(yōu)先級，迅速占用CPU或AI加速器資源進(jìn)行處理。

還有一種比較常見的做法是流水線化處理和并行執(zhí)行。比如激光雷達(dá)點(diǎn)云預(yù)處理、特征提取和目標(biāo)識別可以在不同的線程或處理單元同時執(zhí)行，而不是串行執(zhí)行整個流程。

通過流水線化和并行處理，不僅提高了處理吞吐量，還能降低單個數(shù)據(jù)幀的整體延遲。像是視覺SLAM（同步定位與地圖構(gòu)建）任務(wù)，可以通過將圖像預(yù)處理、關(guān)鍵點(diǎn)提取和匹配分布到不同的處理單元，從而提高整體實(shí)時性。

此外，自動駕駛中常見的異構(gòu)計算調(diào)度策略也是提升實(shí)時性的關(guān)鍵。所謂異構(gòu)計算，是指在同一系統(tǒng)中集成如通用CPU、圖形GPU、神經(jīng)網(wǎng)絡(luò)加速器（NPU）等不同類型的處理單元。

不同計算單元擅長不同類型的任務(wù)，AI推理可以交給NPU或GPU處理，而邏輯判斷等任務(wù)由CPU負(fù)責(zé)。合理的調(diào)度策略可以讓每種資源發(fā)揮最大效率，減少任務(wù)等待時間，從而提高實(shí)時響應(yīng)能力。

多傳感器時間同步與融合

在實(shí)現(xiàn)實(shí)時響應(yīng)之前，系統(tǒng)還必須確保來自不同傳感器的數(shù)據(jù)具備可比對的時間基準(zhǔn)。自動駕駛系統(tǒng)的感知模塊依賴于多個傳感器的數(shù)據(jù)融合，這些數(shù)據(jù)如果時間對齊不準(zhǔn)確，就無法正確描述周圍環(huán)境的狀態(tài)，因此，需要采用高精度的時間同步機(jī)制。

現(xiàn)階段的技術(shù)方案中，會采用統(tǒng)一的時鐘源或者硬件時間戳機(jī)制，使所有傳感器的數(shù)據(jù)都能夠按照統(tǒng)一的時間基準(zhǔn)來標(biāo)記。這種同步機(jī)制可以讓系統(tǒng)在處理數(shù)據(jù)時，知道每條數(shù)據(jù)到底是在什么時間點(diǎn)采集的，從而提高融合結(jié)果的準(zhǔn)確性。

為實(shí)現(xiàn)這一目標(biāo)，可采用的技術(shù)方式包括在硬件上采用統(tǒng)一的時鐘同步協(xié)議，以及在軟件上進(jìn)行時間戳校正。統(tǒng)一時鐘源可以讓激光雷達(dá)、攝像頭、雷達(dá)等設(shè)備遵循同一個時間基準(zhǔn)，從而將數(shù)據(jù)流按照時間順序整理起來。

如確保激光雷達(dá)的點(diǎn)云數(shù)據(jù)和攝像頭的圖像幀能夠在時間軸上精確對齊，可以避免出現(xiàn)同一個障礙物的位置在不同傳感器數(shù)據(jù)中錯位的情況。

時間同步是實(shí)現(xiàn)多傳感器融合和實(shí)時性響應(yīng)的前提，沒有精準(zhǔn)的時間對齊，高速移動中的車輛就無法準(zhǔn)確地評估周圍動態(tài)場景。只有將采集時間統(tǒng)一，系統(tǒng)才能在感知層正確地拼接不同來源的信息，并在此基礎(chǔ)上進(jìn)行下一步的預(yù)測和決策。

通信技術(shù)與系統(tǒng)內(nèi)外協(xié)同

自動駕駛車輛需要和外部環(huán)境進(jìn)行通信，其中包括與路側(cè)基礎(chǔ)設(shè)施設(shè)備（RSU）、其他車輛乃至云端服務(wù)器進(jìn)行數(shù)據(jù)交換。通信技術(shù)的選擇和配置也會影響到實(shí)時性。如在車路協(xié)同系統(tǒng)中，車輛需要實(shí)時接收路側(cè)設(shè)備發(fā)送的信號燈狀態(tài)、道路擁堵信息等，并將自己的狀態(tài)反饋給路側(cè)單元。這種實(shí)時交換要求通信鏈路具備低延遲和高可靠性。

在這些場景中，5G通信技術(shù)和專用短程通信（如IEEE802.11bd、C-V2X）被廣泛應(yīng)用。這些技術(shù)支持高帶寬和低延遲的數(shù)據(jù)傳輸，使車輛能夠在毫秒級別內(nèi)完成信息交換，并及時將接收到的信息用于本地決策。高效的通信可以讓自動駕駛系統(tǒng)不僅依賴本地傳感器，還可以利用外部信息進(jìn)行更全面的感知和判斷。

而對于與云端的通信，只用于如遠(yuǎn)程監(jiān)控、長期行為分析、用戶日志收集等非實(shí)時任務(wù)或歷史數(shù)據(jù)上傳。即便如此，系統(tǒng)也會在上傳與下載數(shù)據(jù)時考慮傳輸延遲和帶寬限制，通過預(yù)處理和壓縮等方式減少無關(guān)數(shù)據(jù)的傳輸，從而避免影響車載系統(tǒng)的實(shí)時處理。

最后的話

自動駕駛系統(tǒng)之所以需要極強(qiáng)的實(shí)時數(shù)據(jù)處理能力，是因為車輛在高速運(yùn)動和復(fù)雜環(huán)境中必須隨時感知變化并做出反應(yīng)，這關(guān)系到行車安全和可靠性。想實(shí)現(xiàn)這種實(shí)時性，需要從架構(gòu)設(shè)計、操作系統(tǒng)調(diào)度、硬件資源調(diào)度、時間同步、多傳感器融合、通信機(jī)制等多個層面共同發(fā)力。只有各環(huán)節(jié)協(xié)同優(yōu)化，才能構(gòu)建一個在真實(shí)道路環(huán)境中既安全又高效的自動駕駛系統(tǒng)。