1 傳感器分類(lèi)

配備高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛汽車(chē)（AV）的車(chē)輛使用不同的傳感器，如攝像頭、雷達(dá)、激光雷達(dá)和超聲波傳感器，它們充當(dāng)自動(dòng)駕駛汽車(chē)（AV）的眼睛，幫助車(chē)輛感知周?chē)h(huán)境，即人、物體、交通、道路幾何形狀、天氣等。這種感知至關(guān)重要，它確保AV可以做出正確的決定，即停止，加速，轉(zhuǎn)彎等。

隨著自動(dòng)駕駛達(dá)到更高的自主性水平，復(fù)雜性也大大增加。這里需要多個(gè)傳感器來(lái)正確理解環(huán)境。但是每個(gè)傳感器都是不同的，并且有其局限性，例如，相機(jī)可以很好地用于車(chē)道檢測(cè)或物體分類(lèi)。相比之下，雷達(dá)可以為遠(yuǎn)程檢測(cè)或不同光線條件下提供良好的數(shù)據(jù)。如下表為不同傳感器的檢測(cè)能力的區(qū)分表：

2 傳感器融合技術(shù)

使用傳感器融合技術(shù)，來(lái)自多個(gè)傳感器的數(shù)據(jù)被融合到自動(dòng)駕駛汽車(chē)中，以提供最佳輸入，以便自動(dòng)駕駛汽車(chē)做出正確的決定（制動(dòng)、加速轉(zhuǎn)彎等）。

傳感器融合提高了自動(dòng)駕駛汽車(chē)的整體性能，并且有多種融合技術(shù)，使用哪一種取決于功能的操作設(shè)計(jì)域（ODD）。

ADAS利用環(huán)境感知技術(shù)將不同傳感器采集到的外部環(huán)境數(shù)據(jù)進(jìn)行融合處理，實(shí)現(xiàn)目標(biāo)識(shí)別、軌跡預(yù)測(cè)和目標(biāo)選擇等功能。這些目標(biāo)信息可以直接通過(guò)汽車(chē)總線發(fā)送給其它控制系統(tǒng)(助力轉(zhuǎn)向系統(tǒng)、防抱死制動(dòng)系統(tǒng)、車(chē)身控制系統(tǒng)等)，由這些控制系統(tǒng)決定當(dāng)前汽車(chē)狀態(tài)；也可以交由ADAS控制器內(nèi)的策略模塊，這些策略模塊結(jié)合目前的車(chē)輛運(yùn)行狀態(tài)，計(jì)算出減速、加速、增扭、減扭之類(lèi)的控制命令，最后通過(guò)整車(chē)通信總線發(fā)送給不同的控制系統(tǒng)?；陂_(kāi)發(fā)成本的原因，第二種架構(gòu)被廣泛應(yīng)用與整車(chē)控制系統(tǒng)中。

根據(jù)傳感器在數(shù)據(jù)融合中扮演的角色。融合分為數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合。在數(shù)據(jù)級(jí)融合中，傳感器將采集的原始數(shù)據(jù)直接發(fā)送給控制器，控制器對(duì)這些數(shù)據(jù)進(jìn)行同步、篩選、特征提取、數(shù)據(jù)聚類(lèi)、目標(biāo)軌跡預(yù)測(cè)、目標(biāo)識(shí)別。其運(yùn)算量大、實(shí)時(shí)性差、在硬件上需要更大的數(shù)據(jù)帶寬才能應(yīng)付多個(gè)傳感器發(fā)送的數(shù)據(jù)。在特征級(jí)融合中，傳感器數(shù)據(jù)處理器將傳感器采集到的數(shù)據(jù)進(jìn)行特征提取，之后將特征信息 (目標(biāo)的橫縱向加速度、間距等)發(fā)送給控制器，控制器再將這些特征信息進(jìn)行融合。其優(yōu)點(diǎn)在于降低了數(shù)據(jù)的發(fā)送量，減輕了控制器的處理負(fù)荷，提高了融合算法的實(shí)時(shí)性。但是仍然需要控制器內(nèi)融合算法將目標(biāo)最終識(shí)別。在決策級(jí)信息融合中，每個(gè)傳感器通過(guò)數(shù)據(jù)處理器獨(dú)立完成目標(biāo)特征提取和目標(biāo)識(shí)別。傳感器數(shù)據(jù)處理器將識(shí)別出的目標(biāo)信息發(fā)送給控制器，控制器根據(jù)不同的融合策略對(duì)傳感器發(fā)送的目標(biāo)進(jìn)行篩選和最終歸類(lèi)。三種融合策略各有優(yōu)缺點(diǎn)。數(shù)據(jù)級(jí)運(yùn)算量大、實(shí)時(shí)性差，對(duì)于芯片的計(jì)算能力和數(shù)據(jù)傳輸帶寬要求高，但所獲得的傳感器數(shù)據(jù)最完整；特征級(jí)能夠有效提高數(shù)據(jù)融合的效率；決策級(jí)信息融合容錯(cuò)性好，實(shí)現(xiàn)難度低，但是信息損失大，而且對(duì)于傳感器的依賴(lài)程度高?；谟布Y源和開(kāi)發(fā)成本的考慮，基于特征級(jí)數(shù)據(jù)融合的架構(gòu)被廣泛使用于目前的ADAS中。具體如下圖所示：

以下是不同類(lèi)型的融合技術(shù)的幾個(gè)示例，根據(jù)AV的自主級(jí)別，將使用一種或多種傳感器融合技術(shù)，例如：對(duì)于2級(jí)的ADAS，需要對(duì)象檢測(cè)，車(chē)道融合，交通標(biāo)志融合，但對(duì)于3級(jí)及以上的ADAS，可能需要更多的融合技術(shù)。

環(huán)境和功能規(guī)范的復(fù)雜性決定了需要制定什么樣的融合策略和什么樣的融合需求。下圖為雷達(dá)和相機(jī)融合的一些數(shù)據(jù)流程處理：

3 傳感器融合面臨的挑戰(zhàn)

執(zhí)行傳感器融合是一項(xiàng)復(fù)雜的活動(dòng)，應(yīng)該考慮許多挑戰(zhàn)：

不同的傳感器以不同的采樣率（50毫秒、60毫秒等）提供輸出數(shù)據(jù)

傳感器可能會(huì)從同一物體進(jìn)行多次檢測(cè)（例如：大型卡車(chē)可能會(huì)從雷達(dá)發(fā)出多次反射）

傳感器還可以檢測(cè)錯(cuò)誤或遺漏檢測(cè)（相機(jī)可能會(huì)錯(cuò)過(guò)夜間、黃昏時(shí)間等檢測(cè)物體/車(chē)道）

物體可能在傳感器的盲區(qū)停留一段時(shí)間，或者物體可能在盲區(qū)動(dòng)態(tài)移動(dòng)

不同F(xiàn)OV區(qū)域的不同傳感器的輸出精度也不同

傳感器安裝在車(chē)輛的不同位置

傳感器性能在不同的環(huán)境條件下也有所不同

傳感器的檢測(cè)置信度可能較低隨著高階智駕的要求，可能需要多個(gè)傳感器來(lái)嘗試接近 360 度覆蓋并避免盲點(diǎn)。傳感器的放置對(duì)于減少盲區(qū)以在不影響安全要求的情況下實(shí)現(xiàn)最佳性能也至關(guān)重要，此外，每個(gè)傳感器的精度水平都不同，管理每個(gè)傳感器的數(shù)據(jù)精度對(duì)于最終輸出至關(guān)重要。

為了確保傳感器融合的高精度，必須確保正確的KPI和穩(wěn)健的設(shè)計(jì)：確保所有高級(jí)別的關(guān)鍵績(jī)效指標(biāo)都到位，即

每個(gè)對(duì)象的單個(gè)軌道

無(wú)錯(cuò)誤或遺漏對(duì)象檢測(cè)

整體精度得到提高

為每個(gè)輸出提供置信水平

估計(jì)傳感器盲區(qū)的輸出

通過(guò)設(shè)計(jì)實(shí)現(xiàn)更高的精度：

4 傳感器融使用的關(guān)鍵技術(shù)

下面是一個(gè)傳感器融合架構(gòu)示例，可用于確保最高水平的對(duì)象檢測(cè)精度。

數(shù)據(jù)同步：- 不同的傳感器提供不同的輸出，例如，相機(jī)在 50 毫秒時(shí)提供輸出，雷達(dá)可以在 60 毫秒時(shí)提供輸出。數(shù)據(jù)同步技術(shù)在執(zhí)行傳感器融合之前同步此數(shù)據(jù)。

坐標(biāo)變換：- 這是一種基于傳感器幾何形狀和放置的技術(shù)，可將安裝在不同位置的傳感器的數(shù)據(jù)轉(zhuǎn)換到一個(gè)全局坐標(biāo)系中。例如，如果我們考慮一輛長(zhǎng) 5 米、寬 2 米的汽車(chē)與一輛長(zhǎng) 18 米、寬 4 米的卡車(chē)，我們需要將數(shù)據(jù)帶到后軸或前軸的中心點(diǎn)的全局坐標(biāo)系中。

數(shù)據(jù)關(guān)聯(lián)：這是一種技術(shù)，用于確保從車(chē)輛上的每個(gè)傳感器接收的多個(gè)數(shù)據(jù)是針對(duì)同一物體的，例如，前方的汽車(chē)

狀態(tài)估計(jì)和預(yù)測(cè)：估計(jì)狀態(tài)。

軌道管理：軌道管理技術(shù)確保傳感器融合的最終輸出，它根據(jù)軌道歷史初始化、維護(hù)和刪除軌道，并計(jì)算軌道置信度。

自車(chē)運(yùn)動(dòng)估計(jì)：它考慮了車(chē)輛的運(yùn)動(dòng)。例如，以 T+100 毫秒和 T+200 毫秒接收數(shù)據(jù)，但在此期間車(chē)輛已經(jīng)移動(dòng)。該技術(shù)解釋了車(chē)輛位置或運(yùn)動(dòng)的這種變化。

因此，為了實(shí)現(xiàn)傳感器融合的高質(zhì)量性能，必須考慮設(shè)計(jì)的一些關(guān)鍵方面：

數(shù)據(jù)關(guān)聯(lián)和估計(jì)技術(shù)的算法選擇

有許多算法可用于數(shù)據(jù)關(guān)聯(lián)，流行的算法是最近鄰、概率和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)技術(shù)。

運(yùn)用各種技術(shù)，如線性卡爾曼濾波器，擴(kuò)展卡爾曼濾波器，粒子濾波器等。

融合戰(zhàn)略

數(shù)據(jù)關(guān)聯(lián)算法和估計(jì)技術(shù)應(yīng)根據(jù)用于融合的傳感器類(lèi)型、狀態(tài)估計(jì)要求（動(dòng)態(tài)/靜態(tài)目標(biāo)估計(jì)）和傳感器輸出來(lái)確定。

軌跡管理：為了減少錯(cuò)誤輸出，融合軌跡管理需要在初始化軌跡之前建立置信度，但是如果花費(fèi)更多時(shí)間，則會(huì)導(dǎo)致延遲，這將延遲AD系統(tǒng)的操作，這對(duì)AD系統(tǒng)性能不利。軌道初始化策略應(yīng)考慮操作環(huán)境、功能ODD等。曲目刪除也是如此

濾波器調(diào)整濾波器調(diào)諧對(duì)濾波器性能非常關(guān)鍵。濾波器調(diào)整需要考慮實(shí)際方面，這可以通過(guò)使用真實(shí)世界數(shù)據(jù)的傳感器表征來(lái)完成。

驗(yàn)證融合以確保軟件質(zhì)量和方案覆蓋也很重要。但是，驗(yàn)證可能會(huì)導(dǎo)致數(shù)百萬(wàn)個(gè)場(chǎng)景，因此使用正確的驗(yàn)證策略來(lái)測(cè)試與模擬數(shù)據(jù)、真實(shí)世界數(shù)據(jù)或車(chē)輛測(cè)試中的融合始終很重要。以下是融合驗(yàn)證的關(guān)鍵方面

邊緣情況場(chǎng)景選擇：由于融合改善感知通過(guò)融合各種傳感器噪聲數(shù)據(jù)來(lái)提高性能，因此應(yīng)仔細(xì)選擇涵蓋所有邊緣情況的場(chǎng)景。該場(chǎng)景還應(yīng)提及在模擬、真實(shí)世界或車(chē)輛中都需要哪個(gè)級(jí)別的驗(yàn)證。目標(biāo)應(yīng)該是在模擬級(jí)別上實(shí)現(xiàn)最大覆蓋率，以減少成本和時(shí)間，同時(shí)測(cè)試質(zhì)量不應(yīng)有任何影響。

傳感器建模：為了驗(yàn)證仿真中的融合與環(huán)境噪聲效應(yīng)，需要高保真?zhèn)鞲衅髂Ｐ蛠?lái)模擬環(huán)境對(duì)傳感器性能的影響。高保真?zhèn)鞲衅鹘Ｊ茄芯空n題，并且提出了各種技術(shù)，例如數(shù)據(jù)驅(qū)動(dòng)模型或基于物理的建模。正確的傳感器模型對(duì)于仿真至關(guān)重要。

使用真實(shí)世界數(shù)據(jù)進(jìn)行驗(yàn)證：高保真?zhèn)鞲衅髂Ｐ涂梢阅M精度高達(dá)90%至95%的環(huán)境條件，因此仿真中不可能涵蓋所有場(chǎng)景，并且需要使用真實(shí)世界的數(shù)據(jù)進(jìn)行融合驗(yàn)證。

車(chē)輛測(cè)試：融合的最終驗(yàn)證應(yīng)在車(chē)輛上進(jìn)行，以確保在考慮實(shí)際情況、傳感器延遲和驅(qū)動(dòng)延遲的情況下進(jìn)行功能級(jí)別的端到端測(cè)試

因此，融合是AD性能非常關(guān)鍵的感知組件，必須考慮關(guān)鍵的實(shí)際方面，并為設(shè)計(jì)和驗(yàn)證定義正確的策略，以實(shí)現(xiàn)AD軟件的最高成熟度。

審核編輯 ：李倩