自動駕駛汽車及其計算機(jī)視覺系統(tǒng)收到了大量新聞報道，這清楚地表明設(shè)計一個在任何環(huán)境條件下都表現(xiàn)良好的強(qiáng)大視覺系統(tǒng)是多么困難。在開發(fā)這些復(fù)雜的汽車視覺系統(tǒng)時，所有設(shè)計人員都應(yīng)考慮幾個關(guān)鍵要素。其中包括傳感器冗余、低光視覺處理和故障傳感器檢測。

傳感器冗余的重要性對于使用視覺系統(tǒng)進(jìn)行物體檢測的汽車周圍的每個位置，都應(yīng)該有多個攝像頭（至少兩個）指向視線。即使視覺算法只需要單視覺數(shù)據(jù)，也應(yīng)該設(shè)置此設(shè)置。

傳感器多樣性允許通過將圖像與輔助攝像頭進(jìn)行比較來檢測主攝像頭的故障。主攝像頭將其數(shù)據(jù)提供給視覺算法。如果系統(tǒng)檢測到主攝像頭出現(xiàn)故障，它應(yīng)該能夠?qū)⑵渲幸粋€輔助攝像頭的數(shù)據(jù)重新路由到視覺算法。

由于有多個攝像頭可用，視覺算法也應(yīng)該利用立體視覺。以較低的分辨率和較低的幀速率收集深度數(shù)據(jù)將節(jié)省處理能力。即使處理本質(zhì)上是單相機(jī)，深度信息也可以通過根據(jù)場景中對象的最小和最大距離減少需要處理的尺度數(shù)量來加速對象分類。

例如，德州儀器 (TI) 的 TDAx 汽車處理器系列配備了必要的技術(shù)，可處理至少 8 個攝像頭輸入，并通過 Vision AcceleratorPac 執(zhí)行最先進(jìn)的立體視覺處理以滿足此類要求。Vision AcceleratorPac 包含多個嵌入式視覺引擎 (EVE)，它們在立體視覺系統(tǒng)的對應(yīng)匹配算法中使用的單指令多數(shù)據(jù)路徑 (SIMD) 操作類型方面表現(xiàn)出色。

微光視覺的重要性、對離線地圖的依賴和傳感器融合微光視覺處理需要一種不同于白天使用的處理模式。在弱光條件下拍攝的圖像信噪比低，邊緣等結(jié)構(gòu)化元素被隱藏在噪聲之下。在弱光條件下，視覺算法應(yīng)該更多地依賴斑點或形狀而不是邊緣。典型的計算機(jī)視覺算法，例如基于定向梯度直方圖 (HOG) 的對象分類，主要依賴于邊緣，因為這些特征在日光下占主導(dǎo)地位。但是配備這種視覺系統(tǒng)的汽車在夜間在光線不足的道路上檢測其他車輛或行人時會遇到問題。

如果系統(tǒng)檢測到弱光條件，視覺算法應(yīng)切換到弱光模式。這種模式可以使用僅使用低光圖像訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)來實現(xiàn)。低光模式還應(yīng)該依賴離線地圖或離線世界觀的數(shù)據(jù)。低光視覺算法可以提供線索以在地圖上找到正確的位置，并根據(jù)離線世界觀重建場景，這對于靜態(tài)環(huán)境中的導(dǎo)航來說應(yīng)該足夠了。

然而，在動態(tài)環(huán)境中，對于以前未記錄的移動或新物體，需要與其他傳感器（激光雷達(dá)、雷達(dá)、熱像儀等）融合，以利用每種傳感器模式的各自優(yōu)勢確保最佳性能. 例如，激光雷達(dá)在白天或晚上都能正常工作，但無法區(qū)分顏色。攝像頭在弱光條件下視力不佳，但會為檢測紅燈和交通標(biāo)志的算法提供顏色信息。在有雨、雪和霧的情況下，這兩種傳感器都會表現(xiàn)不佳。雷達(dá)可以在惡劣天氣下使用，但它們沒有足夠的空間分辨率來準(zhǔn)確檢測物體的位置和大小。

您可以看到每個傳感器提供的信息，如果單獨使用，是不完整或不確定的。為了減少這種不確定性，融合算法結(jié)合了從這些不同傳感器收集的數(shù)據(jù)。

這是使用異構(gòu)架構(gòu)設(shè)計的好處。例如，TI 的 TDA2x 處理器可以處理傳感器數(shù)據(jù)采集、處理和融合所需的處理多樣性，這要歸功于具有不同架構(gòu)的三個不同內(nèi)核（EVE、數(shù)字信號處理器 [DSP] 和微控制器 [MCU]）。有關(guān) 功能映射的詳細(xì)信息，請參見圖 1 。

圖 1：異構(gòu)片上系統(tǒng) (SoC) 概念實現(xiàn)了最高的處理性能和功率效率。

弱光條件需要使用高動態(tài)范圍 (HDR) 傳感器。這些 HDR 傳感器為同一幀輸出具有不同曝光/增益值的多個圖像。為了可用，這些圖像必須組合/合并為一個。這種合并算法通常是計算密集型的，但 TI 的 TDA2P 和 TDA3x 處理器具有硬件圖像信號處理器 (ISP)，能夠通過由合并、噪聲過濾、閃爍緩解、去馬賽克和清晰度增強(qiáng)塊組成的管道來處理 HDR 圖像。

除了減輕圖像信號處理任務(wù)之外，將 ISP 集成到視覺處理器而不是傳感器中還具有限制相機(jī)中的功耗和熱量產(chǎn)生的優(yōu)勢，這有助于提高圖像質(zhì)量。該 ISP 功能強(qiáng)大，可以處理多達(dá) 8 個 1-MP 攝像頭，非常適合環(huán)視應(yīng)用。

ISP 的目標(biāo)是在將圖像傳遞給計算機(jī)視覺算法之前盡可能生成最高質(zhì)量的圖像，以便后者可以更優(yōu)化地執(zhí)行。但即使圖像質(zhì)量不理想，計算機(jī)視覺的最新發(fā)展也有助于減輕由惡劣操作環(huán)境引起的光學(xué)效應(yīng)。

事實上，在過去十年中，人工智能技術(shù)深度學(xué)習(xí)已經(jīng)能夠解決最具挑戰(zhàn)性的計算機(jī)視覺問題。但由于對計算能力的巨大需求，深度學(xué)習(xí)主要局限于云計算和數(shù)據(jù)中心行業(yè)。

研究人員一直專注于開發(fā)足夠輕的深度學(xué)習(xí)網(wǎng)絡(luò)，以在不損失質(zhì)量的情況下在嵌入式系統(tǒng)上運行。為支持這一革命性技術(shù)，TI 創(chuàng)建了 TI 深度學(xué)習(xí) (TIDL) 庫。TIDL 使用 Vision AcceleratorPac 實施，可以采用使用 Caffe 或 TensorFlow 框架設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，并在 2.5W 功率范圍內(nèi)實時執(zhí)行它們。語義分和單次檢測器是在 TDA2x 處理器上成功演示的網(wǎng)絡(luò)之一。

為了補(bǔ)充其視覺技術(shù)，TI 一直在加大力度開發(fā)針對高級駕駛輔助系統(tǒng) (ADAS) 和自動駕駛市場量身定制的雷達(dá)技術(shù)。其中包括：

采用互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS) 技術(shù)的汽車?yán)走_(dá)毫米波 (mmWave) 傳感器。用于中遠(yuǎn)程雷達(dá)的 AWR1xx 傳感器將射頻 (RF) 和具有數(shù)字控制能力的模擬功能集成到單個芯片中。在一個芯片中包含這些功能可將典型的雷達(dá)系統(tǒng)尺寸縮小 50%。此外，傳感器的較小外形尺寸需要較少的功率并且可以承受較高的環(huán)境溫度。

在 TDAx 處理器上運行的軟件開發(fā)套件實現(xiàn)了雷達(dá)信號處理鏈，可以處理多達(dá)四個雷達(dá)信號。雷達(dá)信號處理鏈包括二維快速傅里葉變換 (FFT)、峰值檢測和波束成形階段，可實現(xiàn)物體檢測。由于其高可配置性，雷達(dá)信號處理鏈可以支持不同的汽車應(yīng)用，包括用于自適應(yīng)巡航控制的長距離和用于停車輔助的短距離。

故障傳感器檢測和故障安全機(jī)制的重要性在朝著自動駕駛發(fā)展的世界中，故障傳感器甚至污垢可能會產(chǎn)生危及生命的后果，因為嘈雜的圖像會欺騙視覺算法并導(dǎo)致錯誤的分類?？赡軙雨P(guān)注開發(fā)可以檢測由故障傳感器產(chǎn)生的無效場景的算法。該系統(tǒng)可以實施故障安全機(jī)制，例如激活應(yīng)急燈或逐漸停止汽車。

例如，TDAx 設(shè)備具有基于學(xué)習(xí)的算法，該算法使用來自 H3A 引擎的銳度統(tǒng)計數(shù)據(jù)來檢測障礙物。H3A 提供了逐塊的清晰度分?jǐn)?shù)，從而為算法提供了精細(xì)的統(tǒng)計數(shù)據(jù)。

結(jié)論
為自動駕駛汽車設(shè)計汽車視覺系統(tǒng)的工程師面臨著許多挑戰(zhàn)，因為隨著每個級別的自主性對魯棒性的要求越來越高。幸運的是，可用于解決所有這些問題的工具數(shù)量一直在增長，傳感器技術(shù)、處理器架構(gòu)和算法的不斷進(jìn)步最終將催生自動駕駛汽車。

TI 提供一系列針對汽車市場的產(chǎn)品，包括其 TDAx 處理器系列、深度學(xué)習(xí)軟件庫和雷達(dá)傳感器。這些產(chǎn)品支持設(shè)計強(qiáng)大的前置攝像頭、后置攝像頭、環(huán)視、雷達(dá)和融合應(yīng)用，這些應(yīng)用是當(dāng)今 ADAS 技術(shù)的基石，也是未來自動駕駛汽車的基礎(chǔ)。

審核編輯：郭婷