[首發(fā)于智駕最前沿微信公眾號(hào)]在我們開車的時(shí)候，想順利地完成駕駛?cè)蝿?wù)，會(huì)本能地注意前方的限速牌、停車讓行標(biāo)志或轉(zhuǎn)彎指示等。自動(dòng)駕駛汽車想安全地運(yùn)行，同樣需要這樣的能力。自動(dòng)駕駛汽車通過攝像頭、雷達(dá)等傳感器“觀察”周圍環(huán)境，并由計(jì)算機(jī)系統(tǒng)理解和處理這些信息，在眾多任務(wù)中，交通標(biāo)志的識(shí)別是關(guān)鍵一環(huán)。自動(dòng)駕駛汽車只有準(zhǔn)確識(shí)別出不同的交通標(biāo)志，才能在實(shí)際行駛中按規(guī)則行駛，并做出正確決策。

交通標(biāo)志識(shí)別的必要性

自動(dòng)駕駛系統(tǒng)里感知模塊其中一個(gè)目標(biāo)，就是識(shí)別道路上的各種交通標(biāo)志。交通標(biāo)志識(shí)別通常被稱為TSR（Traffic Sign Recognition），主要是通過車載前向攝像頭捕捉道路場景圖像，然后經(jīng)過一系列算法處理，最終呈現(xiàn)出我們能理解的交通標(biāo)志信息。識(shí)別系統(tǒng)不僅要找出交通標(biāo)志的位置，還要確認(rèn)它是什么內(nèi)容，然后把這些信息傳給車輛控制系統(tǒng)用于后續(xù)決策。這個(gè)技術(shù)在自動(dòng)駕駛里非常重要，如若識(shí)別錯(cuò)誤，車輛可能會(huì)按照錯(cuò)誤的規(guī)則行駛，還會(huì)帶來安全隱患。

圖片源自：網(wǎng)絡(luò)

交通標(biāo)志識(shí)別一般分為檢測與分類兩個(gè)關(guān)鍵環(huán)節(jié)。檢測是將圖像中可能包含交通標(biāo)志的部分找出來，分類則是判斷這個(gè)標(biāo)志具體表示什么內(nèi)容。這個(gè)過程和人類看圖類似，但對(duì)機(jī)器而言會(huì)涉及復(fù)雜的視覺算法和大量樣本學(xué)習(xí)。自動(dòng)駕駛車輛會(huì)將這兩步緊密結(jié)合，同時(shí)還會(huì)考慮光照、遮擋、運(yùn)動(dòng)模糊等復(fù)雜場景對(duì)于交通標(biāo)志識(shí)別的影響。

感知世界：從攝像頭采集圖像開始

要識(shí)別交通標(biāo)志，自動(dòng)駕駛汽車需要先“看到”這些標(biāo)志。自動(dòng)駕駛汽車前方一般會(huì)裝有高分辨率的攝像頭，以及激光雷達(dá)、毫米波雷達(dá)等傳感器，但是交通標(biāo)志識(shí)別這項(xiàng)任務(wù)，主要還是由攝像頭完成。攝像頭可以像人眼一樣看到道路前方的交通標(biāo)志、車輛、行人、背景建筑等視覺信息，從而為自動(dòng)駕駛汽車識(shí)別交通標(biāo)志提供信息基礎(chǔ)。

攝像頭采集下來的原始圖像會(huì)有噪聲、曝光不均、運(yùn)動(dòng)模糊等問題，為了提高后續(xù)識(shí)別的準(zhǔn)確率，需要對(duì)這些圖像進(jìn)行預(yù)處理。常見的預(yù)處理方法包括顏色空間轉(zhuǎn)換、噪聲濾波和圖像校正等，這些操作可以讓圖像更容易被算法理解。比如將RGB（紅綠藍(lán)）圖像轉(zhuǎn)換成HSV（色調(diào)、飽和度、亮度）空間，可有助于突出某些顏色范圍，從而更容易發(fā)現(xiàn)不同顏色的標(biāo)志。

在采集和預(yù)處理之后，自動(dòng)駕駛系統(tǒng)要做的就是找出圖像中可能包含交通標(biāo)志的區(qū)域。早期的方法可以利用顏色、形狀等視覺特征進(jìn)行檢測，像是紅色邊框的圓形可能是限速標(biāo)志，三角形可能是警告類標(biāo)志，這些特征有助于自動(dòng)駕駛系統(tǒng)快速區(qū)分標(biāo)志和背景。更先進(jìn)的交通標(biāo)志識(shí)別技術(shù)主要依靠深度學(xué)習(xí)算法，通過神經(jīng)網(wǎng)絡(luò)模型自動(dòng)學(xué)習(xí)大量標(biāo)志樣本的特征，從而在復(fù)雜背景下也能準(zhǔn)確檢測出交通標(biāo)志。

深度學(xué)習(xí)如何幫助識(shí)別交通標(biāo)志

在過去的十幾年里，傳統(tǒng)的圖像處理方法主要依賴人工設(shè)計(jì)的如邊緣、顏色等特征，但對(duì)于實(shí)際道路存在的復(fù)雜、變化多端的場景，這種方法容易受光照變化、遮擋、傾斜等因素的干擾，識(shí)別準(zhǔn)確率有限。隨著深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）技術(shù)的發(fā)展，交通標(biāo)志識(shí)別進(jìn)入了一個(gè)新的階段。深度學(xué)習(xí)模型可以從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，不需要人工反復(fù)設(shè)計(jì)特征規(guī)則，相對(duì)傳統(tǒng)方法來說，基于深度學(xué)習(xí)模型的識(shí)別方法魯棒性和準(zhǔn)確率都會(huì)更高。

深度學(xué)習(xí)的核心是構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)模型，這個(gè)模型包含很多層計(jì)算單元（也叫神經(jīng)元或者卷積層），這些層可以從簡單的邊緣到更復(fù)雜的形狀和結(jié)構(gòu)，逐級(jí)提取圖像中的特征。神經(jīng)網(wǎng)絡(luò)模型會(huì)先用大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集包含各種各樣的交通標(biāo)志圖片，以及它們對(duì)應(yīng)的標(biāo)簽信息。訓(xùn)練的過程其實(shí)就是讓模型逐漸學(xué)會(huì)把輸入的圖像映射到正確的標(biāo)志類別上。常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)包括VGG、ResNet等基礎(chǔ)網(wǎng)絡(luò)，以及用于目標(biāo)檢測的YOLO系列、SSD、Faster R-CNN等模型，它們可以同時(shí)完成檢測和分類兩項(xiàng)任務(wù)。

以YOLO（You Only Look Once）模型為例，這類模型可以把整張圖像一次性輸入網(wǎng)絡(luò)，通過網(wǎng)絡(luò)對(duì)圖像進(jìn)行網(wǎng)格劃分，并為每個(gè)區(qū)域預(yù)測是否包含目標(biāo)以及目標(biāo)類別，這樣不僅可以快速檢測到交通標(biāo)志在哪兒，還能判斷它屬于哪種類型。在對(duì)YOLO v7、YOLO v8的實(shí)際測試中，識(shí)別準(zhǔn)確率可以達(dá)到99%以上，這意味著在大多數(shù)場景下YOLO模型都能正確識(shí)別出交通標(biāo)志。

當(dāng)然，想讓這些深度學(xué)習(xí)模型識(shí)別效果的準(zhǔn)確率更高，并不是簡單提供更多圖像給其訓(xùn)練就可以的，而是要進(jìn)行大量多樣化的訓(xùn)練，訓(xùn)練的數(shù)據(jù)集中要包括白天、夜晚、雨霧等各種環(huán)境下拍攝的標(biāo)志圖像。通過多樣性的數(shù)據(jù)訓(xùn)練，可以讓模型的泛化能力更強(qiáng)，不易被復(fù)雜路況干擾。此外，還需對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)處理，比如對(duì)原始圖像進(jìn)行旋轉(zhuǎn)、裁剪、亮度調(diào)整等操作，可以讓模型學(xué)會(huì)在更多不同情況下識(shí)別標(biāo)志。

檢測與分類：如何判斷這是什么標(biāo)志

在識(shí)別流程里，檢測和分類是兩個(gè)相互關(guān)聯(lián)但有所不同的環(huán)節(jié)。檢測是將圖像中可能包含交通標(biāo)志的區(qū)域框選出來，不去管它具體是什么內(nèi)容；分類則是在檢測出一塊區(qū)域后判斷它是哪種標(biāo)志。

在自動(dòng)駕駛技術(shù)初期，這兩個(gè)步驟是分開處理的，即先做特征提取和區(qū)域提議，然后把候選區(qū)域送入分類器判斷類別。隨著深度學(xué)習(xí)模型的普及，這兩個(gè)步驟便被統(tǒng)一到一個(gè)端到端的框架里，通過一個(gè)模型可以同時(shí)完成檢測位置和分類結(jié)果的任務(wù)。這樣做的好處是速度更快、實(shí)時(shí)性更強(qiáng)，適合需要高速響應(yīng)的自動(dòng)駕駛場景。

圖片源自：網(wǎng)絡(luò)

在交通標(biāo)志的檢測環(huán)節(jié)中，經(jīng)常會(huì)出現(xiàn)標(biāo)志大小變化大、角度不一致及標(biāo)志被部分遮擋等問題，這無疑增加了檢測的難度。為了應(yīng)對(duì)這個(gè)問題，算法會(huì)采用多尺度特征提取技術(shù)，讓大模型在不同分辨率的特征圖上都能捕捉到目標(biāo)信息，從而提升對(duì)遠(yuǎn)近標(biāo)志的檢測能力。

在檢測到交通標(biāo)志后，下一步要做的就是分類，分類要做的就是判斷檢測到的目標(biāo)具體屬于哪種交通標(biāo)志，這里會(huì)涉及數(shù)十甚至上百種類別。深度學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)過程中，會(huì)把每種類別的交通標(biāo)志特征編碼成內(nèi)部向量空間的模式。當(dāng)大模型看到新的測試圖像時(shí)，它會(huì)計(jì)算圖像和這些模式的匹配程度，最后輸出一個(gè)概率分布，讓系統(tǒng)知道哪個(gè)類別最有可能。

結(jié)合時(shí)間和上下文信息讓判斷更穩(wěn)妥

單幀圖像的識(shí)別有時(shí)會(huì)受光照、雨雪、車速等因素影響出現(xiàn)誤判。為了減少這種情況，自動(dòng)駕駛系統(tǒng)還會(huì)結(jié)合時(shí)間維度和上下文信息來增強(qiáng)識(shí)別的穩(wěn)定性。簡單來說就是不會(huì)憑一張照片判斷交通標(biāo)識(shí)的類別，而是會(huì)把連續(xù)的多幀圖像結(jié)果融合考慮。如果前幾幀識(shí)別到的是“限速60”的含義，而當(dāng)前幀不穩(wěn)定導(dǎo)致識(shí)別結(jié)果有小變化，系統(tǒng)可以結(jié)合歷史信息做出綜合判斷，從而避免因?yàn)橐粌蓭鲥e(cuò)而做出錯(cuò)誤決策。

圖片源自：網(wǎng)絡(luò)

此外，自動(dòng)駕駛車輛也會(huì)把交通標(biāo)志識(shí)別結(jié)果與高精地圖數(shù)據(jù)結(jié)合在一起。高精地圖里會(huì)提前包含道路上常見的交通標(biāo)志位置和類型信息，當(dāng)車輛識(shí)別到某個(gè)標(biāo)志時(shí)，可以和地圖數(shù)據(jù)校對(duì)，從而提高準(zhǔn)確率，尤其是在標(biāo)志因?yàn)檎趽趸驌p壞時(shí)可以通過這種方法提供補(bǔ)充參考。雖然這種做法不是必須的，但可以提高整體魯棒性。

識(shí)別結(jié)果如何指導(dǎo)自動(dòng)駕駛決策

當(dāng)自動(dòng)駕駛系統(tǒng)識(shí)別出交通標(biāo)志后，這些信息需要轉(zhuǎn)化成可用的指令送給自動(dòng)駕駛的決策和控制模塊。例如識(shí)別到“限速50”這個(gè)標(biāo)志，控制系統(tǒng)就會(huì)把目前設(shè)定的最高速度調(diào)整到相應(yīng)數(shù)值；當(dāng)識(shí)別到“停車讓行”標(biāo)志時(shí)，就會(huì)規(guī)劃車輛減速并停在停止線前；遇到“禁止左轉(zhuǎn)”標(biāo)志時(shí)，規(guī)劃路徑時(shí)就不會(huì)選擇左轉(zhuǎn)路線。交通標(biāo)志的識(shí)別結(jié)果在這些規(guī)則執(zhí)行中可以起到直接的輸入作用。

在整個(gè)自動(dòng)駕駛系統(tǒng)中，交通標(biāo)志的識(shí)別只是感知的一部分，它會(huì)和車輛、行人、路緣、車道線等其他感知信息一起形成對(duì)周圍環(huán)境的整體理解。決策模塊會(huì)把識(shí)別到的信息綜合起來，按照交通規(guī)則和安全策略制定下一步行動(dòng)，然后將控制指令傳給車輛的執(zhí)行部件。這樣的流程可以讓自動(dòng)駕駛汽車不僅能“看見”標(biāo)志，還能基于這些信息安全地行駛。

最后的話

自動(dòng)駕駛車輛之所以能識(shí)別交通標(biāo)志，是借助了攝像頭采集視覺輸入，再通過預(yù)處理、深度學(xué)習(xí)模型檢測和分類，結(jié)合時(shí)間信息和地圖數(shù)據(jù)等手段綜合判斷得到的。識(shí)別結(jié)果會(huì)被用于指導(dǎo)車輛按交通規(guī)則行駛。這個(gè)過程涉及多個(gè)環(huán)節(jié)和先進(jìn)算法，每一步都要經(jīng)過精心設(shè)計(jì)和大量調(diào)試，才能在復(fù)雜的現(xiàn)實(shí)道路環(huán)境中保持足夠高的可靠性。

審核編輯 黃宇