[首發(fā)于智駕最前沿微信公眾號]最近有一位小伙伴留言，想讓我聊聊自動駕駛汽車對于石頭這樣的小障礙物，是使用什么視覺任務檢測的。在直接回答“如何檢測”之前，其實要思考一個更根本的問題，對于一個像石頭這樣的小障礙物，自動駕駛汽車真的要檢測嗎？如果要檢測，是如何檢測的？

自動駕駛視覺系統(tǒng)都在看什么？

自動駕駛汽車要“看見”周圍環(huán)境，是靠一系列傳感器來完成的，其中最核心的一個就是攝像頭。攝像頭采集到實時圖像之后，自動駕駛中的視覺感知系統(tǒng)會將原始圖像變成機器可以理解的“環(huán)境模型”。

圖片源自：網(wǎng)絡

這個環(huán)境模型中會包括前方有沒有車輛、有沒有行人、車道線在哪里、交通標志是什么，甚至還有路面上的障礙物等很多信息。視覺感知是整個自動駕駛系統(tǒng)的基礎任務之一，沒有它，后續(xù)的決策和控制都無從談起。

在自動駕駛的視覺感知體系里，有兩個非?；A且核心的任務，即目標檢測（Object Detection）和語義分割（Semantic Segmentation）。目標檢測就是在圖像里找到如汽車、人、摩托車這樣的目標并給出它們的位置。語義分割則是把圖像里每個像素分配到類別標簽上，比如“這是道路，這是人行道，這是障礙物”這樣的標記。

簡單理解這兩個概念，目標檢測回答的是“這里有沒有一個物體？它在哪里？是什么？”；而語義分割回答的是“這塊區(qū)域?qū)儆谑裁搭悇e”。這兩類任務結(jié)合起來，就是視覺感知要做的基本工作。

什么是異常物體？

小伙伴所提及的石頭這樣的小障礙物，其實可以歸類為異常物體。所謂“異常物體”，其實就是那些在訓練集中不常出現(xiàn)、類別不明確，但可能對車輛安全構(gòu)成威脅的物體。這類物體在視覺上可能大小、形狀都很不規(guī)則，有時候顏色還和地面、陰影特別接近，這給機器識別帶來很大挑戰(zhàn)。

在日常駕駛中，最常見的障礙物就是其他車輛、行人、自行車、摩托車等一目了然的大物體。視覺系統(tǒng)會把這些定義為主要目標類別，在訓練數(shù)據(jù)里反復學習它們的特征。

但是真實路并不是理想狀態(tài)，在行駛過程中，還可能會遇到如掉落的貨物、輪胎碎片、塑料袋、甚至石頭這樣的異常物體。這些物體不是標準的目標類別，也不一定在我們訓練數(shù)據(jù)里有大量樣本出現(xiàn)。但如果車輛高速行駛碰上這樣的物體，可能造成輪胎爆胎、控制失誤等安全風險。因此，對這些異常物體進行精準識別，是非常有必要的。

因為視覺感知系統(tǒng)主要是從數(shù)據(jù)里學特征，像石頭這種偶爾才出現(xiàn)的場景，沒有足夠的例子能讓系統(tǒng)學會判斷它就是個障礙物。有時候，石頭在視覺上會和路面、陰影、裂縫這些東西非常相似，對于模型來說，它很難從單張圖像里判斷這塊石頭有沒有危險、離車多遠、應不應該規(guī)避。對這類情況的檢測和處理就成為自動駕駛感知的一大難題。

視覺任務怎么檢測這些異常物體？

既然石頭這樣的異常物體不屬于常規(guī)類別，自動駕駛視覺系統(tǒng)還能檢測它嗎？答案是，能檢測，但不是簡單地把它歸為某類物體，而是通過多種視覺任務和策略來識別風險。

現(xiàn)階段，自動駕駛已使用深度學習模型來進行視覺感知，它們在圖像上學習不同物體的形狀、紋理、邊界等特征。像是YOLO、SSD、Faster R-CNN這些主流物體檢測模型，可以在圖像中找到各種目標并給出置信度和位置框。對于不屬于已知類別的目標，這類模型可能不會輸出如“石頭”這樣的明確標簽，但會給出一個“未知物體/障礙物”的檢測結(jié)果，以提示自動駕駛系統(tǒng)有一個值得注意的物體在前方。

語義分割或?qū)嵗指钜彩亲R別異常物體的主要手段，它會把圖像分成如“路面”“非道路”“障礙物”等標簽。只要模型在訓練時學會了把“正常路面”與“路面上的異常區(qū)域”區(qū)分開來，即便它沒有見過“石頭”這種具體類別，也會把視覺上突兀、不屬于路面的那一塊像素標記為“非路面/障礙物”。像素級的標注會讓系統(tǒng)發(fā)現(xiàn)道路上異常的區(qū)域，并把這些區(qū)域當作潛在障礙物上報給后續(xù)的決策與控制模塊。

還有一類專門針對小型異常物體檢測的視覺任務，被稱為小目標檢測，其主要解決的是體積很小、距離較遠、外形又不規(guī)則的物體識別問題。由于這些目標在圖像中只占很少的像素，傳統(tǒng)目標檢測模型很容易把它們當成噪聲而忽略。為了解決這個問題，可通過引入激光雷達等其他傳感器的信息，用三維點云提供的空間位置和高度線索，去約束和引導視覺模型關(guān)注那些“看起來不起眼、但在空間上確實存在”的區(qū)域。這樣一來，視覺模型不再只依賴外觀特征，而是可以結(jié)合真實的三維結(jié)構(gòu)信息，對小障礙物的識別會更加穩(wěn)定，也更不容易漏檢。

最后的話

自動駕駛視覺系統(tǒng)里涉及如目標檢測、語義分割等很多不同的視覺任務，這些都是把攝像頭捕捉的圖像轉(zhuǎn)化為對環(huán)境的理解。對于如石頭這樣不常見的路面物體，它們往往沒有標準類別標簽，但視覺系統(tǒng)仍然可以通過廣泛訓練、優(yōu)化模型和結(jié)合其他傳感器等方法，把它們識別為潛在障礙物。檢測這些物體的目的只有一個，那就是讓自動駕駛汽車行駛得更安全、更可靠。

審核編輯 黃宇