DRIVE Labs 系列文章

第六站：基于洞察的智能規(guī)劃

自動(dòng)駕駛汽車上路后，會(huì)遇到各種各樣的突發(fā)情況，道路上突然變道或道路邊突然啟動(dòng)的車輛、突然橫穿馬路的行人等，都會(huì)對(duì)自動(dòng)駕駛汽車行駛的安全性帶來影響。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第六期“基于洞察的智能規(guī)劃”，將為大家介紹自動(dòng)駕駛汽車如何利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和深度神經(jīng)網(wǎng)絡(luò)（DNN），追蹤并預(yù)測(cè)其他道路使用者的行動(dòng)軌跡，并規(guī)劃自動(dòng)駕駛汽車自身的行駛軌跡，以實(shí)現(xiàn)安全駕駛。

上期文章主要介紹了可幫助自動(dòng)駕駛汽車“看清”路況、控制燈光的 DNN，本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹能夠穩(wěn)定追蹤駕駛環(huán)境不同目標(biāo)的特征追蹤、可預(yù)測(cè)目標(biāo)未來移動(dòng)軌跡的 RNN 以及能夠幫助自動(dòng)駕駛汽車了解周圍駕駛環(huán)境的 PredictionNet DNN。話不多說，一起來看看吧！

在復(fù)雜的道路交通環(huán)境中，自動(dòng)駕駛汽車在行使過程中難免會(huì)遇到一些緊急或突發(fā)的情況，如前車臨時(shí)變道、路邊行人橫穿馬路等，這些情況的發(fā)生通常都有跡可循。若自動(dòng)駕駛汽車能在時(shí)刻觀察道路環(huán)境的過程中，考慮到周圍活動(dòng)車輛和行人未來可能進(jìn)行的道路行動(dòng)，可在很大程度上“防范于未然”，及時(shí)規(guī)避危險(xiǎn)、保證安全行駛。

特征追蹤“把握”車周環(huán)境動(dòng)向

在車輛的行駛過程中，像素級(jí)信息可能會(huì)由于復(fù)雜的光照變化、視點(diǎn)變化以及場(chǎng)景中的非剛性物體運(yùn)動(dòng)而失真。為實(shí)現(xiàn)高性能的自動(dòng)駕駛，技術(shù)開發(fā)人員需要在自動(dòng)駕駛訓(xùn)練中兼具準(zhǔn)確性、可靠性和運(yùn)行效率。NVIDIA 選擇采用基于稀疏光流的特征追蹤方法，來獲得所對(duì)應(yīng)的像素級(jí)訓(xùn)練數(shù)據(jù)，并保證其準(zhǔn)確性和多樣性。

特征追蹤可以對(duì)視頻相鄰幀之間的像素級(jí)對(duì)應(yīng)關(guān)系和像素級(jí)變化進(jìn)行估計(jì)，對(duì)于估計(jì)障礙物運(yùn)動(dòng)/速度、相機(jī)自校準(zhǔn)和視覺測(cè)距提供關(guān)鍵時(shí)間和地理信息來說至關(guān)重要。準(zhǔn)確且穩(wěn)定的特征追蹤結(jié)果可轉(zhuǎn)換為障礙物感知中對(duì)碰撞時(shí)間的準(zhǔn)確估計(jì)，可用于對(duì)攝像頭傳感器外部校準(zhǔn)（俯仰/偏航/側(cè)傾）值的可靠計(jì)算，并且可作為在視覺里程計(jì)算中生成三維圖像的關(guān)鍵視覺輸入。

NVIDIA 基于稀疏光流的特征追蹤方法包括三個(gè)主要步驟：

• 圖像預(yù)處理：該步驟主要是從圖像中提取梯度信息；

• 特征檢測(cè)：該步驟使用提取到的梯度信息來識(shí)別圖像中的顯著特征點(diǎn)，以在整個(gè)幀中實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的穩(wěn)定追蹤；

• 跨幀追蹤功能：該步驟會(huì)在基于光流的特征追蹤中追蹤檢測(cè)到的特征，并估計(jì)其在視頻圖像序列中跨相鄰兩幀的運(yùn)動(dòng)。

為保證基于嵌入式計(jì)算平臺(tái)自動(dòng)駕駛的安全性，在實(shí)時(shí)特征追蹤中平衡準(zhǔn)確性和性能至關(guān)重要。為實(shí)現(xiàn)該平衡，NVIDIA 設(shè)計(jì)了一種復(fù)雜的特征密度控制算法，以確保檢測(cè)到的稀疏特征可以覆蓋對(duì)自動(dòng)駕駛來說最重要的圖像區(qū)域。此外，NVIDIA 還利用由粗到精的特征追蹤策略來提高計(jì)算速度和可靠性。

NVIDIA 的稀疏特征追蹤方法可同時(shí)在多臺(tái)攝像頭上運(yùn)行，開發(fā)人員可以借助前置和環(huán)繞攝像頭感知裝置實(shí)現(xiàn)特征追蹤功能。

循環(huán)神經(jīng)網(wǎng)絡(luò)“看懂”目標(biāo)走向

使用 RNN 預(yù)測(cè)未來

在行車過程中，駕駛狀況變化無常，自動(dòng)駕駛汽車會(huì)遇見其他車輛的不合理變道或行人突然從停放的車輛之間竄出來的情況。這種意外事件的存在意味著在行車過程中，自動(dòng)駕駛汽車需要為未來將出現(xiàn)的各種駕駛情況做好準(zhǔn)備。

借助計(jì)算方法和傳感器數(shù)據(jù)（比如一些連續(xù)的圖像），自動(dòng)駕駛汽車可以及時(shí)判斷出物體正在如何移動(dòng)，并通過這類時(shí)態(tài)信息準(zhǔn)確地預(yù)測(cè)周圍移動(dòng)目標(biāo)的未來軌跡，根據(jù)需要調(diào)整其行駛路徑。以上視頻為大家展示了 NVIDIA 為實(shí)現(xiàn)這種預(yù)測(cè)，所使用的深度神經(jīng)網(wǎng)絡(luò)家族中的成員之一—循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

RNN 是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 是根據(jù)“人的認(rèn)知是基于過往的經(jīng)驗(yàn)和記憶”這一觀點(diǎn)提出的。與 DNN、CNN 不同的是，RNN 擁有記憶功能，其在計(jì)算并預(yù)測(cè)未來時(shí)可以利用過去的學(xué)習(xí)結(jié)果，能夠以自然方式提取某一時(shí)間序列的圖像（也就是視頻），并生成最先進(jìn)的時(shí)間預(yù)測(cè)結(jié)果，具有高度可靠性。

NVIDIA 主要是利用跨傳感器數(shù)據(jù)來訓(xùn)練 RNN。具體而言，NVIDIA 會(huì)將激光雷達(dá)和雷達(dá)的信息輸入至攝像頭域中，并用速度數(shù)據(jù)標(biāo)記攝像頭圖像，以利用跨傳感器融合來創(chuàng)建一個(gè)自動(dòng)的數(shù)據(jù)流程，為 RNN 的訓(xùn)練生成地面實(shí)況信息。

RNN 可輸出場(chǎng)景中所檢測(cè)到的動(dòng)態(tài)對(duì)象（如車輛和行人）的碰撞時(shí)間（TTC）、未來位置以及未來速度預(yù)測(cè)，為自動(dòng)駕駛汽車中的縱向控制功能（如自動(dòng)巡航控制和自動(dòng)緊急制動(dòng)）提供必要的輸入信息，以幫助自動(dòng)駕駛汽車實(shí)現(xiàn)安全行駛。

PredictionNet DNN 預(yù)測(cè)前方路況

準(zhǔn)確前行：AI 如何幫助自動(dòng)駕駛汽車預(yù)測(cè)前方路況

車輛行駛過程中需要對(duì)未來進(jìn)行預(yù)測(cè)。每當(dāng)汽車突然駛?cè)肽硞€(gè)車道或多輛汽車在同一十字路口相遇時(shí)，為了確保安全，駕駛員必須對(duì)其他對(duì)象的行為進(jìn)行預(yù)測(cè)。人類駕駛員依靠駕駛過程中的線索以及個(gè)人經(jīng)驗(yàn)對(duì)情況進(jìn)行分析，而自動(dòng)駕駛汽車可以通過 AI 預(yù)測(cè)交通模式，并在復(fù)雜的環(huán)境中安全行駛。以上視頻將為大家演示 PredictionNet DNN 如何利用實(shí)時(shí)感知數(shù)據(jù)和地圖數(shù)據(jù)，預(yù)測(cè)其他道路使用者的行駛路徑。

PredictionNet DNN 通過分析路上所有行人和車輛過往的移動(dòng)情況，得到車輛或行人的過往位置，并且還會(huì)獲取場(chǎng)景中固定對(duì)象和地標(biāo)的位置，例如地圖上的交通信號(hào)燈、交通標(biāo)志和車道線標(biāo)志，而后基于這些柵格化俯視圖信息輸入來預(yù)測(cè)路上車輛和行人的未來軌跡。此外，PredictionNet DNN 能通過提供每個(gè)車輛或行人未來軌跡的預(yù)測(cè)統(tǒng)計(jì)信息，來降低預(yù)測(cè)的不確定性，如下圖所示。

PredictionNet 的預(yù)測(cè)結(jié)果以俯視圖形式展現(xiàn)。灰線代表地圖，白虛線代表 DNN 預(yù)測(cè)的車輛軌跡，而白框代表實(shí)際發(fā)生的軌跡數(shù)據(jù)。彩色云代表預(yù)測(cè)車輛軌跡的概率分布，較暖顏色代表在時(shí)間上與當(dāng)前時(shí)間更近的點(diǎn)，較冷顏色代表在將來更遠(yuǎn)的點(diǎn)

PredictionNet 采用基于 RNN 的二維卷積架構(gòu)，對(duì)任意車輛或行人以及預(yù)測(cè)范圍數(shù)量都具有高度可擴(kuò)展性。此外，PredictionNet 模型還適用于 TensorRT 深度學(xué)習(xí)推理 SDK 中的高效運(yùn)行，可在 NVIDIA TITAN RTX GPU 上實(shí)現(xiàn) 10 毫秒級(jí)的端到端推理。PredictionNet 實(shí)時(shí)預(yù)測(cè)行為的能力還能用于創(chuàng)建交互式訓(xùn)練環(huán)境，以加強(qiáng)基于學(xué)習(xí)的規(guī)劃和控制策略，實(shí)現(xiàn)自動(dòng)巡航控制、車道變更或交叉路口處理等功能。

PredictionNet 的訓(xùn)練結(jié)果還表明，其在十字路口、高速公路汽車匯入等復(fù)雜的交通場(chǎng)景下都具有很好的應(yīng)用前景。該 DNN 的預(yù)測(cè)功能還具有可擴(kuò)展性，可用于各種傳感器配置，并應(yīng)用在從 L2+ 級(jí)系統(tǒng)到 L4/L5 級(jí)的自動(dòng)駕駛系統(tǒng)中。

NVIDIA 希望能借助 PredictionNet 以及真實(shí)世界經(jīng)驗(yàn)，對(duì)“其他道路使用者對(duì)行駛中的汽車做出的反應(yīng)”進(jìn)行仿真，訓(xùn)練出更安全、可靠且彬彬有禮的“AI 駕駛員”。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 NVIDIA 如何利用 AI、安全力場(chǎng)（Safety Force Field）和主動(dòng)學(xué)習(xí)為駕乘人員的安全保駕護(hù)航，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標(biāo)志與信號(hào)燈

「第四站」：監(jiān)控車外的風(fēng)吹草動(dòng)

「第五站」：提高道路狀況的可見性

掃描海報(bào)二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！