在行車過程中，駕駛員會遇見其他注意力不集中的駕駛員不合理變道或者行人突然從停放的車輛之間竄出來的情況，駕駛狀況可以說是變化無常。這種意外操作的存在意味著駕駛員在行車過程中，需要為未來將出現(xiàn)的各種駕駛情況做好準(zhǔn)備。

如果我們能夠準(zhǔn)確地預(yù)測一輛汽車是否會突然繞到我們車輛的前方，或者行人是否會穿過馬路，我們就能夠?yàn)樽约旱鸟{駛操作做出最佳的規(guī)劃決策。

自動駕駛汽車面臨著同樣的挑戰(zhàn)。借助計(jì)算方法和傳感器數(shù)據(jù)（比如一系列圖像），自動駕駛汽車可以及時(shí)判斷出物體正在如何移動。通過這類時(shí)態(tài)信息，它能夠準(zhǔn)確地預(yù)測周圍移動目標(biāo)的未來軌跡，并根據(jù)需要調(diào)整其行駛路徑。

其關(guān)鍵在于分析圖像序列中的時(shí)態(tài)信息，并且即使在擁有不確定性和不可預(yù)測性的情況下，也能準(zhǔn)確預(yù)測目標(biāo)的未來運(yùn)動。

為了實(shí)現(xiàn)這種預(yù)測，NVIDIA使用了深度神經(jīng)網(wǎng)絡(luò)家族中的成員之一，我們稱之為循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

什么是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）？

典型的卷積神經(jīng)網(wǎng)絡(luò)（CNN）處理給定圖像幀中的信息，并且獨(dú)立于它們從之前圖像幀中學(xué)習(xí)到的信息。然而循環(huán)神經(jīng)網(wǎng)絡(luò)擁有記憶功能，因此它們在計(jì)算并預(yù)測未來時(shí)可以利用過去的學(xué)習(xí)結(jié)果。

可以說，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠利用自然的方式提取一個(gè)時(shí)間序列的圖像（也就是視頻），并生成最先進(jìn)的時(shí)間預(yù)測結(jié)果。

擁有從大量時(shí)態(tài)數(shù)據(jù)中學(xué)習(xí)的能力是循環(huán)神經(jīng)網(wǎng)絡(luò)的重要優(yōu)勢。由于循環(huán)神經(jīng)網(wǎng)絡(luò)并不僅僅依賴圖像中本地的、幀到幀且基于像素的變化，在對行人及動物等非剛性移動目標(biāo)的未來運(yùn)動軌跡進(jìn)行預(yù)測時(shí)，該網(wǎng)絡(luò)擁有更高的可靠性。

循環(huán)神經(jīng)網(wǎng)絡(luò)在預(yù)測移動目標(biāo)未來軌跡（即移動目標(biāo)的未來位置和速度）時(shí)還可以使用上下文信息，如一個(gè)給定目標(biāo)相對于其靜態(tài)環(huán)境將如何移動。

利用跨傳感器數(shù)據(jù)訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)

雷達(dá)和激光雷達(dá)傳感器非常擅長測量移動目標(biāo)的速度。 因此，NVIDIA使用來自兩個(gè)傳感器的數(shù)據(jù)來生成地面實(shí)況信息去訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)以預(yù)測目標(biāo)的速度，而不試圖使用從人類標(biāo)記的攝像頭圖像中提取此類信息。

白色框代表目標(biāo)對象當(dāng)前位置，黃色框代表循環(huán)神經(jīng)網(wǎng)絡(luò)對這些對象未來移動位置的預(yù)測。

具體來說，我們將激光雷達(dá)和雷達(dá)的信息輸入到攝像頭域中，并用速度數(shù)據(jù)標(biāo)記攝像頭圖像。這就使我們能夠利用跨傳感器融合來創(chuàng)建一個(gè)自動的數(shù)據(jù)流程，為循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練生成地面實(shí)況信息。

循環(huán)神經(jīng)網(wǎng)絡(luò)輸出包括每個(gè)在場景中檢測到的動態(tài)對象（如車輛和行人）的碰撞時(shí)間（TTC）、未來位置以及未來速度預(yù)測。這些結(jié)果能夠?yàn)樽詣玉{駛汽車中的縱向控制功能（如自動巡航控制和自動緊急制動）提供必要的輸入信息。

借助循環(huán)神經(jīng)網(wǎng)絡(luò)從過去學(xué)習(xí)的能力，NVIDIA能夠?yàn)樽詣玉{駛汽車創(chuàng)造更安全的未來。