NVIDIA 在國際計算機視覺與模式識別會議（CVPR）上展示了用于自動駕駛汽車開發(fā)的加速計算和生成式 AI 的突破技術。

NVIDIA 采取行動加速自動駕駛汽車的開發(fā)，成為本周于美國西雅圖舉辦的國際計算機視覺與模式識別會議（CVPR）的自動駕駛國際挑戰(zhàn)賽的獲勝者。

NVIDIA Research 繼去年獲得 3D Occupancy 預測冠軍后，今年又憑借 Hydra-MDP 模型在大規(guī)模端到端駕駛類別中擊敗了全球 400 多個參賽者，榮登榜首。

這一里程碑顯示了生成式 AI 在自動駕駛汽車（AV）開發(fā)過程中構建物理 AI 部署的重要性。該技術還可應用于工業(yè)環(huán)境、醫(yī)療、機器人等其他領域。

NVIDIA 的獲獎作品還榮獲 CVPR 創(chuàng)新獎，該獎項是對 NVIDIA 改進“任意端到端駕駛模型使用所學習到的開環(huán)代理指標”這一方法的認可。

此外，NVIDIA 還發(fā)布了 NVIDIA Omniverse Cloud Sensor RTX，這是一套可實現(xiàn)物理精確傳感器仿真的微服務，可加速各類完全自主機器的開發(fā)。

端到端駕駛如何運作

比起短跑，自動駕駛汽車開發(fā)競賽更像是一場永無止境的鐵人三項賽，涉及到三個截然不同但又至關重要的部分：AI 訓練、仿真和自動駕駛。每個部分都需要有各自的加速計算平臺，并且專為這三個步驟打造的全棧系統(tǒng)，需要組合成一個能夠保證開發(fā)周期不間斷并且性能與安全性也不斷提高的強大“鐵三角”。

為了實現(xiàn)這一目標，首先要在NVIDIA DGX等 AI 超級計算機上對模型進行訓練。然后，通過使用NVIDIA Omniverse平臺并在NVIDIA OVX系統(tǒng)上對模型進行測試和驗證。最后在NVIDIA DRIVE AGX平臺上通過該模型實時處理傳感器數(shù)據(jù)。

建立一個能夠在復雜物理世界中安全導航的自動駕駛系統(tǒng)極具挑戰(zhàn)性。該系統(tǒng)需要全面感知和了解周圍環(huán)境，然后在幾分之一秒內做出正確且安全的決策。因此，系統(tǒng)必須具備類似人類的態(tài)勢感知能力，才能處理潛在的危險或罕見情況。

傳統(tǒng)的 AV 軟件開發(fā)一直基于模塊化方法，包括用于物體檢測和追蹤、軌跡預測以及路徑規(guī)劃和控制的獨立組件。

端到端自動駕駛系統(tǒng)采用一個統(tǒng)一模型接收傳感器輸入并生成車輛軌跡，從而簡化了這一過程，有助于避免工作流變得過于復雜并提供了一種更加全面、以數(shù)據(jù)為依據(jù)的方法來處理現(xiàn)實世界中的各種情況。

引領國際挑戰(zhàn)賽

今年的 CVPR 挑戰(zhàn)賽要求參賽者利用 nuPlan 數(shù)據(jù)集開發(fā)出能夠根據(jù)傳感器數(shù)據(jù)生成駕駛軌跡的端到端自動駕駛模型。

所提交的模型將在開源的 NAVSIM 模擬器中進行測試，它的任務是在數(shù)千種從未體驗過的場景中進行導航。比賽根據(jù)安全性、乘客舒適度以及與原始記錄軌跡的偏差等指標對模型性能進行評分。

勝出的 NVIDIA Research 端到端模型能夠獲取攝像頭和激光雷達數(shù)據(jù)以及車輛的軌跡歷史記錄，在傳感器輸入后的五秒鐘內就能生成安全的最佳車輛路徑。

NVIDIA 研究人員贏得此次比賽所使用的工作流可以通過 NVIDIA Omniverse 在高保真仿真環(huán)境中進行復制，這意味著自動駕駛仿真開發(fā)人員能夠在現(xiàn)實世界測試自動駕駛汽車之前，先在物理精確的環(huán)境中創(chuàng)建工作流。NVIDIA Omniverse Cloud Sensor RTX微服務將于今年晚些時候推出。請注冊以獲得搶先體驗https://developer.nvidia.com/login。

此外，NVIDIA 提交的作品在 CVPR 自動駕駛大型挑戰(zhàn)賽語言駕駛類別中排名第二。NVIDIA 的模型打通了視覺語言模型和自動駕駛系統(tǒng)，通過整合大語言模型的強大功能幫助做出決策并實現(xiàn)可通用、可解釋的駕駛行為。