自動駕駛是機器人技術和機器學習中的一項重大挑戰(zhàn)，旨在改善所有人的出行方式。盡管過去十年取得了巨大的進展，現(xiàn)有的自動駕駛軟件在處理極其罕見的長尾場景方面依然存在局限性。因此，實時檢測并對突發(fā)異常做出響應，對于確保安全性和可靠性至關重要。

本期 NVIDIA 自動駕駛實驗室介紹了，生成式 AI 技術被用于增強自動駕駛系統(tǒng)的安全性。在這項 NVIDIA 與斯坦福大學的合作中，雙方共同開發(fā)了一個算法，基于互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓練的基礎模型，如大語言模型（LLM）。該算法展現(xiàn)出了零樣本泛化的能力，能夠有效檢測和緩解機器人系統(tǒng)的分布外故障模式。這一合作成果在 RSS（Robotics：Science and Systems）2024 上榮獲優(yōu)秀論文獎。

此外，NVIDIA 的快速異常分類器在資源和時間受限的情況下，也能夠提高動態(tài)機器人系統(tǒng)的可信度，如四旋翼飛行器和自動駕駛車輛，其性能優(yōu)于運用最先進 GPT 模型的自回歸推理。這些技術亮點展示了 NVIDIA 在實時異常檢測領域的最新進展，也為自動駕駛車輛的實際應用提供了強有力的技術支持。

NVIDIA 提供的物理和具身智能平臺能夠支持 LLM 在實際應用中的部署。例如NVIDIA DRIVE用于自動駕駛汽車，NVIDIA Isaac用于 AI 機器人。而NVIDIA Omniverse平臺是構建仿真流程以開發(fā)和測試 AI 驅(qū)動的自動駕駛和機器人的關鍵工具，利用 Omniverse 中的生成式 AI 可以生成復雜的、罕見的駕駛場景。通過這樣的綜合策略，可以將 LLM 整合到嚴格的安全規(guī)范中，例如安全監(jiān)管、冗余設計和仿真測試。

相關資料

利用大語言模型進行實時異常檢測和反應式規(guī)劃

本文提出了一個實時檢測和決策框架，該框架利用大語言模型（LLM）的零樣本泛化功能，在面對具有挑戰(zhàn)性的異?；驑O端情況時，促進對自主系統(tǒng)的安全和實時控制。這是通過推理層次結構實現(xiàn)的：一個快速異常檢測器，用于查詢機器人在 LLM 嵌入空間中先前經(jīng)驗的相似性，以及一個慢速生成推理器，用于評估檢測到的異常安全影響并選擇適當?shù)木徑獠呗?。這些推理器與一種新的模型預測控制策略相配合，保持了多種安全行動規(guī)劃的可行性。