NVIDIA 研究團(tuán)隊(duì)取得突破性成果，展示了 Omniverse 數(shù)字孿生技術(shù)在仿真中重建真實(shí)場景的強(qiáng)大功能。

自動駕駛汽車的開發(fā)和驗(yàn)證需要能夠在仿真中復(fù)制真實(shí)場景。

在 GTC 大會上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生展示了適用于 NVIDIA DRIVE Sim 的新型 AI 工具，這些工具可以準(zhǔn)確重建和修改實(shí)際駕駛場景。這些工具由 NVIDIA 研究團(tuán)隊(duì)利用 NVIDIA Omniverse 平臺和 NVIDIA DRIVE Map 等技術(shù)取得的突破性成果提供支持。

黃仁勛先生演示了這些方法，展示開發(fā)者如何在快速迭代中輕松測試多個(gè)場景：

在仿真中重建任何場景后，這些場景便可用作許多不同變化的基礎(chǔ)，包括改變迎面而來的車輛的軌跡，或在駕駛路徑上增加障礙物，從而有助于開發(fā)者改進(jìn) AI 驅(qū)動。

然而，在仿真中重建真實(shí)駕駛場景并從中生成真實(shí)的數(shù)據(jù)是一個(gè)費(fèi)時(shí)費(fèi)力的過程。這需要技術(shù)經(jīng)驗(yàn)豐富的工程師和藝術(shù)家，但即便如此，也很難做到。

NVIDIA 已實(shí)施兩種基于 AI 的方法來無縫執(zhí)行此過程：虛擬重建和神經(jīng)重建。第一種方法復(fù)制真實(shí)場景，作為完全合成的 3D 場景，第二種方法則使用神經(jīng)仿真增強(qiáng)真實(shí)的傳感器數(shù)據(jù)。

這兩種方法不僅能夠重現(xiàn)單個(gè)場景，還能夠?qū)崿F(xiàn)擴(kuò)展，生成許多富有挑戰(zhàn)性的新場景。這種功能加速了持續(xù)的自動駕駛汽車訓(xùn)練、測試和驗(yàn)證工作流。

虛擬重建

在上面的主題演講視頻中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 總部周圍的整體駕駛環(huán)境和各個(gè)場景。

借助 DRIVE Map，開發(fā)者可以在 Omniverse 中查看道路網(wǎng)絡(luò)的數(shù)字孿生。通過使用建立在 Omniverse 上的工具，詳細(xì)的地圖可以轉(zhuǎn)換為能夠與 NVIDIA DRIVE Sim 一起使用的可駕駛仿真環(huán)境。

利用重建的仿真環(huán)境，開發(fā)者可以使用在真實(shí)駕駛中獲得的攝像頭、激光雷達(dá)和車輛數(shù)據(jù)來重現(xiàn)事件，例如在交叉路口發(fā)生的驚險(xiǎn)一刻或穿越施工區(qū)。

該平臺的 AI 幫助重建場景。首先，對于每個(gè)追蹤的物體，AI 會查看攝像頭圖像，并從 DRIVE Sim 目錄中找到極其相似的 3D 素材，以及與視頻中物體顏色非常接近的顏色。

最后，重現(xiàn)追蹤物體的實(shí)際路徑;然而，由于存在遮擋，通常會存在空白。在這種情況下，基于 AI 的交通模型會應(yīng)用于追蹤的物體，以預(yù)測其運(yùn)行情況并填補(bǔ)其軌跡中的空白。

使用真實(shí)駕駛中的攝像頭和激光雷達(dá)數(shù)據(jù)以及 AI 重建場景

借助虛擬重建，開發(fā)者能夠發(fā)現(xiàn)具有挑戰(zhàn)性的潛在情況，通過基于物理傳感器和 AI 行為模型生成的高保真數(shù)據(jù)來訓(xùn)練和驗(yàn)證自動駕駛汽車系統(tǒng)，從而創(chuàng)建許多新場景。場景中的數(shù)據(jù)也可以訓(xùn)練行為模型。

使用 AI 從原場景中生成看似合理、具有挑戰(zhàn)性的場景

神經(jīng)重建

另一種方法依靠的是神經(jīng)仿真，而不是以合成方式生成場景，首先使用真實(shí)的傳感器數(shù)據(jù)，然后再進(jìn)行修改。

傳感器重放(回放錄制的傳感器數(shù)據(jù)以測試自動駕駛汽車系統(tǒng)的性能的過程)是自動駕駛汽車開發(fā)的主要內(nèi)容。這是一個(gè)開環(huán)過程，意味著自動駕駛汽車棧的決策不會影響世界，因?yàn)樗袛?shù)據(jù)都是預(yù)先錄制的。

NVIDIA 研究團(tuán)隊(duì)提供的神經(jīng)重建方法的預(yù)覽將這些錄制的數(shù)據(jù)轉(zhuǎn)變?yōu)橐粋€(gè)完全反應(yīng)式的可修改環(huán)境，就像在演示中一樣，最初錄制的貨車駛過時(shí)，汽車可以重新設(shè)定為右轉(zhuǎn)彎。這種革命性的方法可以實(shí)現(xiàn)在自動駕駛棧與駕駛環(huán)境之間進(jìn)行閉環(huán)測試和完全交互。

此過程從錄制的駕駛數(shù)據(jù)開始。AI 可識別場景中的動態(tài)物體，并將其移除，以創(chuàng)建可從新視角呈現(xiàn)的 3D 環(huán)境精確副本。然后，將動態(tài)物體重新融入 3D 場景，呈現(xiàn)基于 AI 的逼真行為和外貌，并考慮照明和陰影。

使用 AI 基于預(yù)先錄制的駕駛數(shù)據(jù)創(chuàng)建 3D 交互式環(huán)境

然后，自動駕駛系統(tǒng)會在這個(gè)虛擬世界中行駛，且場景會做出相應(yīng)的反應(yīng)。您可以通過增強(qiáng)現(xiàn)實(shí)使場景變得更加復(fù)雜，可以插入其他虛擬物體、車輛和行人，使渲染結(jié)果看起來就像是真實(shí)場景的一部分，并且可以與環(huán)境進(jìn)行物理交互。

車輛上的每一個(gè)傳感器(包括攝像頭和激光雷達(dá))都可以使用 AI 在場景中進(jìn)行仿真。

在 Omniverse 中，可以在駕駛環(huán)境中插入虛擬物體和車輛。針對場景生成了人工傳感器數(shù)據(jù)(包括激光雷達(dá))

充滿可能性的虛擬世界

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業(yè)知識驅(qū)動。

作為一個(gè)模塊化平臺，DRIVE Sim 在確定性仿真的基礎(chǔ)上支持這些功能。它提供車輛動態(tài)、基于 AI 的交通模型、場景工具和全面的 SDK，以構(gòu)建所需的任何工具。

通過這兩種強(qiáng)大新穎的 AI 方法，開發(fā)者可以輕松地從現(xiàn)實(shí)世界遷移到虛擬世界，從而加快自動駕駛的開發(fā)和部署。

原文標(biāo)題：GTC22 | NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推動自動駕駛汽車的開發(fā)

文章出處：【微信公眾號：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅