在亞特蘭大舉行的國(guó)際機(jī)器人與自動(dòng)化大會(huì) (ICRA) 上，NVIDIA 展示了其在生成式 AI、仿真和自主操控領(lǐng)域的多項(xiàng)研究成果。

NVIDIA 研究中心在機(jī)器人訓(xùn)練與開發(fā)領(lǐng)域，比如多模態(tài)生成式 AI 和合成數(shù)據(jù)生成等方面，不斷取得突破性進(jìn)展。

5 月 19 日至 23 日在亞特蘭大舉辦的國(guó)際機(jī)器人與自動(dòng)化大會(huì) (ICRA) 上，NVIDIA 重點(diǎn)展示了其最新研究成果。

NVIDIA 機(jī)器人研究高級(jí)總監(jiān) Dieter Fox 表示：“ICRA 一直是引領(lǐng)機(jī)器人與自動(dòng)化領(lǐng)域發(fā)展方向的關(guān)鍵平臺(tái)，它不僅見證了行業(yè)發(fā)展的關(guān)鍵里程碑，也持續(xù)表彰著那些對(duì)技術(shù)革新與社會(huì)進(jìn)步產(chǎn)生深遠(yuǎn)影響的突破性成果。我們今年帶來(lái)的研究成果，將通過彌合數(shù)據(jù)鴻溝以及提升機(jī)器人安全與控制能力兩個(gè)方面，為自動(dòng)駕駛汽車與人形機(jī)器人的發(fā)展注入新動(dòng)能。”

面向可擴(kuò)展機(jī)器人學(xué)習(xí)的生成式 AI

在 ICRA 上展示的 NVIDIA 研究論文揭示了機(jī)器人技術(shù)的未來(lái)方向，其中包括：

DreamDrive：這種 4D 時(shí)空?qǐng)鼍吧煞椒ɡ靡曨l擴(kuò)散和 3D Gaussian splatting 技術(shù)，為自動(dòng)駕駛汽車創(chuàng)建逼真且可控的 4D 駕駛場(chǎng)景。

X-Mobility：一個(gè)端到端導(dǎo)航框架，使機(jī)器人能夠通過學(xué)習(xí)世界模型進(jìn)行規(guī)劃和控制，從而在不同環(huán)境中實(shí)現(xiàn)泛化能力。

ReMEmber：基于記憶的導(dǎo)航方法，使機(jī)器人能夠利用長(zhǎng)期時(shí)空推理能力進(jìn)行導(dǎo)航。

DexMimicGen：該系統(tǒng)僅需少量人類演示，即可生成大規(guī)模的雙手靈巧操作數(shù)據(jù)集。

HOVER：用于人形機(jī)器人的統(tǒng)一神經(jīng)控制器，可在移動(dòng)、操控等模式之間實(shí)現(xiàn)無(wú)縫切換。

MatchMaker：該工作流可自動(dòng)生成多樣化 3D 裝配資產(chǎn)，用于基于仿真的訓(xùn)練，使機(jī)器人無(wú)需手動(dòng)資產(chǎn)管理即可學(xué)習(xí)插裝任務(wù)。

SPOT：這個(gè)學(xué)習(xí)框架利用 SE (3) 位姿軌跡擴(kuò)散技術(shù)進(jìn)行以物體為中心的操控，實(shí)現(xiàn)跨實(shí)體的泛化能力。

自動(dòng)駕駛汽車感知故障的系統(tǒng)級(jí)安全監(jiān)控與恢復(fù)：該系統(tǒng)可實(shí)時(shí)監(jiān)測(cè)感知可靠性并啟動(dòng)恢復(fù)策略，以保障自動(dòng)駕駛的穩(wěn)健規(guī)劃與安全性能。

推理階段的人機(jī)協(xié)同策略調(diào)整框架：該框架支持在推理過程中，實(shí)時(shí)通過人工引導(dǎo)調(diào)整模型輸出，在無(wú)需重新訓(xùn)練的情況下提升策略的一致性。

在 ICRA 上，NVIDIA 專家參與的機(jī)器人研討會(huì)包括：

引領(lǐng)人類運(yùn)動(dòng)預(yù)測(cè)的未來(lái)：探討 AI、機(jī)器人技術(shù)和生物力學(xué)的進(jìn)步如何改善人機(jī)交互和安全性。

構(gòu)建面向現(xiàn)實(shí)場(chǎng)景可靠且可信的具身 AI：探討在現(xiàn)實(shí)場(chǎng)景中構(gòu)建可靠且可信的具身 AI 系統(tǒng)所面臨的關(guān)鍵挑戰(zhàn)與解決路徑。

走出實(shí)驗(yàn)室—現(xiàn)實(shí)場(chǎng)景中的穩(wěn)健規(guī)劃與控制：了解機(jī)器人的穩(wěn)健規(guī)劃和控制，以及這些技術(shù)如何幫助機(jī)器人適應(yīng)現(xiàn)實(shí)場(chǎng)景的復(fù)雜性。

在機(jī)器人技術(shù)中安全利用視覺-語(yǔ)言基礎(chǔ)模型：探索將視覺-語(yǔ)言基礎(chǔ)模型安全集成到機(jī)器人應(yīng)用中的策略，以提高性能和可靠性。

大數(shù)據(jù)與大模型時(shí)代以人為中心的機(jī)器人學(xué)習(xí)：了解以人為中心的機(jī)器人學(xué)習(xí)方法，以及如何利用大數(shù)據(jù)和大模型提升機(jī)器人的適應(yīng)性和智能。

RoboARCH—用計(jì)算硬件和系統(tǒng)加速機(jī)器人技術(shù)：了解計(jì)算硬件和系統(tǒng)領(lǐng)域的創(chuàng)新，這些創(chuàng)新正推動(dòng)機(jī)器人研究和應(yīng)用的快速發(fā)展。

探索 NVIDIA 研究中心的最新成果，閱讀“NVIDIA 機(jī)器人研究與開發(fā)摘要 (R2D2)”，幫助開發(fā)者更深入地了解 NVIDIA 研究中心在物理 AI 和機(jī)器人應(yīng)用方面的最新突破。