在具身 AI (EmbodiedAI) 迅猛發(fā)展的浪潮中,數(shù)據(jù)被視為突破的核心。如何為日益智能的機(jī)器人提供海量、多樣且高質(zhì)量的訓(xùn)練數(shù)據(jù),加速其在現(xiàn)實(shí)世界的部署,是整個(gè)行業(yè)面臨的共同挑戰(zhàn)。傳統(tǒng)依賴人工演示或遙操作的數(shù)據(jù)收集方式,效率低下且受限于物理世界的諸多約束。而如今,光輪智能借助NVIDIAGR00T-Dreams,成功開創(chuàng)了一個(gè)全新的合成數(shù)據(jù)生成體系,賦能具身AI的快速發(fā)展。
NVIDIAGR00T-Dreams:虛擬世界的數(shù)據(jù)引擎
NVIDIAGR00T項(xiàng)目自2024年推出以來,目標(biāo)就是為人形機(jī)器人構(gòu)建一個(gè)強(qiáng)大的通用基礎(chǔ)模型,使其能夠處理多模態(tài)指令并根據(jù)過往交互產(chǎn)生合理的動作。隨著GR00TN1.5的推出,NVIDIA進(jìn)一步提升了該模型的推理能力和任務(wù)執(zhí)行能力,尤其是在物料搬運(yùn)和制造等復(fù)雜任務(wù)中。
GR00T-Dreams基于NVIDIACosmos平臺,它能夠僅憑一張圖像和簡單的文本提示,在虛擬環(huán)境中快速生成海量、帶有精確動作標(biāo)簽和逼真物理交互的合成數(shù)據(jù)。這為機(jī)器人訓(xùn)練提供了豐富的數(shù)據(jù)源。
GR00T-Dreams 的核心優(yōu)勢在于:它不依賴于真實(shí)世界的數(shù)據(jù)采集,而是利用生成式 AI 和世界基礎(chǔ)模型,在虛擬環(huán)境中生成逼真且多樣的數(shù)據(jù),極大地減少了時(shí)間和物理限制。這種方式使得機(jī)器人可以在數(shù)小時(shí)內(nèi)從零開始學(xué)習(xí)并掌握復(fù)雜的任務(wù),極大地提高了訓(xùn)練效率和泛化能力。
光輪智能利用 GR00T-Dreams進(jìn)行合成數(shù)據(jù)革新
作為合成數(shù)據(jù)領(lǐng)域的創(chuàng)新者,光輪智能深度融合 GR00T-Dreams 的工作流,并將其應(yīng)用于多種實(shí)際場景中。通過將 GR00T-Dreams 藍(lán)圖與自有技術(shù)相結(jié)合,光輪智能創(chuàng)造了一個(gè)高效、可擴(kuò)展的合成數(shù)據(jù)生成平臺,從而大幅提升具身 AI 訓(xùn)練的質(zhì)量和速度。
高效仿真數(shù)據(jù)生成:
光輪智能將高質(zhì)量仿真環(huán)境與 GR00T-Dreams 結(jié)合,成功構(gòu)建了一個(gè)全新的數(shù)據(jù)生成平臺。光輪智能的虛擬環(huán)境包括各種復(fù)雜的場景和物理交互,例如廚房、倉庫、生產(chǎn)線等。機(jī)器人可以在這些仿真環(huán)境中,通過與物體的互動,學(xué)習(xí)到抓取、放置、折疊、搬運(yùn)等多種操作。
通過 GR00T-Dreams,光輪智能能夠從一張圖像和簡單的指令生成數(shù)以百萬計(jì)的訓(xùn)練數(shù)據(jù),結(jié)合光輪智能自有的高質(zhì)量可泛化的場景,將 GR00T-Dreams 的能力放大數(shù)百倍。這不僅節(jié)省了數(shù)據(jù)收集的成本和時(shí)間,還使得訓(xùn)練數(shù)據(jù)質(zhì)量更好、更加多樣化,覆蓋了機(jī)器人可能面臨的各種場景。
彌補(bǔ)真實(shí)遙操作數(shù)據(jù)的局限:
盡管真實(shí)遙操作數(shù)據(jù)可以提供相對精確的訓(xùn)練信息,但由于其依賴人工操作,且每次采集都需要大量的時(shí)間和資源,可擴(kuò)展性較差。借助GR00T-Dreams,光輪智能能夠生成大量虛擬數(shù)據(jù),有效擴(kuò)增和增強(qiáng)真實(shí)數(shù)據(jù)集。特別是在高風(fēng)險(xiǎn)或任務(wù)繁重的場景中,機(jī)器人得以在安全、高效的虛擬環(huán)境中自主訓(xùn)練,顯著提升了在復(fù)雜多變物理環(huán)境中的適應(yīng)性和執(zhí)行能力。
精準(zhǔn)高效的任務(wù)特定數(shù)據(jù)生成:
GR00T-Dreams能夠根據(jù)指令精確生成針對特定任務(wù)目標(biāo)的數(shù)據(jù)集(如倉儲管理中的抓取、搬運(yùn)、堆放)。這使光輪智能能夠?yàn)闄C(jī)器人定制高度相關(guān)的訓(xùn)練數(shù)據(jù),無需逐一錄制人工演示。在需要高精度執(zhí)行的任務(wù)(如機(jī)械臂精細(xì)操作)中,這種能力尤為關(guān)鍵,能夠幫助機(jī)器人精確模仿動作并處理復(fù)雜情況,提升最終執(zhí)行效率與準(zhǔn)確性。
光輪智能新合成數(shù)據(jù)產(chǎn)線
微調(diào) GR00T N1.5:精細(xì)化提升機(jī)器人能力
光輪智能不僅創(chuàng)新性地運(yùn)用了 GR00T-Dreams 生成的合成數(shù)據(jù),還建立了一條新的合成數(shù)據(jù)產(chǎn)線,用于對 GR00T N1.5 模型進(jìn)行微調(diào)。這一產(chǎn)線結(jié)合了光輪智能的先進(jìn)仿真技術(shù)、生成式 AI 及高質(zhì)量數(shù)據(jù)生成平臺,成功提升了 GR00T N1.5 在復(fù)雜環(huán)境中的執(zhí)行能力。
定制化訓(xùn)練數(shù)據(jù)生成:光輪智能通過合成數(shù)據(jù)產(chǎn)線,能夠?yàn)?GR00T N1.5 提供更為定制化的訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)不僅包括基礎(chǔ)的動作序列,還涵蓋了機(jī)器人與物體、環(huán)境之間復(fù)雜的物理交互。這使得 GR00T N1.5 可以在特定場景中進(jìn)行細(xì)致的微調(diào),例如在物料搬運(yùn)、抓取精度等任務(wù)中,機(jī)器人能夠表現(xiàn)得更加穩(wěn)定和高效。
高效的仿真到現(xiàn)實(shí)遷移:通過新合成數(shù)據(jù)產(chǎn)線生成的高質(zhì)量數(shù)據(jù),GR00T N1.5 可以在模擬環(huán)境中進(jìn)行多輪訓(xùn)練和微調(diào),不僅減少了對真實(shí)環(huán)境中人工數(shù)據(jù)的依賴,還顯著縮短了訓(xùn)練周期。微調(diào)后的 GR00T N1.5 在實(shí)際環(huán)境中的表現(xiàn)更加精確,能夠在更復(fù)雜的環(huán)境中執(zhí)行任務(wù),如智能家居、倉儲物流等實(shí)際應(yīng)用場景。
擴(kuò)展性與可持續(xù)性:光輪智能的新合成數(shù)據(jù)產(chǎn)線通過靈活配置和擴(kuò)展,能夠根據(jù)不同任務(wù)的需求,快速生成大量任務(wù)特定的數(shù)據(jù)集。與傳統(tǒng)的數(shù)據(jù)收集方法相比,光輪智能的數(shù)據(jù)生成平臺不僅提升了數(shù)據(jù)的多樣性,還降低了長期維護(hù)的成本。此外,通過自動化生成數(shù)據(jù)并進(jìn)行微調(diào),光輪智能大幅提高了機(jī)器人在各種未知環(huán)境中的適應(yīng)性和執(zhí)行力,推動了具身 AI 技術(shù)的可持續(xù)發(fā)展。
光輪智能的創(chuàng)新應(yīng)用:推動具身 AI 在現(xiàn)實(shí)場景中的落地
光輪智能不僅在合成數(shù)據(jù)生成上取得了突破,還將 GR00T-Dreams 的創(chuàng)新成果成功應(yīng)用于多個(gè)具身 AI 領(lǐng)域,推動了機(jī)器人在現(xiàn)實(shí)環(huán)境中的快速部署。
智能家居與服務(wù)機(jī)器人:在家居環(huán)境中,光輪智能與 GR00T-Dreams 的結(jié)合推動了智能服務(wù)機(jī)器人技術(shù)的發(fā)展。通過合成數(shù)據(jù)生成,光輪智能不僅為機(jī)器人提供了大量高質(zhì)量的家居任務(wù)訓(xùn)練數(shù)據(jù),還能夠模擬諸如掃地、擦桌、整理物品等復(fù)雜任務(wù)。在這些任務(wù)中,機(jī)器人能夠應(yīng)對光線變化、物體位置變化等多變的環(huán)境因素,極大提升了家居機(jī)器人的智能化水平。
智慧農(nóng)用機(jī)器人:在農(nóng)業(yè)領(lǐng)域,光輪智能將 GR00T-Dreams 應(yīng)用于農(nóng)業(yè)機(jī)器人,例如草莓采摘任務(wù)。通過合成數(shù)據(jù)生成,光輪智能創(chuàng)建了高度逼真的虛擬農(nóng)場環(huán)境,模擬草莓植株的生長狀態(tài)、果實(shí)成熟度、光照變化以及地形不平坦等因素。機(jī)器人能夠在這些仿真場景中學(xué)習(xí)精細(xì)的抓取動作,避免損傷果實(shí),同時(shí)優(yōu)化路徑規(guī)劃以提高采摘效率。
自動化倉儲與物流:光輪智能利用 GR00T-Dreams 在倉儲與物流領(lǐng)域進(jìn)行了創(chuàng)新應(yīng)用。通過在仿真環(huán)境中生成大量的倉庫布局、貨物位置和搬運(yùn)任務(wù)數(shù)據(jù),光輪智能成功提升了機(jī)器人在自動化倉儲中的表現(xiàn)。與傳統(tǒng)的數(shù)據(jù)采集方式相比,合成數(shù)據(jù)不僅提高了訓(xùn)練的效率,還使得機(jī)器人能夠在面對未知布局和突發(fā)情況時(shí)迅速做出反應(yīng),提升了倉儲系統(tǒng)的自動化水平。
智能制造:在制造業(yè)領(lǐng)域,光輪智能通過與 GR00T-Dreams 的結(jié)合,助力機(jī)器人在智能生產(chǎn)線上的應(yīng)用。通過高質(zhì)量仿真數(shù)據(jù)的微調(diào),機(jī)器人在多種生產(chǎn)任務(wù)中展示了高效與精確的表現(xiàn),無論是在組裝、搬運(yùn)還是物料處理過程中,都能穩(wěn)定完成復(fù)雜的工作。
光輪智能基于 GR00T-Dreams生成 LeRobot 訓(xùn)練數(shù)據(jù),加速 LeRobot 走進(jìn)千家萬戶
LeRobot 是由 Hugging Face 推出的開源機(jī)器人學(xué)習(xí)平臺,旨在降低機(jī)器人研發(fā)門檻并推動具身 AI 的普及。其主推的 SO-101 型號機(jī)械臂硬件構(gòu)成全部開源,且性價(jià)比優(yōu)異,為其成為消費(fèi)級機(jī)器人走進(jìn)千家萬戶奠定了基礎(chǔ)。
為了掀起機(jī)器人全民化浪潮,光輪智能瞄準(zhǔn)家居廚房場景,希望通過微調(diào) GR00T N1.5 并部署到 LeRobot 完成各項(xiàng)廚房任務(wù)。面對復(fù)雜的家居任務(wù)場景,通過真實(shí)遙操作并錄制的方式解決各個(gè)任務(wù)的數(shù)據(jù)采集問題,存在精細(xì)執(zhí)行容易出錯(cuò)、效率較低、成本較高等問題。因此,光輪智能利用 GR00T-Dreams,解決真實(shí)遙操作數(shù)據(jù)的規(guī)模效率問題。
在實(shí)踐中,光輪智能先通過少量真實(shí)采集數(shù)據(jù)以及仿真采集數(shù)據(jù),對 GR00T-Dreams 進(jìn)行微調(diào),讓它對 LeRobot 的構(gòu)造有全面正確的理解后,再進(jìn)行真實(shí)環(huán)境特定任務(wù)的數(shù)據(jù)的生成,如下所示:
GR00T-Dreams 通過少量專家數(shù)據(jù),結(jié)合 GR00T-Dreams 生成的數(shù)據(jù),比例約為 1:10,光輪智能高效微調(diào) GR00T N1.5 并實(shí)機(jī)部署到了 LeRobot 上,效果如視頻所示:
共創(chuàng)具身 AI 的未來
通過利用 GR00T-Dreams 生成的合成數(shù)據(jù)并結(jié)合新合成數(shù)據(jù)產(chǎn)線的微調(diào)技術(shù),光輪智能推動了 GR00T N1.5 在多個(gè)實(shí)際應(yīng)用場景中的能力提升。無論是在家居、倉儲還是制造業(yè)等領(lǐng)域,光輪智能的創(chuàng)新應(yīng)用不僅加速了機(jī)器人的訓(xùn)練過程,還顯著提升了其在復(fù)雜環(huán)境中的適應(yīng)性和執(zhí)行效率。這種基于合成數(shù)據(jù)的革新方法,徹底改變了傳統(tǒng)數(shù)據(jù)依賴的瓶頸,為具身 AI 的規(guī)?;渴痄伷搅说缆?。
展望未來,NVIDIA將持續(xù)優(yōu)化GR00T-Dreams技術(shù)棧,并深化與光輪智能等伙伴的合作,致力于推動機(jī)器人技術(shù)從虛擬仿真向現(xiàn)實(shí)世界的無縫遷移,實(shí)現(xiàn)更高水平的自主性和智能化。我們相信,通過GR00T這樣的基礎(chǔ)模型和GR00T-Dreams這樣的數(shù)據(jù)引擎,結(jié)合生態(tài)伙伴的創(chuàng)新應(yīng)用,機(jī)器人將更好地融入人類社會,解決勞動力挑戰(zhàn),提升生產(chǎn)效率,開啟物理AI新時(shí)代的無限可能。
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
31068瀏覽量
222159 -
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7335瀏覽量
94748 -
NVIDIA
+關(guān)注
關(guān)注
14文章
5592瀏覽量
109708
原文標(biāo)題:NVIDIA GR00T-Dreams 助力光輪智能革新合成數(shù)據(jù),推動具身 AI 現(xiàn)實(shí)場景落地
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
NVIDIA發(fā)布Isaac GR00T-Dreams合成數(shù)據(jù)生成與神經(jīng)仿真框架
利用NVIDIA Cosmos模型訓(xùn)練通用機(jī)器人
通過NVIDIA Cosmos模型增強(qiáng)機(jī)器人學(xué)習(xí)
51Sim利用NVIDIA Cosmos提升輔助駕駛合成數(shù)據(jù)場景的泛化性
NVIDIA 通過云端至機(jī)器人計(jì)算平臺驅(qū)動人形機(jī)器人技術(shù),賦能物理 AI
NVIDIA與光輪智能合作實(shí)現(xiàn)GR00T N1落地汽車工廠
借助OpenUSD與合成數(shù)據(jù)推動人形機(jī)器人發(fā)展
NVIDIA Isaac GR00T 詳細(xì)解析
NVIDIA發(fā)布GR00T N1基礎(chǔ)模型等方案,人形機(jī)器人開發(fā)效率顯著提升
NVIDIA Isaac GR00T N1開源人形機(jī)器人基礎(chǔ)模型+開源物理引擎Newton加速機(jī)器人開發(fā)
NVIDIA發(fā)布全球首個(gè)開源人形機(jī)器人基礎(chǔ)模型Isaac GR00T N1
深度解讀GR00T N1:英偉達(dá)開源人形機(jī)器人功能模型的技術(shù)革新與行業(yè)影響
技術(shù)分享 | AVM合成數(shù)據(jù)仿真驗(yàn)證方案
NVIDIA 發(fā)布全球首個(gè)開源人形機(jī)器人基礎(chǔ)模型 Isaac GR00T N1——并推出加速機(jī)器人開發(fā)的仿真框架
智元機(jī)器人基于NVIDIA Isaac GR00T打造高效仿真數(shù)據(jù)采集方案
NVIDIA GR00T-Dreams助力光輪智能革新合成數(shù)據(jù)
評論