AI 先鋒 Andrew Ng 呼吁廣泛轉(zhuǎn)向以數(shù)據(jù)為中心的機(jī)器學(xué)習(xí)（ ML ）方法。他最近舉辦了第一次以數(shù)據(jù)為中心的人工智能數(shù)據(jù)質(zhì)量競(jìng)賽，許多人聲稱這代表了人工智能 80% 的工作。

“我樂(lè)觀地認(rèn)為，人工智能社區(qū)不久將對(duì)系統(tǒng)化改進(jìn)數(shù)據(jù)和架構(gòu)模型產(chǎn)生同樣大的興趣，” Ng 在他的時(shí)事通訊The Batch中寫(xiě)道。

以數(shù)據(jù)為中心的合成數(shù)據(jù)方法

在使用合成數(shù)據(jù)時(shí)采用以數(shù)據(jù)為中心的模型開(kāi)發(fā)方法是一個(gè)迭代過(guò)程。工程師評(píng)估訓(xùn)練有素的模型并確定數(shù)據(jù)集中的改進(jìn)。然后，他們生成新的數(shù)據(jù)集并開(kāi)啟新的訓(xùn)練周期。這個(gè)生成數(shù)據(jù)、訓(xùn)練模型、評(píng)估模型和生成更多數(shù)據(jù)的過(guò)程會(huì)持續(xù)下去，直到模型按預(yù)期執(zhí)行。

每次迭代中的數(shù)據(jù)都是在模擬中生成的，而不是在真實(shí)世界中收集的，然后進(jìn)行標(biāo)記，從而加快了模型訓(xùn)練的速度。這些可以大規(guī)模生成的數(shù)據(jù)集以培訓(xùn)工具可以直接使用的格式輸出。該功能消除了在數(shù)據(jù)預(yù)處理中執(zhí)行額外步驟的麻煩。

合成數(shù)據(jù)生成過(guò)程的參數(shù)化為 ML 工程師提供了對(duì)每次迭代的更多控制，以及對(duì)數(shù)據(jù)集中已有內(nèi)容的可追溯性。通過(guò)合成數(shù)據(jù)、大規(guī)模生成、理解數(shù)據(jù)集中存在的內(nèi)容，將數(shù)據(jù)集改進(jìn)結(jié)合在一起，它的生成方式縮短了開(kāi)發(fā)人員實(shí)現(xiàn)結(jié)果的時(shí)間。

推出用于 ISAAC Sim 卡的 NVIDIA Omniverse 復(fù)制器

隨著人們對(duì)數(shù)據(jù)質(zhì)量的日益關(guān)注， NVIDIA 發(fā)布了新的Omniverse Replicator for ISAAC Sim 應(yīng)用程序，該應(yīng)用程序基于最近發(fā)布的Omniverse Replicator 合成數(shù)據(jù)生成引擎。Isaac Sim中的這些新功能使 ML 工程師能夠構(gòu)建生產(chǎn)質(zhì)量的合成數(shù)據(jù)集，以訓(xùn)練強(qiáng)健的深度學(xué)習(xí)感知模型?！皬?fù)制”模型目標(biāo)域的固有分布是最大化模型性能的關(guān)鍵。

Omniverse 復(fù)制器用于 ISAAC Sim 卡優(yōu)勢(shì)

生成數(shù)據(jù)集，以實(shí)現(xiàn)開(kāi)發(fā)人員設(shè)置為目標(biāo)的隨機(jī)、受控和有界分布。

確保數(shù)據(jù)集包含目標(biāo)角落和測(cè)試用例。

包含對(duì)象、照明和場(chǎng)景的攝影機(jī)相對(duì)視野放置。

在基于邊緣和云的系統(tǒng)上大規(guī)模工作。

跟蹤每個(gè)數(shù)據(jù)集中使用的工具和參數(shù)，以推動(dòng)迭代過(guò)程并支持生產(chǎn)數(shù)據(jù)集的質(zhì)量審核。

圖 1 ISAAC Sim 中的合成數(shù)據(jù)生成工作流示例。

Replicator 演示：使用自動(dòng)移動(dòng)機(jī)器人避免叉車叉齒

目前許多工廠部署的自主移動(dòng)機(jī)器人（ AMR ）都是基于平面激光雷達(dá)的。激光雷達(dá)足以探測(cè)到許多物體的存在并進(jìn)行導(dǎo)航。叉車在許多工廠和倉(cāng)庫(kù)中隨處可見(jiàn)，這對(duì)激光雷達(dá)提出了獨(dú)特的挑戰(zhàn)；可以檢測(cè)叉車底盤(pán)，但不能檢測(cè)叉齒。

由于平面激光雷達(dá)無(wú)法檢測(cè)到叉齒，因此機(jī)器人只能在叉齒上方行駛時(shí)避免與叉車本體發(fā)生碰撞。

解決此問(wèn)題的一種方法是讓機(jī)器人“感知”其路徑中有叉車，并使用該識(shí)別來(lái)改進(jìn)導(dǎo)航以避免尖齒。

本節(jié)概述了使用 ISAAC Sim Replicator 培訓(xùn) DNN 以解決 AMR /叉車問(wèn)題的整個(gè)工作流程的演示。

叉車演示關(guān)鍵步驟

在Omniverse上的 ISAAC Sim 卡中構(gòu)建倉(cāng)庫(kù)場(chǎng)景。

在倉(cāng)庫(kù)中放置 AMR 并重新創(chuàng)建故障場(chǎng)景。

獲取叉車模型并使用 ISAAC Sim 生成合成數(shù)據(jù)。

使用TAO Toolkit使用合成數(shù)據(jù)訓(xùn)練現(xiàn)有預(yù)訓(xùn)練模型。

使用DNN Inference Isaac ROS GEM部署模型。

在模擬中測(cè)試 ISAAC ROS GEM 。

在NVIDIA Jetson platform上部署 ISAAC GEM in robot 軟件堆棧。

圖 2 使用 ISAAC Sim 數(shù)據(jù)復(fù)制器進(jìn)行叉車演示的完整工作流程。

為 ISAAC Sim 使用 Omniverse 復(fù)制器生成數(shù)據(jù)集

在本演示中，我們獲得了八種不同的 3D 叉車通用場(chǎng)景描述（ USD ）模型來(lái)訓(xùn)練 DNN 。 ISAAC Sim Replicator 然后被用來(lái)描述影響對(duì)象（叉車）的眾多參數(shù)：照明、相機(jī)和場(chǎng)景本身。

在領(lǐng)域隨機(jī)化中使用了特別的注意，因此深度學(xué)習(xí)模型將推廣其對(duì)叉車的理解。通過(guò)更改顏色、紋理、照明、叉車相對(duì)于攝影機(jī)的位置、叉車的偏航、俯仰、滾動(dòng)，并在場(chǎng)景中添加其他非叉車對(duì)象，模型可以學(xué)習(xí)概括叉車。

最終，為這次演示生成了 90000 多張圖像。我們使用新的Omniverse Farm，一個(gè)用于多 GPU 、多代理、模擬的系統(tǒng)層，來(lái)管理創(chuàng)建數(shù)據(jù)集的 GPU – 計(jì)算資源。

這些圖像表示實(shí)現(xiàn)穩(wěn)健性能所需的數(shù)據(jù)多樣性類型。

培訓(xùn)和部署叉車探測(cè)器 DNN

我們從NVIDIA TAO Toolkit 中選擇了一個(gè)預(yù)訓(xùn)練模型來(lái)執(zhí)行識(shí)別叉車所需的分割任務(wù)。該模型經(jīng)過(guò)預(yù)訓(xùn)練，可以對(duì)人物、汽車和背景類進(jìn)行語(yǔ)義分割。我們使用轉(zhuǎn)移學(xué)習(xí)，將該模型用于使用 ISAAC Sim 中生成的合成數(shù)據(jù)對(duì)叉車執(zhí)行語(yǔ)義分割。

下一步是將叉車模型添加到DNN Inference Isaac ROS GEM。您可以快速將推理添加到基于 ROS 的機(jī)器人應(yīng)用程序中，如本文中描述的 AMR 用例。

總結(jié)

提高基于人工智能的計(jì)算機(jī)視覺(jué)應(yīng)用程序的性能需要復(fù)制目標(biāo)領(lǐng)域固有分布的大型和多樣的數(shù)據(jù)集。用于 ISAAC Sim 卡的新型 NVIDIA Omniverse Replicator 是一款功能強(qiáng)大的應(yīng)用程序，可生成生產(chǎn)質(zhì)量數(shù)據(jù)集。

我們演示了如何使用合成數(shù)據(jù)培訓(xùn)在 AMR 上運(yùn)行的 DNN ，以避免在叉車叉齒上運(yùn)行的常見(jiàn)事故。

在許多其他場(chǎng)景中，您可以應(yīng)用此過(guò)程并使用合成數(shù)據(jù)來(lái)增加機(jī)器人對(duì)其環(huán)境和行為的理解。最終，這將導(dǎo)致機(jī)器人事故更少，需要更少的人工干預(yù)。

關(guān)于作者

Gerard Andrews 是專注于機(jī)器人開(kāi)發(fā)社區(qū)的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔(dān)任產(chǎn)品營(yíng)銷總監(jiān)，負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營(yíng)銷和業(yè)務(wù)開(kāi)發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會(huì)大學(xué)電子工程學(xué)士學(xué)位。

審核編輯：郭婷