智能機(jī)器人的研發(fā)往往需要掌握許多領(lǐng)域的專(zhuān)業(yè)知識(shí)，這對(duì)于 AI 初學(xué)者和初創(chuàng)公司來(lái)說(shuō)，具有極高的技術(shù)門(mén)檻。

“Isaac 提供了一個(gè)機(jī)器人開(kāi)發(fā)、訓(xùn)練和測(cè)試的集合，大大降低了機(jī)器人的開(kāi)發(fā)難度，降低了研發(fā)的技術(shù)門(mén)檻?！?這是知乎大咖機(jī)器人孔博士（知乎粉絲 10 萬(wàn)+，機(jī)器人領(lǐng)域科技創(chuàng)新和應(yīng)用者）對(duì)于 Isaac 的見(jiàn)解與評(píng)價(jià)。本期文章我們將分享機(jī)器人孔博士的深度文章《如何快速地讓機(jī)器人變得更智能，更聰明？》。

為什么智能機(jī)器人的研發(fā)門(mén)檻高？

因?yàn)檠邪l(fā)一款智能機(jī)器人需要掌握機(jī)械和電子硬件、驅(qū)動(dòng)程序、各種傳感器、規(guī)劃算法、計(jì)算機(jī)視覺(jué)、人工智能（包括深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)等）多個(gè)領(lǐng)域的專(zhuān)業(yè)知識(shí)。這對(duì)于初學(xué)者和初創(chuàng)公司具有極高的技術(shù)門(mén)檻。

最近，我發(fā)現(xiàn)了一款好產(chǎn)品，大大降低了機(jī)器人研發(fā)門(mén)檻。

它是 NVIDIA 開(kāi)發(fā)的一款智能機(jī)器人開(kāi)發(fā)平臺(tái) Isaac，還有 Replicator 合成數(shù)據(jù)生成引擎——面向機(jī)器人、用于 Isaac Sim 的 Isaac Sim Replicator。

首先，為了方便大家理解，先解釋一下這些概念都是什么。

NVIDIA：世界著名的人工智能公司 NVIDIA 英偉達(dá)，創(chuàng)始人是江湖人送綽號(hào)黃教主的黃仁勛。

?

Omniverse：英文字面意思 “全能宇宙”。它是 NVIDIA 開(kāi)發(fā)的一款支撐元宇宙技術(shù)的技術(shù)開(kāi)發(fā)平臺(tái)，適用于 3D 設(shè)計(jì)協(xié)作和模擬。

Replicator：英文字面意思 “復(fù)制程序”，在虛擬世界中訓(xùn)練數(shù)據(jù)，生成模型以后，可以快速移植到現(xiàn)實(shí)世界的物理單元上，例如機(jī)器人大腦上。它是一個(gè)先驅(qū)架構(gòu)，能夠?qū)崿F(xiàn)物理上準(zhǔn)確的 3D 合成數(shù)據(jù)生成，加速感知網(wǎng)絡(luò)的訓(xùn)練，并提高模型的準(zhǔn)確性。

Isaac：NVIDIA 開(kāi)發(fā)的一款智能機(jī)器人開(kāi)發(fā)平臺(tái)。這個(gè)平臺(tái)提供了一個(gè)機(jī)器人開(kāi)發(fā)、訓(xùn)練和測(cè)試的集合，大大降低了機(jī)器人的開(kāi)發(fā)難度，降低了研發(fā)的技術(shù)門(mén)檻。

Isaac Sim：由 Omniverse 提供底層支持，是一種可擴(kuò)展的機(jī)器人仿真應(yīng)用程序和合成數(shù)據(jù)生成工具，可支持逼真、物理精確的虛擬環(huán)境，用來(lái)開(kāi)發(fā)、測(cè)試和管理基于 AI 的智能機(jī)器人。

Isaac SimReplicator：一個(gè)建立在可擴(kuò)展的 Omniverse 平臺(tái)上的高度可擴(kuò)展 SDK，它可以生成物理級(jí)精確的 3D 合成數(shù)據(jù)來(lái)加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開(kāi)發(fā)者、研究人員和工程師現(xiàn)在可以使用 Isaac Sim Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)來(lái)引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

其次，介紹一下 NVIDIA 機(jī)器人仿真開(kāi)發(fā)平臺(tái)的特點(diǎn)。

?

（1）逼真的模擬

Isaac Sim 借助 Omniverse 平臺(tái)的強(qiáng)大模擬技術(shù)，包括使用 PhysX 5 支持 GPU 的高級(jí)物理模擬、實(shí)時(shí)光線和路徑跟蹤的真實(shí)感，以及基于物理渲染的 MDL 材質(zhì)定義支持。

（2）模塊化架構(gòu)包含了最常用的應(yīng)用程序

Isaac Sim 解決了最常見(jiàn)的機(jī)器人用例，包括操作、導(dǎo)航、訓(xùn)練數(shù)據(jù)的合成數(shù)據(jù)生成，例如模擬機(jī)器人動(dòng)力學(xué)測(cè)試控制算法，模擬機(jī)器人傳感器生成真實(shí)感相機(jī)、深度和分割圖像、激光雷達(dá)、IMU，模擬不同的環(huán)境和場(chǎng)景，在不同的條件和環(huán)境下測(cè)試算法，模擬代理，機(jī)器人周?chē)峁┯腥?dòng)態(tài)環(huán)境的人類(lèi)演員，將域隨機(jī)化，以創(chuàng)建具有隨機(jī)變化的對(duì)象和環(huán)境屬性的巨大多樣的訓(xùn)練集。此外，由于其模塊化設(shè)計(jì)，該工具可以定制并擴(kuò)展到許多新的用例。

（3）無(wú)縫連接和互操作性

Isaac Sim 支持協(xié)作構(gòu)建、共享和導(dǎo)入環(huán)境和機(jī)器人模型。通過(guò)Isaac SDK 和 ROS/ROS2 接口、功能齊全的Python 腳本、用于導(dǎo)入機(jī)器人和環(huán)境模型的插件，輕松將機(jī)器人的大腦連接到虛擬世界。

最后，以一個(gè)智能服務(wù)機(jī)器人的研發(fā)案例，講一下 Isaac Sim Replicator 的作用。

以往智能機(jī)器人開(kāi)發(fā)，通常是先購(gòu)置一款芯片與開(kāi)發(fā)板，然后安裝開(kāi)源的機(jī)器人操作系統(tǒng) ROS，根據(jù)場(chǎng)景添加各類(lèi)傳感器，再進(jìn)行適配驅(qū)動(dòng)調(diào)優(yōu)，最后選擇相應(yīng)算法，很明顯整個(gè)研發(fā)過(guò)程非常復(fù)雜，需要掌握很多專(zhuān)業(yè)知識(shí)，并且多人協(xié)作，技術(shù)門(mén)檻很高。

?

圖 3 是一款智能服務(wù)機(jī)器人的構(gòu)成。這款機(jī)器人技術(shù)含量特別高，其中有一項(xiàng)核心技術(shù)叫 VSLAM 即 Visual Simultaneous Localizationand Mapping，主要是指用視覺(jué)圖像對(duì)機(jī)器人進(jìn)行定位、地圖構(gòu)建和導(dǎo)航（再配合一個(gè)慣性傳感器）。

圖 3 中的左眼和右眼是一對(duì)攝像頭，這種配置叫雙目視覺(jué)。我們要做的，就是根據(jù)一張張連續(xù)運(yùn)動(dòng)的圖像，從中推斷機(jī)器人的運(yùn)動(dòng)以及周?chē)h(huán)境的情況。

?

為了訓(xùn)練這款機(jī)器人在室內(nèi)行走，我們做了大量的標(biāo)定工作，把整個(gè)辦公室和走廊都貼滿了標(biāo)定符號(hào)。

?

為了訓(xùn)練一個(gè)用于感知任務(wù)的深度神經(jīng)網(wǎng)絡(luò) DNN，通常需要從數(shù)百萬(wàn)圖像中手動(dòng)采集數(shù)據(jù)，然后，對(duì)這些數(shù)據(jù)進(jìn)行手動(dòng)注釋和有選擇性的增強(qiáng)。

人工數(shù)據(jù)采集和注釋是一項(xiàng)費(fèi)力而主觀的任務(wù)。在采集和注釋真實(shí)圖像的過(guò)程中，即便只是像大規(guī)模 2D bounding box 這樣的簡(jiǎn)單注釋也會(huì)帶來(lái)許多人力協(xié)調(diào)方面的挑戰(zhàn)。分割等所涉及到的注釋存在資源限制，并且手動(dòng)執(zhí)行此類(lèi)任務(wù)時(shí)的準(zhǔn)確性要差得多。

在采集和注釋完畢后，數(shù)據(jù)將被轉(zhuǎn)換成 DNN 可用的格式，然后訓(xùn)練用于感知任務(wù)的 DNN。一般情況下，接下來(lái)會(huì)通過(guò)超參數(shù)調(diào)節(jié)或改變網(wǎng)絡(luò)結(jié)構(gòu)來(lái)優(yōu)化網(wǎng)絡(luò)性能。在對(duì)模型性能進(jìn)行分析時(shí)，可能會(huì)導(dǎo)致數(shù)據(jù)集發(fā)生變化，在大多數(shù)情況下，還需要進(jìn)行一輪手動(dòng)數(shù)據(jù)采集和注釋?zhuān)@種人工數(shù)據(jù)采集和注釋的迭代循環(huán)成本高，并且非常緩慢。

利用 Isaac Sim Replicator 可以把訓(xùn)練感知模型的任務(wù)直接放到虛擬環(huán)境中完成。Isaac SimReplicator 是一個(gè)建立在可擴(kuò)展的 Omniverse 平臺(tái)上的高度可擴(kuò)展 SDK，它可以生成物理級(jí)精確的 3D 合成數(shù)據(jù)來(lái)加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開(kāi)發(fā)者、研究人員和工程師現(xiàn)在可以使用 Isaac SimReplicator 生成的大規(guī)模逼真合成數(shù)據(jù)來(lái)引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

NVIDIA Isaac 機(jī)器人平臺(tái)現(xiàn)可輕松集成至機(jī)器人操作系統(tǒng) ROS 中。ROS 是常用的開(kāi)源機(jī)器人操作系統(tǒng)，也是機(jī)器人的大腦，這款軟件平臺(tái)應(yīng)用廣泛，具有大量成熟的軟件庫(kù)和工具。

為了加快機(jī)器人的部署，可以采用 NVIDIA Isaac GEMs。它是 NVIDIA 為 ROS2 應(yīng)用程序提供的一套 GPU 加速包，大大提高了圖像處理和基于 DNN 的感知模型的吞吐量。

?

NVIDIA Isaac GEMs 的能力是非常強(qiáng)大的。NVIDIA IsaacGEMs 中自帶了 VSLAM 算法，大大節(jié)省了機(jī)器人工程師的開(kāi)發(fā)工作量。

它還包含了用于立體相機(jī)視差預(yù)測(cè)的 DNN--- GEM ESS，為機(jī)器人應(yīng)用提供基于視覺(jué)的連續(xù)深度感知；用于基于視覺(jué)的障礙預(yù)測(cè)的 DNN--- GEM Bi3D，以檢測(cè)自由空間，同時(shí)預(yù)測(cè)障礙物。

總之，正如 NVIDIA 系統(tǒng)軟件總監(jiān) Nathan Ratliff 在最近的 GTC 演講中所說(shuō)：“我們的目標(biāo)是讓具有任務(wù)意識(shí)的機(jī)器人的編程，變得像游戲 AI 編程那樣簡(jiǎn)單?！?這無(wú)疑大大降低了智能機(jī)器人開(kāi)發(fā)的技術(shù)門(mén)檻，并可以讓機(jī)器人快速地變得更加聰明。