與 ROS World 2021 一起， NVIDIA 宣布了向 ROS 開發(fā)者社區(qū)提供性能感知技術的最新努力。這些舉措將加速產品開發(fā)，提高產品性能，并最終簡化將尖端計算機視覺和 AI / ML 功能納入基于 ROS 的機器人應用程序的任務。

公告要點：

最高性能的實時立體里程計解決方案，可作為 ROS 套件提供

NGC 上提供的所有 NVIDIA 推理 DNN 均作為 ROS 包提供，并附有圖像分割和姿勢估計示例

NVIDIA ISAAC Sim 中新的合成數(shù)據(jù)生成（ SDG ）工作流程，用于創(chuàng)建大規(guī)模生產質量數(shù)據(jù)集，用于視覺 AI 培訓

NVIDIA 上的 NVIDIA Omniverse Sim 卡，具有對 ROS 的開箱即用支持，是迄今為止對開發(fā)人員最友好的版本

NVIDIA ISAAC ROS GEMs 優(yōu)化性能

圖 1 NVIDIA ISAAC ROS GEMs 的軟件框圖

ISAAC 玫瑰寶石提供包括圖像處理和計算機視覺在內的軟件包，包括針對 NVIDIA GPU s 和 Jetson 進行高度優(yōu)化的基于 DNN 的算法。

突出顯示的 GEM 立體視覺里程計具有同類最佳的精確度和最佳性能

當自主機器在其環(huán)境中移動時，它們必須跟蹤自己所在的位置。視覺里程計通過估計攝像機相對于其起始位置的位置來解決這個問題。用于立體視覺里程計的 ISAAC ROS GEM 為 ROS 開發(fā)者提供了這一強大的功能。

這款 GEM 為實時立體攝像機視覺里程計解決方案提供了最佳精度?？蓞⒖蓟趶V泛使用的 KITTI 數(shù)據(jù)庫的公開結果here。這種 GPU 加速包除了具有高精度外，運行速度也非?？臁Ｊ聦嵣?，現(xiàn)在可以在 NVIDIA Jetson AGX Xavier 上實時（》 60fps ）運行高清分辨率（ 1280 × 720 ）的 SLAM 。

突出顯示 GEM DNN 推斷所有可供 ROS 開發(fā)人員使用的 NGC DNN 推斷模型

您可以使用NGC上提供的 NVIDIA 眾多推理模型中的任何一種，甚至可以使用 DNN 推理 GEM （一組 ROS2 軟件包）提供您自己的 DNN ?？梢允褂?NVIDIA TAO 工具包進一步調整預訓練模型或優(yōu)化您自己的模型。

優(yōu)化TensorRT或Triton、 NVIDIA 的推理服務器后，部署這些包。利用TensorRT、 NVIDIA 的高性能推理 SDK ，節(jié)點將實現(xiàn)最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，則應使用 NVIDIA Triton 部署該模型。

GEM 包括對U-Net和DOPE的本機支持。基于 TensorRT 的 U-Net 包可用于從圖像生成語義分割掩碼。 DOPE 軟件包可用于所有檢測對象的三維姿態(tài)估計。

該工具是將性能 AI 推理納入 ROS 應用程序的最快方法。

NVIDIA ISAAC 模擬 GA 發(fā)布

ISAAC Sim 卡的 GA 版本將于 2021 年 11 月推出，這將是迄今為止對開發(fā)者最友好的版本。隨著用戶界面、性能和有用的構建塊的大量改進，它將導致更好的模擬，構建速度更快。此外，改進的 ROS 橋和更多的 ROS 樣本將增強您的體驗。

此版本的新增版本（ 2021 。 2 版計劃于 2021 年 11 月發(fā)布）

提高了性能，減少了內存使用和啟動時間

改進了入住率地圖生成， URDF 導入器

新環(huán)境：大型倉庫、辦公室、醫(yī)院

用于與機器人、對象、環(huán)境接口的新 Python 構建塊

ROS / ROS2 橋梁、深度點云、激光雷達點云的性能改進

更新示例

基于 ROS2 的多機器人導航

Jupyter 中具有域隨機化的 SDG

視頻 1 ：使用 ROS MoveIT 聯(lián)合控制 Franka

ISAAC Sim 的新合成數(shù)據(jù)生成工作流生產數(shù)據(jù)集

自主機器人需要大量不同的數(shù)據(jù)集來訓練運行其感知堆棧的眾多 AI 模型。從真實場景中獲取所有這些培訓數(shù)據(jù)的成本高昂，而且在某些情況下，可能存在危險。 ISAAC Sim 提供的新合成數(shù)據(jù)工作流旨在構建生產質量數(shù)據(jù)集，以解決自主機器人的安全和質量問題。

構建數(shù)據(jù)集的開發(fā)人員控制場景中對象、場景本身、照明和合成傳感器的隨機分布。開發(fā)人員還具有細粒度控制，以確保重要的角落案例包含在數(shù)據(jù)集中。最后，此工作流支持版本控制和調試信息，以便能夠準確地復制數(shù)據(jù)集以用于審核和安全目的。

關于作者

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產品營銷經理。在加入 NVIDIA 之前，Gerard在Cadence擔任產品營銷總監(jiān)，負責許可處理器IP的產品規(guī)劃、營銷和業(yè)務開發(fā)。他擁有佐治亞理工學院電子工程碩士學位和南方衛(wèi)理公會大學電子工程學士學位。

審核編輯：郭婷