自 2021 10 月以來(lái)， NVIDIA 和 Open Robotics 合作推出了兩項(xiàng)重要的更改，現(xiàn)已發(fā)布在簡(jiǎn)陋的 ROS 2 版本中，以提高提供硬件加速器的計(jì)算平臺(tái)的性能。

新的 ROS 2 簡(jiǎn)易硬件加速特性稱為類型自適應(yīng)和類型協(xié)商。 NVIDIA 將在下一次 NVIDIA ISAAC ROS 發(fā)布（ 2022 年 6 月底）中發(fā)布一個(gè)實(shí)現(xiàn)類型自適應(yīng)和類型協(xié)商的軟件包。

這些簡(jiǎn)單但功能強(qiáng)大的框架添加將顯著提高開(kāi)發(fā)人員的性能，這些開(kāi)發(fā)人員希望將人工智能/機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)功能納入其基于 ROS 的應(yīng)用程序中。

Open Robotics 首席執(zhí)行官布萊恩·格基（ Brian Gerkey ）表示：“隨著 ROS 開(kāi)發(fā)人員向其機(jī)器人應(yīng)用程序添加更多的自主權(quán)，機(jī)器人上的計(jì)算機(jī)正變得更加強(qiáng)大。我們一直在努力改進(jìn) ROS 框架，以確保它能夠利用這些邊緣計(jì)算機(jī)中的高性能硬件資源?！薄?/p>

“與 NVIDIA robotics 團(tuán)隊(duì)密切合作，我們很高興在謙遜的版本中分享新功能（類型調(diào)整和協(xié)商），這將有助于整個(gè) ROS 社區(qū)努力接受硬件加速?！?/p>

消除硬件加速的開(kāi)銷

類型自適應(yīng)

硬件加速器通常需要不同的數(shù)據(jù)格式來(lái)提供最佳性能。類型適配（ REP-2007 ）現(xiàn)在可用于 ROS 節(jié)點(diǎn)以更適合硬件的格式工作。處理管道可以使用自適應(yīng)類型消除 CPU 和內(nèi)存加速器之間的內(nèi)存拷貝。不必要的內(nèi)存拷貝會(huì)消耗 CPU 計(jì)算、浪費(fèi)電源并降低性能，尤其是隨著圖像大小的增加。

類型協(xié)商

另一個(gè)新的創(chuàng)新是類型協(xié)商（ REP-2009 ）。處理管道中的不同 ROS 節(jié)點(diǎn)可以公布其支持的類型，以便選擇產(chǎn)生理想性能的格式。 ROS 框架執(zhí)行此協(xié)商過(guò)程，并與不支持協(xié)商的遺留節(jié)點(diǎn)保持兼容性。

使用類型適配和協(xié)商加速處理管道使硬件加速器零拷貝成為可能。這減少了軟件開(kāi)銷，并釋放了底層硬件的潛力。隨著機(jī)器人專家遷移到更強(qiáng)大的計(jì)算平臺(tái)，如 NVIDIA Jetson Orin ，他們可以期望實(shí)現(xiàn)硬件帶來(lái)的更多性能增益。

這些更改完全在 ROS 2 內(nèi)部完成，這確保了與現(xiàn)有工具、工作流和代碼庫(kù)的兼容性。

圖 1 ：。比較有無(wú)類型調(diào)整和協(xié)商的硬件加速管道

類型適應(yīng)和協(xié)商已顯示出有希望的結(jié)果。在 ROS 2 Foxy 和 ROS 2 Humble 上運(yùn)行了一個(gè)由 ROS 節(jié)點(diǎn)圖組成的基準(zhǔn)測(cè)試，每個(gè)節(jié)點(diǎn)的計(jì)算量最小，因此我們可以觀察底層框架的性能。我們?cè)?Jetson AGX Xavier 和新的 Jetson AGX Orin 。我們觀察到 Xavier 提高了 3 倍， Orin 提高了 7 倍。

圖 2 ：。類型適應(yīng)框架在 Jetson AGX Xavier 和 Jetson AGX Orin 上比較 ROS 2 Foxy 和 ROS 2 Humble 的基準(zhǔn)性能

引入 NVIDIA ISAAC 用于 ROS 運(yùn)輸

類型自適應(yīng)和協(xié)商的 NVIDIA 實(shí)現(xiàn)稱為 NITROS 。這些是由 ISAAC ROS 硬件加速模塊（又稱 GEMs ）組成的 ROS 處理管道。這些管道將于 2022 年 6 月底在 ISAAC ROS 開(kāi)發(fā)商預(yù)覽（ DP ）中提供。 NITROS 的首次發(fā)布將包括三條管道，計(jì)劃在今年晚些時(shí)候推出更多管道。

表 1 ：。 DP 釋放中的 NITROS 管道

強(qiáng)大的新型 GEMs 輔助機(jī)器人感知

除了 NITROS 加速管道外， ISAAC ROS DP 版本還包含兩個(gè)新的基于 DNN 的 GEM ，旨在幫助機(jī)器人專家完成常見(jiàn)的感知任務(wù)。

第一個(gè) GEM ESS 是用于立體相機(jī)視差預(yù)測(cè)的 DNN 。 網(wǎng)絡(luò) 為機(jī)器人應(yīng)用提供基于視覺(jué)的連續(xù)深度感知。

另一個(gè) GEM ， Bi3D ，是用于基于視覺(jué)的障礙預(yù)測(cè)的 DNN ?；?NVIDIA Research 的開(kāi)創(chuàng)性工作，對(duì) DNN 進(jìn)行了改進(jìn)，以檢測(cè)自由空間，同時(shí)預(yù)測(cè)障礙物。該網(wǎng)絡(luò)可預(yù)測(cè)障礙物是否位于立體攝像頭的四個(gè)可編程鄰近區(qū)域之一內(nèi)。

Bi3D 經(jīng)過(guò)優(yōu)化，可在 NVIDIA DLA 硬件 上運(yùn)行。利用 DLA ，可以同時(shí)保留 GPU 和 CPU 計(jì)算資源。

Bi3D 和 ESS 都經(jīng)過(guò)預(yù)訓(xùn)練，可用于使用 synthetic 和真實(shí)數(shù)據(jù)的機(jī)器人應(yīng)用，并用于商業(yè)用途。這兩款新的 ISAAC ROS Gem 加入了之前發(fā)布的經(jīng)典計(jì)算機(jī)視覺(jué)立體深度視差例程 stereo \ u image \ u proc ，為立體相機(jī)深度感知提供三種不同的獨(dú)立功能。

圖 3 ：。比較合成相機(jī)圖像（頂部）和無(wú)活動(dòng)投影的 RGB 立體相機(jī)圖像捕獲的結(jié)果（底部）。從左到右：具有地面自由空間的四個(gè)鄰近場(chǎng)的三維 DNN 預(yù)測(cè)； ESS-DNN 連續(xù)深度預(yù)測(cè)；經(jīng)典 CV 立體視差函數(shù)

表 2 ：?？捎?ROS GEM 軟件包

快速入門(mén)

有興趣將 NVIDIA AI 感知集成到其產(chǎn)品中的 ROS 開(kāi)發(fā)人員應(yīng)該從今天開(kāi)始 ISAAC ROS .

關(guān)于作者

Gerard Andrews 是專注于機(jī)器人開(kāi)發(fā)社區(qū)的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔(dān)任產(chǎn)品營(yíng)銷總監(jiān)，負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營(yíng)銷和業(yè)務(wù)開(kāi)發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會(huì)大學(xué)電子工程學(xué)士學(xué)位。

審核編輯：郭婷