科學(xué)家和工程師們正在聯(lián)合開發(fā)搭載 NVIDIA Jetson 的海底研究助手，以收集有關(guān)珊瑚礁、海洋生物和生態(tài)系統(tǒng)的數(shù)據(jù)。

研究人員正在讓機(jī)器人“深度學(xué)習(xí)”深海潛水

圖片來源：Austin Greene, 伍茲霍爾海洋研究所

伍茲霍爾海洋研究所（WHOI）自主機(jī)器人與感知實(shí)驗(yàn)室（WARPLab）和麻省理工學(xué)院（MIT）正在開發(fā)一種用于研究珊瑚礁及其生態(tài)系統(tǒng)的機(jī)器人。

由 NVIDIA Jetson Orin NX 模塊支持的 WARPLab 自主潛水器（AUV）是這一全球最大的私人海洋研究機(jī)構(gòu)做出的一次努力，以扭轉(zhuǎn)珊瑚礁減少的趨勢(shì)。

根據(jù)伍茲霍爾海洋研究所珊瑚礁解決方案倡議（WHOI Reef Solutions Initiative）的數(shù)據(jù)，在過去三十年中，全球約有 25% 的珊瑚礁消失，剩下的珊瑚礁也大多正在瀕臨滅絕。

這臺(tái)名為 CUREE（Curious Underwater Robot for Ecosystem Exploration，好奇的水下生態(tài)探索機(jī)器人）的自主潛水器，能夠與潛水員一起收集視覺、聲音和其他環(huán)境數(shù)據(jù)，幫助研究人員了解人類對(duì)珊瑚礁及其周圍海洋生物的影響。該機(jī)器人借助不斷擴(kuò)展的 NVIDIA Jetson 邊緣 AI 功能，建立起珊瑚礁的 3D 模型，并跟蹤動(dòng)植物。它還能通過運(yùn)行模型來實(shí)現(xiàn)自主導(dǎo)航和數(shù)據(jù)收集。

WHOI 的潛水艇曾于 1986 年首次探索泰坦尼克號(hào)，研究所目前正在開發(fā)用于數(shù)據(jù)收集的 CUREE 機(jī)器人，以擴(kuò)展這項(xiàng)工作的規(guī)模并協(xié)助制定緩解策略。該機(jī)構(gòu)還在探索如何使用仿真和數(shù)字孿生來更好地復(fù)制珊瑚礁的狀況，并研究像 NVIDIA Omniverse（用于構(gòu)建和連接 3D 工具和應(yīng)用的開發(fā)平臺(tái)）這樣的解決方案。

NVIDIA 正在 Omniverse 中創(chuàng)建地球的數(shù)字孿生，并正在開發(fā)世界上最強(qiáng)大的人工智能超級(jí)計(jì)算機(jī) Earth-2，用于預(yù)測(cè)氣候變化。

水下 AI：DeepSeeColor 模型

浮潛過的人都知道，在水下看東西可不像在陸地上那么清晰。隨著距離的增加，水會(huì)削弱水下太陽光的可見光譜，使某些顏色比其他顏色更加暗淡。同時(shí)，水中的微粒會(huì)造成朦朧的視野，即所謂的反向散射。

WARPLab 的一個(gè)團(tuán)隊(duì)最近發(fā)表了一篇關(guān)于海底視覺校正的研究論文，幫助緩解了這些問題，并為 CUREE 的工作提供了幫助。這篇論文描述了一個(gè)名為 DeepSeeColor 的模型，該模型在海底使用兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)序列減少反向散射，并在 NVIDIA Jetson Orin NX 上實(shí)時(shí)校正顏色。

麻省理工學(xué)院機(jī)器人學(xué)博士候選人、WARPLab AI 開發(fā)者 Stewart Jamieson 表示：“NVIDIA GPU 參與了我們的大部分工作流程。一般來說，當(dāng)有圖像進(jìn)來時(shí)，我們就會(huì)使用 DeepSeeColor 校正顏色，然后就可以探測(cè)魚類，并將探測(cè)結(jié)果傳送給船上的科學(xué)家?！?/p>

水下視覺與聽覺：魚類和珊瑚礁探測(cè)

CUREE 配備了四個(gè)前向攝像頭、四個(gè)用于捕捉水下聲音的水聽器以及多個(gè)深度傳感器和慣性測(cè)量單元傳感器。由于全球定位系統(tǒng)（GPS）無法在水下工作，因此只能在水面上用它來初始化機(jī)器人的起始位置。

借助攝像頭、水聽器和在 Jetson Orin NX 上運(yùn)行的 AI 模型，CUREE 能夠收集數(shù)據(jù)，并以此制作出珊瑚礁和海底地形的 3D 模型。

為了使用水聽器收集音頻數(shù)據(jù)，CUREE 需要在關(guān)閉馬達(dá)的情況下漂浮在水中，以避免干擾音頻。

WARPLab 負(fù)責(zé)人、WHOI 副研究員 Yogesh Girdhar 表示：“它可以利用不同動(dòng)物發(fā)出的聲音，繪制出珊瑚礁的空間聲景地圖?！彼a(bǔ)充道：“我們目前（在后期處理中）可以探測(cè)到與生物多樣性熱點(diǎn)相關(guān)的所有叫聲所在的位置?！彼傅氖呛Ｑ笊锇l(fā)出的所有噪聲。

該團(tuán)隊(duì)一直在訓(xùn)練根據(jù)音頻和視頻輸入來追蹤生物的探測(cè)模型。但在探測(cè)清晰的音頻樣本時(shí)，有一種生物的噪音干擾特別大。

Girdhar 提到：“問題在于水下槍蝦的叫聲很大?！痹陉懙厣?，如何將聲音從背景噪音中分離這一經(jīng)典難題被稱為“雞尾酒會(huì)問題”。Girdhar 說：“如果我們能找到一種算法來消除音頻中蝦叫聲的影響就好了，但目前還沒有好的解決方案?！?/p>

麻省理工學(xué)院 - WHOI 聯(lián)合項(xiàng)目博士候選人 Levi Cai 表示，盡管現(xiàn)有的水下數(shù)據(jù)集很少，但魚類探測(cè)和追蹤這一開創(chuàng)性的工作進(jìn)展很順利。他表示他們正在采用一種半監(jiān)督方法進(jìn)行海洋動(dòng)物追蹤，即通過使用魚類探測(cè)神經(jīng)網(wǎng)絡(luò)探測(cè)到的目標(biāo)對(duì)追蹤進(jìn)行初始化。該網(wǎng)絡(luò)在開源的魚類探測(cè)數(shù)據(jù)集上訓(xùn)練而成，這些數(shù)據(jù)集使用 CUREE 收集到的圖像進(jìn)行遷移學(xué)習(xí)并進(jìn)行微調(diào)。

Cai 提到：“我們先手動(dòng)駕駛潛水器，直到看到想要追蹤的動(dòng)物，然后點(diǎn)擊它，讓半監(jiān)督追蹤器接手。”

Jetson Orin 利用能效驅(qū)動(dòng) CUREE

能效對(duì)于像 CUREE 這樣的小型自動(dòng)潛水器來說至關(guān)重要。數(shù)據(jù)收集所需的計(jì)算消耗了約 25% 的可用能源，剩余的能源則用于驅(qū)動(dòng)機(jī)器人。

在圣約翰島（美屬維爾京群島島嶼）執(zhí)行潛水任務(wù)的 Girdhar 談到，根據(jù)珊瑚礁任務(wù)和觀測(cè)要求，一般來說，CUREE 充電一次可以工作兩個(gè)小時(shí)。

為了提高能效，該團(tuán)隊(duì)正在研究使用 AI 來管理傳感器，從而使計(jì)算資源能夠在進(jìn)行觀測(cè)時(shí)自動(dòng)喚醒，并在不使用時(shí)自動(dòng)休眠。

Girdhar 表示：“我們的機(jī)器人很小，所以用在 GPU 計(jì)算上的能量就很重要。借助 Jetson Orin NX，我們解決了功耗問題，它還使我們的系統(tǒng)變得更加穩(wěn)健?！?/p>

探索如何使用 Isaac Sim 進(jìn)行改進(jìn)

WARPLab 團(tuán)隊(duì)正在嘗試使用 NVIDIA Isaac Sim（一款由 Omniverse 提供動(dòng)力支持、可擴(kuò)展的機(jī)器人仿真應(yīng)用和合成數(shù)據(jù)生成工具），以加快 CUREE 自主性和觀測(cè)能力的開發(fā)。

Yogesh 表示此舉的目標(biāo)是在 Isaac Sim 中進(jìn)行簡(jiǎn)單的仿真，以便了解需要仿真的問題的核心，然后在真實(shí)的海底世界中完成訓(xùn)練。他表示：“在珊瑚礁環(huán)境中，我們不能依賴聲納，而是需要近距離觀察。我們的目標(biāo)是觀察不同的生態(tài)系統(tǒng)和正在發(fā)生的過程?！?/p>

了解生態(tài)系統(tǒng)并制定緩解策略

WARPLab 團(tuán)隊(duì)打算將 CUREE 平臺(tái)提供給他人使用，使人們了解到人類對(duì)海底環(huán)境造成的影響，并幫助制定緩解策略。

研究人員計(jì)劃學(xué)習(xí)從數(shù)據(jù)中發(fā)現(xiàn)的模式。Jamieson 表示，CUREE 提供了一個(gè)幾乎完全自主的數(shù)據(jù)收集‘科學(xué)家’，它可以將研究結(jié)果傳達(dá)給人類研究人員，“比起整天盯著屏幕、駕駛著它手動(dòng)完成任務(wù)，‘科學(xué)家’的收獲多出了不少。”

Girdhar 表示，可以為珊瑚礁等生態(tài)系統(tǒng)構(gòu)建一個(gè)網(wǎng)絡(luò)模型，不同節(jié)點(diǎn)對(duì)應(yīng)不同類型的物種和棲息地。所有這些不同的相互作用都在這個(gè)網(wǎng)絡(luò)中發(fā)生，研究人員可通過了解這個(gè)網(wǎng)絡(luò)來了解各種動(dòng)物與其棲息地之間的關(guān)系。

他表示：“我們希望使用 CUREE AUV 收集到足夠多的數(shù)據(jù)，從而全方位了解生態(tài)系統(tǒng)及其如何隨著時(shí)間的推移而發(fā)展，以及它們?nèi)绾问艿礁劭?、農(nóng)藥、碳排放和潛水旅游的影響，這樣我們就能更好地設(shè)計(jì)和落實(shí)干預(yù)措施，并確定一些問題，比如說假設(shè)我們種植新的珊瑚，它們將會(huì)如何逐漸改變珊瑚礁?！?/p>

訪問鏈接進(jìn)一步了解 NVIDIA Jetson Orin NX：

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/

Omniverse：

https://www.nvidia.com/en-us/omniverse/

Earth-2：

https://www.nvidia.com/en-us/high-performance-computing/earth-2/

*本文中圖片來源于伍茲霍爾海洋研究所，如您有任何疑問或需要使用該圖片，請(qǐng)聯(lián)系伍茲霍爾海洋研究所。