使用便宜的開源計算模塊實時檢測海洋哺乳動物，以實現(xiàn)主動管理解決方案。

（浮標照片和視頻版權歸于 Cetaware ）

公司規(guī)模：1-10名員工

公司行業(yè)： 環(huán)境科學與服務

網(wǎng)址：www.cetaware.nz

功能和技術規(guī)格列表

實時信號處理和推理，用于對鯨類發(fā)聲進行分類。

96kHz采樣率（最高可達384kHz）

水聽器靈敏度 -165 dB re 1V μPa

LTE Cat M-1 用于遙測/連接。

用于邊緣處理和機器學習的 ARMSoM 計算模塊 (CM5)。

項目背景

通過聆聽自然界的聲音，我們可以監(jiān)測動物之間的交流方式，并獲得基本的基線數(shù)據(jù)，從而確認未來動物因環(huán)境變化而發(fā)生的變化。例如，通過檢測不同棲息地中發(fā)聲物種的發(fā)聲情況，研究人員可以調(diào)查種群數(shù)量，并繪制其豐度、棲息地利用和生物多樣性的趨勢。這些數(shù)據(jù)集對于建立基線至關重要，這樣才能量化并更好地管理人類活動（例如建筑施工）的影響。生態(tài)聲學（例如生物聲學）令人興奮的一點是，發(fā)聲動物非常適合被動聲學監(jiān)測 (PAM) 技術。PAM 的優(yōu)勢在于其可擴展性。許多自主記錄器（實時記錄或記錄到存儲卡）可以部署在難以通過基于視覺的方法（例如視覺調(diào)查，例如攝像機、航拍或樣線）進行研究的偏遠棲息地。

海洋就是這樣一個成本高昂且難以大規(guī)模采樣的地方。在研究海洋哺乳動物的棲息地利用/存在情況時，天氣和能見度始終是制約因素，因為目視調(diào)查需要晴朗的天氣和白天的光照時間。這必然會導致某些數(shù)據(jù)集出現(xiàn)采樣偏差，其中海洋哺乳動物的“熱點”往往與人類活動較多的區(qū)域重疊。然而，鯨魚和海豚在夜間活動，并且可以移動到與白天不同的區(qū)域。因此，對鯨魚和海豚的叫聲，甚至魚類和無脊椎動物的叫聲進行被動聲學監(jiān)測 (PAM) 可以揭示大量關于其生態(tài)環(huán)境的信息，并為研究人員提供更全面的了解。此外，通過檢測船只的噪音，可以使用相同的設備來監(jiān)測人類在海洋棲息地的存在或活動。

面臨的挑戰(zhàn)

由于聲波記錄儀 (PAM) 具有提供難以研究物種的連續(xù)生態(tài)數(shù)據(jù)的潛力，且不受天氣或光照條件的限制，聲學記錄儀在保護科學中的應用越來越廣泛。在海洋中，水聽器用于監(jiān)聽珊瑚礁、深海、河口和海岸線。全球最常用的技術仍然是自主記錄儀，它是一種深度額定設備，由連接到前置放大器的水聽器、數(shù)模轉(zhuǎn)換器 (DAC)、控制器和存儲設備組成。記錄儀部署在所有深度（取決于所使用的設備），通常每次部署數(shù)月（在許多情況下長達一年）。一些 PAM 系統(tǒng)配備通過電纜連接到岸站的水聽器，并可長期穩(wěn)定運行。這些技術使研究人員能夠整理數(shù)十萬小時的記錄，這些記錄需要進行自動化分析才能從中獲得有意義的信息。而這正是深度學習改變游戲規(guī)則的地方。

深度學習模型和人工智能加速硬件釋放了PAM真正的可擴展?jié)摿?，使科學家能夠在合理的時間內(nèi)分析數(shù)TB的記錄。遷移學習意味著研究人員可以使用自己職業(yè)生涯中收集的帶注釋數(shù)據(jù)集，根據(jù)自身目的微調(diào)高效的深度學習模型。人工智能加速硬件的出現(xiàn)意味著這些模型能夠以前所未有的速度運行，相比之下，在CPU上運行的算法（包括更傳統(tǒng)的基于機器學習的分類器，例如隨機森林模型）的速度更快。然而，當自動記錄儀被回收時，尤其是在記錄了幾個月后從多個棲息地回收時，存在一些瓶頸問題，會延遲數(shù)據(jù)分析（假設儀器已被成功找到并回收）。此外，自動記錄儀還面臨進水（即洪水）和存儲卡損壞的風險（所有浸入水中的技術設備都是如此），這意味著數(shù)據(jù)可能會在不知不覺中丟失，而基線數(shù)據(jù)集的后續(xù)缺口可能會妨礙科學家得出具有統(tǒng)計意義的可靠結(jié)論。

在邊緣部署深度學習模型可以規(guī)避自主記錄器數(shù)據(jù)分析的瓶頸，為使用“大數(shù)據(jù)”研究生態(tài)系統(tǒng)的研究人員帶來巨大優(yōu)勢。在邊緣部署深度學習模型并實時傳輸處理后的數(shù)據(jù)，可以規(guī)避數(shù)據(jù)安全問題，因為數(shù)據(jù)可以立即被檢索、存檔和備份。

然而，海洋噪音很大，海洋哺乳動物的監(jiān)測通常也發(fā)生在人類活動頻繁的區(qū)域。例如，港口、建筑工地、航道、城市化河口和海港都是存在大量人為噪聲源的區(qū)域。此外，天氣、洋流（潮汐）、生物污損和其他動物的聲音（例如魚類和無脊椎動物）也會產(chǎn)生大量需要“濾除”（即去除）的聲音，以免掩蓋目標聲音或?qū)е抡`報（即報告檢測到聲音，而實際上這些聲音來自其他來源，例如天氣或船舶聲納）。因此，定期更新模型非常重要，這樣在經(jīng)過訓練有素的生物聲學專家驗證初始數(shù)據(jù)后，船上的人工智能系統(tǒng)才能繼續(xù)進行訓練（即人機協(xié)同訓練流程）。無線更新意味著先進的技術（例如使用 Google DeepResearch 敏捷建模框架訓練的移動友好型模型架構(gòu)）可以在沒有設備檢索的情況下推向大海。

CM5 解決方案（為什么選擇 ArmSoM CM5？）

自適應邊緣處理和多線程邊緣處理適用于多種聲源，需要計算能力強大且極其高效的硬件和軟件。ARMSoM 的系統(tǒng)級模塊 (SoM) 在 AIoT 的計算能力和功耗之間實現(xiàn)了完美平衡（運行 Armbian 時，空閑功耗為 0.5-1W）。RK3576 SoC 配備 4 個 Cortex A72 和 4 個 A55 處理器，可實現(xiàn)資源的定制化利用，而 NPU 和 LPDDR5 RAM 則為實時音頻流分類提供了極低的延遲。

集成 ARM 處理器的 NPU 的出現(xiàn)，為生物聲學領域的邊緣機器學習帶來了真正的優(yōu)勢。使用 ESP32-S3 等微控制器仍然具有重要意義，但 ARMSoM 在其開發(fā)板上采用 RK35xx SoC，實現(xiàn)了并行處理流水線和音頻分類的并發(fā)推理。這非常強大，因為這意味著可以使用單個水聽器進行不同的聲學分析，同時監(jiān)聽多種鯨魚、海豚以及其他聲源的聲音。

然后，使用ARMSoM CM5等開源 SoM 具有成本效益等開源 SoM 還有成本效益使用科學級硬件和儀器監(jiān)測海洋成本高昂。實時聲學監(jiān)測和生物聲學信號檢測器/分類器也非常昂貴。這意味著被動聲學監(jiān)測成本過高，尤其對于發(fā)展中國家或非營利組織而言。 2024年的一項調(diào)查發(fā)現(xiàn)， 90%的受訪者表示需要低成本的自主錄音設備，這催生了國際低成本水聽器項目。該調(diào)查涵蓋了來自世界各地政府、大學和非政府組織的研究人員。通過使用開源計算硬件，實時聲學監(jiān)測的構(gòu)建成本可以低于使用專用微控制器的系統(tǒng)。

實施過程

為了展示開源硬件在生物聲學邊緣處理方面的優(yōu)勢，我們需要一個演示浮標。我們專注于開發(fā)和部署用于海洋科學的實時聲學監(jiān)測系統(tǒng)，但要使我們的技術發(fā)揮作用，需要一個平臺。ARMSoM CM5 及其外圍硬件與 Northport Limited 合作，安裝在新西蘭北部旺格雷港內(nèi)的一個 Nexsens 浮標內(nèi)。水聽器安裝在浮標下方，連接到 24 位、96kHz DAC，然后連接到計算模塊。使用 4G 蜂窩網(wǎng)絡連接到 AWS 進行實時數(shù)據(jù)傳輸。檢測數(shù)據(jù)（音頻數(shù)據(jù)、聲譜圖和元數(shù)據(jù)）被發(fā)送到 AWS，以便岸上進行進一步分析。

成果和效益

RK3576 是一款功能強大的 SoC，能夠輕松運行我們整個實時 AI 流程，同時還配備了 LPDDR5 RAM，功耗也比以往更低。它目前安裝在旺格雷的浮標內(nèi)，并已成功將多種海豚的數(shù)據(jù)實時傳輸?shù)轿覀兊脑诰€儀表板，確保數(shù)據(jù)準確無誤。在過去 13 個月中，該浮標已提供 219 次進出港口的海洋哺乳動物遭遇的聲學數(shù)據(jù)。在這 219 次遭遇中，有 24 次是虎鯨，其余大部分是寬吻海豚（其中 3 次是新西蘭海狗）。

審核編輯 黃宇