ADI 公司構(gòu)建了一個(gè)系統(tǒng) OtoSense，該系統(tǒng)能夠從機(jī)器學(xué)習(xí)聲音和振動(dòng)，并破譯其含義以檢測(cè)異常行為并執(zhí)行診斷。該系統(tǒng)是一個(gè)機(jī)器健康監(jiān)測(cè)系統(tǒng)，可以實(shí)現(xiàn)我們所說的“計(jì)算機(jī)聽力”，它允許計(jì)算機(jī)理解機(jī)器行為的主要指標(biāo)：聲音和振動(dòng)。

該系統(tǒng)適用于任何機(jī)器，無需網(wǎng)絡(luò)連接即可實(shí)時(shí)工作。該系統(tǒng)適用于工業(yè)應(yīng)用，可實(shí)現(xiàn)可擴(kuò)展、高效的機(jī)器健康監(jiān)測(cè)。

人類聽覺系統(tǒng)和 OtoSense 的翻譯

人類理解聲音的過程可以用四個(gè)熟悉的步驟來描述：聲音的模擬采集、數(shù)字轉(zhuǎn)換、特征提取和解釋。在這些步驟中，可以將人耳聽力與 OtoSense 系統(tǒng)進(jìn)行比較。

模擬采集和數(shù)字化： 在 OtoSense 中，模擬采集和數(shù)字化由傳感器、放大器和編解碼器執(zhí)行。數(shù)字化過程使用可在 250 Hz 和 196 kHz 之間調(diào)整的固定采樣率，波形以 16 位編碼并存儲(chǔ)在 128 個(gè)樣本到 4096 個(gè)樣本的緩沖區(qū)中。

特征提取： OtoSense 使用我們稱為塊的時(shí)間窗口，它以固定的步長(zhǎng)移動(dòng)。這個(gè)塊的大小和步長(zhǎng)可以從 23 毫秒到 3 秒不等，具體取決于需要識(shí)別的事件和采樣率，并在邊緣提取特征。稍后我們將提供有關(guān) OtoSense 提取的特征的更多信息。

解釋發(fā)生在關(guān)聯(lián)皮層中： OtoSense 與人的交互從基于人類神經(jīng)學(xué)的視覺、無監(jiān)督聲音映射開始。它顯示了所有聽到的聲音或振動(dòng)的圖形表示，按相似性組織，但不試圖創(chuàng)建嚴(yán)格的類別。這允許專家組織和命名屏幕上看到的分組，而無需嘗試人為地創(chuàng)建有界類別。他們可以構(gòu)建與他們對(duì) OtoSense 最終輸出的知識(shí)、感知和期望相一致的語義圖。

從聲音和振動(dòng)到功能

特征被分配一個(gè)單獨(dú)的數(shù)字來描述一段時(shí)間內(nèi)的聲音或振動(dòng)的給定屬性或質(zhì)量（如我們前面提到的時(shí)間窗口或塊）。OtoSense 平臺(tái)選擇功能的原則如下：

特征應(yīng) 盡可能完整地描述環(huán)境，并在頻域和時(shí)域中提供盡可能多的細(xì)節(jié)。他們必須描述靜止的嗡嗡聲以及咔噠聲、嘎嘎聲、吱吱聲和任何類型的瞬態(tài)不穩(wěn)定性。

特征應(yīng)盡可能正交地構(gòu)成一個(gè)集合。如果一個(gè)特征被定義為“塊上的平均振幅”，則不應(yīng)該有另一個(gè)特征與其強(qiáng)相關(guān)，就像“塊上的總光譜能量”這樣的特征。當(dāng)然，永遠(yuǎn)不會(huì)達(dá)到正交性，但任何特征都不應(yīng)該表示為其他特征的組合——每個(gè)特征中都必須包含一些奇異的信息。

特征 應(yīng)該 最小化 計(jì)算。大多數(shù) OtoSense 功能都設(shè)計(jì)為增量式，因此每個(gè)新樣本都可以通過簡(jiǎn)單的操作修改功能，而無需在完整緩沖區(qū)或更糟糕的塊上重新計(jì)算它。最小化計(jì)算也意味著不關(guān)心標(biāo)準(zhǔn)物理單位。例如，嘗試用 dBA 值表示強(qiáng)度是沒有意義的。如果需要輸出一個(gè)dBA值，可以在輸出的時(shí)候做，如果需要的話。

OtoSense 平臺(tái)的 2 到 1024 功能的一部分描述了時(shí)域。它們要么直接從波形中提取，要么從塊上任何其他特征的演變中提取。其中一些特征包括平均和最大振幅、從波形的線性長(zhǎng)度導(dǎo)出的復(fù)雜性、振幅變化、脈沖的存在和表征、作為第一個(gè)和最后一個(gè)緩沖區(qū)之間相似性的穩(wěn)定性、避免卷積的窄自相關(guān)或變化主要光譜峰。

頻域上使用的特征是從 FFT 中提取的。FFT 在每個(gè)緩沖區(qū)上計(jì)算并產(chǎn)生 128 到 2048 個(gè)單獨(dú)的頻率貢獻(xiàn)。然后，該過程會(huì)創(chuàng)建一個(gè)具有所需維數(shù)的向量——當(dāng)然，遠(yuǎn)小于 FFT 大小，但這仍然廣泛地描述了環(huán)境。OtoSense 最初從一種不可知的方法開始，用于在對(duì)數(shù)譜上創(chuàng)建相等大小的存儲(chǔ)桶。然后，根據(jù)環(huán)境和要識(shí)別的事件，這些桶適應(yīng)于關(guān)注信息密度高的頻譜區(qū)域，無論是從最大化熵的無監(jiān)督角度，還是從使用標(biāo)記事件作為一個(gè)半監(jiān)督的角度。指導(dǎo)。這模仿了我們內(nèi)耳細(xì)胞的結(jié)構(gòu)，在語音信息最大的地方更密集。

架構(gòu)：向邊緣供電和本地?cái)?shù)據(jù)

使用 OtoSense 的異常值檢測(cè)和事件識(shí)別發(fā)生在邊緣，無需任何遠(yuǎn)程資產(chǎn)的參與。這種架構(gòu)確保系統(tǒng)不會(huì)受到網(wǎng)絡(luò)故障的影響，并且避免了將所有原始數(shù)據(jù)塊發(fā)送出去進(jìn)行分析。運(yùn)行 OtoSense 的邊緣設(shè)備是一個(gè)獨(dú)立的系統(tǒng)，它實(shí)時(shí)描述它正在收聽的機(jī)器的行為。

運(yùn)行 AI 和 HMI 的 OtoSense 服務(wù)器通常托管在本地。云架構(gòu)對(duì)于聚合多個(gè)有意義的數(shù)據(jù)流作為 OtoSense 設(shè)備的輸出是有意義的。將云托管用于專門處理大量數(shù)據(jù)并與單個(gè)站點(diǎn)上的數(shù)百個(gè)設(shè)備交互的 AI 就沒有意義了。

圖 1. OtoSense 系統(tǒng)。

從特征到異常檢測(cè)

正常/異常評(píng)估不需要與專家進(jìn)行太多互動(dòng)即可開始。專家只需要幫助建立機(jī)器正常聲音和振動(dòng)的基線。然后，此基線在被推送到設(shè)備之前在 OtoSense 服務(wù)器上轉(zhuǎn)換為異常值模型。

兩種不同的策略用于評(píng)估傳入聲音或振動(dòng)的正常性：

第一個(gè)策略是我們所說的常態(tài)，即任何進(jìn)入特征空間的新傳入聲音都會(huì)檢查其周圍環(huán)境、它與基線點(diǎn)和集群的距離以及這些集群的大小。距離越大，簇越小，新聲音越不尋常，離群值越高。當(dāng)這個(gè)異常值高于專家定義的閾值時(shí)，相應(yīng)的塊被標(biāo)記為異常并發(fā)送到服務(wù)器以供專家使用。

第二種策略非常簡(jiǎn)單：任何具有高于或低于定義基線的所有特征的最大值或最小值的特征值的傳入塊都被標(biāo)記為極端并發(fā)送到服務(wù)器。

異常和極端策略的結(jié)合提供了對(duì)異常聲音或振動(dòng)的良好覆蓋，并且這些策略在檢測(cè)漸進(jìn)磨損和意外的殘酷事件方面表現(xiàn)良好。

從特征到事件識(shí)別

特征屬于物理領(lǐng)域，意義屬于人類認(rèn)知。要將特征與意義聯(lián)系起來，需要 OtoSense AI 和人類專家之間的交互。我們花費(fèi)了大量時(shí)間聽取客戶的反饋來開發(fā)人機(jī)界面 （HMI），使工程師能夠有效地與 OtoSense 交互以設(shè)計(jì)事件識(shí)別模型。該 HMI 允許探索數(shù)據(jù)、對(duì)其進(jìn)行標(biāo)記、創(chuàng)建異常模型和聲音識(shí)別模型以及測(cè)試這些模型。

OtoSense Sound Platter（也稱為 splatter）允許通過對(duì)數(shù)據(jù)集的完整概覽來探索和標(biāo)記聲音。Splatter 在完整的數(shù)據(jù)集中選擇最有趣和最有代表性的聲音，并將它們顯示為混合標(biāo)記和未標(biāo)記聲音的 2D 相似度圖。

圖 2. OtoSense Sound Platter 中聲音的 2D 飛濺圖。

任何聲音或振動(dòng)，連同其上下文，都可以通過許多不同的方式進(jìn)行可視化——例如，使用聲音小部件（也稱為小部件）。

圖 3. OtoSense 聲音小部件（小部件）。

在任何時(shí)候，都可以創(chuàng)建異常值模型或事件識(shí)別模型。事件識(shí)別模型以圓形混淆矩陣的形式呈現(xiàn)，允許 OtoSense 用戶探索混淆事件。

圖 4.可以根據(jù)所需事件創(chuàng)建事件識(shí)別模型。

可以通過一個(gè)界面來探索和標(biāo)記異常值，該界面會(huì)隨著時(shí)間的推移顯示所有不尋常和極端的聲音。

圖 5. OtoSense 異常值可視化中隨時(shí)間推移的聲音分析。

持續(xù)學(xué)習(xí)過程，從異常檢測(cè)到日益復(fù)雜的診斷

OtoSense 旨在向多位專家學(xué)習(xí)，并允許隨著時(shí)間的推移進(jìn)行越來越復(fù)雜的診斷。通常的過程是 OtoSense 和專家之間的循環(huán)循環(huán)：

異常值模型和事件識(shí)別模型在邊緣運(yùn)行。這些為潛在事件發(fā)生的概率以及它們的異常值創(chuàng)建了輸出。

超過定義閾值的異常聲音或振動(dòng)會(huì)觸發(fā)異常通知。然后，使用 OtoSense 的技術(shù)人員和工程師可以檢查聲音及其上下文。

然后，這些專家將這一不尋常的事件標(biāo)記為。

計(jì)算包含此新信息的新識(shí)別模型和異常值模型并將其推送到邊緣設(shè)備。

結(jié)論

ADI 公司的 OtoSense 技術(shù)的目標(biāo)是持續(xù)提供聲音和振動(dòng)專業(yè)知識(shí)。該技術(shù)在航空航天、汽車和工業(yè)監(jiān)控應(yīng)用中用于機(jī)器健康監(jiān)測(cè)，在曾經(jīng)需要人類專業(yè)知識(shí)的情況下以及在涉及嵌入式應(yīng)用的情況下（尤其是在復(fù)雜機(jī)器上）顯示出性能。

審核編輯：郭婷