近期，知名學(xué)術(shù)期刊《Nature》（《自然》）旗下專注于傳感器研究領(lǐng)域的子刊《Nature Sensors》，刊發(fā)了創(chuàng)刊以來(lái)的第一篇論文。

《Nature Sensors》是今年4月份，Nature新設(shè)立的子刊，將于2026年正式上線，《Nature Sensors》的創(chuàng)刊對(duì)全球傳感器領(lǐng)域科研有重要的風(fēng)向標(biāo)意義?！禢ature Sensors》聚焦于傳感器技術(shù)的各個(gè)關(guān)鍵層面，廣泛涵蓋生物、計(jì)算、工程和系統(tǒng)等多個(gè)領(lǐng)域的研究。從新型傳感器材料與裝置的研發(fā)，到傳感器系統(tǒng)的設(shè)計(jì)、集成以及廣泛應(yīng)用，都是期刊重點(diǎn)關(guān)注的范疇。


該論文題為“A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors”，由多位中國(guó)青年學(xué)者聯(lián)合撰寫。

該論文原文可在文末【閱讀原文】查看。

在當(dāng)下從虛擬現(xiàn)實(shí)到智能機(jī)器人不斷加速演進(jìn)的時(shí)代，人機(jī)接口早已不再滿足于“能識(shí)別”，而是要做到“隨時(shí)隨地、任意姿態(tài)都能識(shí)別”。然而現(xiàn)實(shí)世界并不溫柔：IMU 傳感器對(duì)任何震動(dòng)、擺臂、姿態(tài)變化都高度敏感，噪聲的頻率和幅度往往與手勢(shì)本身重疊，讓動(dòng)作信號(hào)在真實(shí)環(huán)境中如同“淹沒于海嘯之中”。

傳統(tǒng)的硬件穩(wěn)固、濾波算法或多傳感器補(bǔ)償都有局限，尤其是在跑步、騎行、震動(dòng)或水下環(huán)境中，要從偽影中“挖出真正的手勢(shì)”幾乎是不可能任務(wù)。這種挑戰(zhàn)使得當(dāng)前很多人機(jī)界面都還停留在實(shí)驗(yàn)室條件，難以走入真實(shí)場(chǎng)景。

在此，美國(guó)加州大學(xué)圣地亞哥分校的徐升教授團(tuán)隊(duì)聯(lián)合Joseph Wang教授用一種深度學(xué)習(xí)增強(qiáng)的可穿戴傳感器系統(tǒng)，讓這個(gè)不可能任務(wù)出現(xiàn)了突破。他們開發(fā)出一種深度學(xué)習(xí)增強(qiáng)的可穿戴人機(jī)接口系統(tǒng)，通過(guò) IMU + EMG 多模態(tài)采集、復(fù)合數(shù)據(jù)集訓(xùn)練、卷積神經(jīng)網(wǎng)絡(luò)識(shí)別，以及可拉伸可穿戴的集成設(shè)計(jì)，實(shí)現(xiàn)了在跑步、震動(dòng)、姿態(tài)變化甚至海浪干擾中依然保持高精度、實(shí)時(shí)手勢(shì)識(shí)別。


更令人驚喜的是，它不僅能穩(wěn)定識(shí)別動(dòng)作，還能精確控制機(jī)械臂完成抓取、倒液等操作，仿佛為人機(jī)界面裝上了“抗噪聲盔甲”和“智能大腦”。這項(xiàng)技術(shù)讓未來(lái)的 VR 操作、戶外人機(jī)交互甚至水下機(jī)器人控制都看到了全新可能。

相關(guān)成果以“A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors”為題發(fā)表在《NatureSensors》上，UCSD 博士后研究員陳相君Xiangjun Chen、樓之源Zhiyuan Lou（UCSD 碩士畢業(yè)生，現(xiàn)英國(guó)帝國(guó)理工學(xué)院博士研究生）、郜曉翔Xiaoxiang Gao博士（現(xiàn)東南大學(xué)青年首席教授）和尹鹿Lu Yin博士（UCSD 博士畢業(yè)生，現(xiàn) Persperion Diagnostics 公司 CEO）是共同第一作者，徐升教授和 Joseph Wang 教授擔(dān)任共同通訊作者。

?

高度集成、可穿戴、可拉伸的人機(jī)界面系統(tǒng)


在系統(tǒng)的硬件設(shè)計(jì)中，作者把一個(gè)完整的動(dòng)作識(shí)別與無(wú)線通信平臺(tái)壓縮到只有1.8 × 4.5 cm2、厚度 2 mm 的小巧貼膚設(shè)備中（圖1a）。它像一片輕薄的電子貼片，卻包含了六通道 IMU、肌電（EMG）模塊、藍(lán)牙MCU 以及一顆可拉伸 Zn/Ag?O電池。

IMU 捕捉加速度與角速度，EMG 負(fù)責(zé)識(shí)別抓握動(dòng)作，而藍(lán)牙模塊則將處理后的信號(hào)實(shí)時(shí)發(fā)往后臺(tái)控制端。整個(gè)電路采用多層結(jié)構(gòu)堆疊（圖1b），柔軟基底與蛇形互連共同保證器件能承受超過(guò) 20% 的拉伸而不失效。

同時(shí)，為了確保長(zhǎng)期穩(wěn)定工作，研究者自制了一顆耐彎折、可拉伸且循環(huán)性能穩(wěn)定的電池，它在彎折、拉伸條件下仍能保持約 25mAh的容量（圖1c）。無(wú)線通信方面，藍(lán)牙信號(hào)在 20 米內(nèi)穩(wěn)定傳輸（圖1d），而在連續(xù)運(yùn)行 30 分鐘后，設(shè)備表面溫度也僅維持在 27.7°C（圖1e），佩戴安全無(wú)虞。

? 圖1：系統(tǒng)整體結(jié)構(gòu)與性能 ? 真實(shí)世界的“混亂數(shù)據(jù)”，讓模型學(xué)會(huì)在噪聲中識(shí)別動(dòng)作


為了讓系統(tǒng)學(xué)會(huì)在復(fù)雜環(huán)境中識(shí)別動(dòng)作，研究團(tuán)隊(duì)沒有只采集理想條件下的手勢(shì)，而是構(gòu)建了一個(gè)包含“噪聲真實(shí)面貌”的數(shù)據(jù)集（圖2a）。首先，他們采集了 19種基本前臂動(dòng)作的 IMU 信號(hào)，每個(gè)動(dòng)作僅持續(xù)約 1 秒。隨后，他們加入海量真實(shí)偽影：例如在姿態(tài)變化時(shí)，引力分量變化造成的基線漂移（圖2b）；在高頻振動(dòng)中，按摩槍產(chǎn)生的劇烈擾動(dòng)（圖2c）；以及跑步過(guò)程中手臂自然擺動(dòng)疊加身體震動(dòng)的復(fù)合擾動(dòng)（圖2d）。

這些擾動(dòng)不僅幅度大，還在頻率、波形上與手勢(shì)信號(hào)高度重疊，正是現(xiàn)實(shí)中 IMU最難處理的部分。與此同時(shí)，EMG 信號(hào)被用來(lái)區(qū)分抓握與松開（圖2e），即便在跑步或振動(dòng)中其信噪比顯著下降，但仍保留著獨(dú)特的肌肉激活結(jié)構(gòu)。

? 圖2：19?種動(dòng)作的 IMU 信號(hào)及三類典型噪聲 ?


卷積神經(jīng)網(wǎng)絡(luò)讓動(dòng)作“脫離噪聲”，遷移學(xué)習(xí)讓新用戶即刻上手


在這樣復(fù)雜的數(shù)據(jù)條件下，研究者構(gòu)建了一個(gè)結(jié)構(gòu)優(yōu)化的一維卷積神經(jīng)網(wǎng)絡(luò)（CNN），對(duì) IMU 六通道信號(hào)進(jìn)行融合與分層特征提取（圖3c）。與全連接網(wǎng)絡(luò)與循環(huán)網(wǎng)絡(luò)相比，CNN 在召回率、精度、F1 值等指標(biāo)上全面勝出（圖3b），顯示它對(duì)復(fù)雜噪聲具有更強(qiáng)的特征分離能力。模型訓(xùn)練采用了復(fù)合數(shù)據(jù)集，即把手勢(shì)信號(hào)與不同階段的跑步、振動(dòng)、姿態(tài)變化噪聲疊加在一起，使模型學(xué)會(huì)在最混亂的情況下捕捉手勢(shì)的穩(wěn)定特征。


考慮到不同人的手勢(shì)幅度與噪聲模式可能差異巨大，研究團(tuán)隊(duì)還引入了參數(shù)級(jí)遷移學(xué)習(xí)，讓系統(tǒng)具有“面向個(gè)人快速適配”的能力（圖3d）。模型先在五個(gè)人的大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練，而面對(duì)新用戶時(shí)，只需要每個(gè)動(dòng)作提供 2 條信號(hào)（坐著一條、躺著一條），模型就能在極少數(shù)據(jù)下迅速調(diào)整參數(shù)，使識(shí)別準(zhǔn)確率從 51% 一舉提升到 92%（圖3e）。

為了實(shí)現(xiàn)實(shí)時(shí)識(shí)別，他們還加入滑動(dòng)窗口機(jī)制（圖3f），每隔 0.25 秒基于 1 秒窗口進(jìn)行一次預(yù)測(cè)，使系統(tǒng)在動(dòng)作連續(xù)變化中也能平穩(wěn)輸出，不會(huì)出現(xiàn)“動(dòng)作斷點(diǎn)”。

? 圖3：卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)、遷移學(xué)習(xí)流程、不同模型對(duì)比、混淆矩陣與滑動(dòng)窗口機(jī)制 ?


跑步、高頻振動(dòng)、姿態(tài)變化下仍可穩(wěn)定操控機(jī)械臂

系統(tǒng)的最終檢驗(yàn)來(lái)自真實(shí)任務(wù)：控制機(jī)械臂執(zhí)行動(dòng)作（圖4a）。在傳統(tǒng) IMU 系統(tǒng)中，跑步或高頻振動(dòng)會(huì)讓加速度與角速度信號(hào)劇烈跳動(dòng)，幾乎無(wú)法提取有效手勢(shì)指令；但在深度學(xué)習(xí)處理后，這些噪聲被模型“消化”掉，最終輸出的手勢(shì)分類依舊清晰穩(wěn)定。研究者在跑步機(jī)上邊跑邊操作，機(jī)械臂依然能夠平穩(wěn)執(zhí)行取液并倒入燒杯的動(dòng)作（圖4b），沒有因?yàn)樵肼暥霈F(xiàn)抖動(dòng)或動(dòng)作錯(cuò)誤。

更難能可貴的是，不論用戶是在高頻振動(dòng)下、姿態(tài)變換中，還是在“跑步 + 振動(dòng)”的極端組合場(chǎng)景下，系統(tǒng)仍能連續(xù)識(shí)別動(dòng)作并驅(qū)動(dòng)機(jī)械臂無(wú)縫操作。結(jié)合 EMG 判斷抓取動(dòng)作后，機(jī)械手甚至能在噪聲干擾下實(shí)現(xiàn)精準(zhǔn)的抓取與松開。這標(biāo)志著該系統(tǒng)從單純的“動(dòng)作識(shí)別”真正跨越到“任務(wù)控制”，具備進(jìn)入現(xiàn)實(shí)世界的穩(wěn)定性。

? 圖4：在跑步、高頻振動(dòng)等干擾下實(shí)時(shí)控制機(jī)械臂執(zhí)行抓取與倒液動(dòng)作 ?

即使在海浪的周期干擾中，也能準(zhǔn)確識(shí)別動(dòng)作


為了挑戰(zhàn)極端環(huán)境，研究者將設(shè)備放入海氣模擬器中，模擬不同波長(zhǎng)、不同波高的海浪擾動(dòng)（圖5a,b）。海浪的周期性與不規(guī)則疊加會(huì)讓 IMU 輸出產(chǎn)生極其復(fù)雜的“海浪噪聲”，這是 IMU 信號(hào)處理中最棘手的干擾之一。

但在深度學(xué)習(xí)模型訓(xùn)練后，系統(tǒng)能夠從“海浪 + 手勢(shì)”的疊加信號(hào)中依然分離出動(dòng)作特征，實(shí)現(xiàn)穩(wěn)定高精度識(shí)別（圖5c）。令人意外的是，在海水環(huán)境中，EMG 電極與皮膚的界面阻抗更低，反而提升了抓握信號(hào)的穩(wěn)定性。

這意味著未來(lái)潛水員可以在海浪起伏的環(huán)境中，通過(guò)簡(jiǎn)單的手勢(shì)操控水下機(jī)器人進(jìn)行探測(cè)、采樣、打撈等任務(wù)，為海洋工程開辟新的操作方式。

? 圖5：海浪環(huán)境下的 IMU 信號(hào)采集與模擬海波干擾下的動(dòng)作識(shí)別表現(xiàn) ? 小結(jié)
這項(xiàng)研究以系統(tǒng)級(jí)設(shè)計(jì)解決了可穿戴動(dòng)作識(shí)別的核心瓶頸——對(duì)復(fù)雜動(dòng)態(tài)噪聲的高度敏感性。從硬件的柔性集成，到真實(shí)噪聲采樣構(gòu)建的復(fù)合數(shù)據(jù)集，再到遷移學(xué)習(xí)加持的卷積神經(jīng)網(wǎng)絡(luò)，最終實(shí)現(xiàn)了在跑步、震動(dòng)、姿態(tài)變化與海浪干擾下依然可靠的實(shí)時(shí)識(shí)別與動(dòng)作控制。

未來(lái)，通過(guò)更短窗口、更復(fù)雜動(dòng)作、多模態(tài)融合以及更強(qiáng)的水下通信能力，這種抗噪聲、高魯棒性的可穿戴人機(jī)接口有望成為智能可穿戴設(shè)備、軟體機(jī)器人、VR 手勢(shì)控制、醫(yī)療康復(fù)乃至水下機(jī)器人操控的關(guān)鍵技術(shù)基礎(chǔ)。

本文部分資料來(lái)自：

高分子科學(xué)前沿《Nature新子刊，創(chuàng)刊論文出爐，中國(guó)青年學(xué)者聯(lián)手打造！》

DeepTech深科技 《告別靜態(tài)操控：新型AI可穿戴貼片，可在運(yùn)動(dòng)中精準(zhǔn)識(shí)別手勢(shì)控制機(jī)械臂》