描述

背景

在過去十年中，由于仿生假肢在改善中風(fēng)后患者和截肢者生活質(zhì)量方面的重要應(yīng)用，其研究和開發(fā)取得了顯著增長(zhǎng)。根據(jù) Grand View 研究數(shù)據(jù)庫 [1]，2020 年全球假肢和矯形器市場(chǎng)規(guī)模為 61.1 億美元，預(yù)計(jì) 2021 年至 2028 年將以 4.2% 的復(fù)合年增長(zhǎng)率增長(zhǎng)。截肢，殘余肌肉和假肢之間的控制接口（即神經(jīng)機(jī)器接口）對(duì)于仿生假肢的自然運(yùn)動(dòng)至關(guān)重要。如圖 1 所示，基于肌電圖 (EMG) 的控制界面已廣泛應(yīng)用于醫(yī)學(xué)以及一些娛樂應(yīng)用，如假肢控制、康復(fù)手套、或者為VR游戲提供另一種交互方式。基于 EMG 的神經(jīng)機(jī)器接口可以測(cè)量電活動(dòng)以響應(yīng)神經(jīng)對(duì)肌肉的刺激，以識(shí)別人體運(yùn)動(dòng)意圖并將記錄的 EMG 信號(hào)轉(zhuǎn)換為有效的控制信號(hào)以驅(qū)動(dòng)外部假肢。最近，由于從許多用戶那里收集的大量 EMG 數(shù)據(jù)以及學(xué)習(xí)算法和計(jì)算設(shè)備的進(jìn)步，深度學(xué)習(xí)在進(jìn)一步提高基于 EMG 的控制界面設(shè)計(jì)的準(zhǔn)確性和魯棒性方面顯示出巨大的潛力。然而，深度學(xué)習(xí)方法臨床部署的一個(gè)關(guān)鍵挑戰(zhàn)和障礙是它們的高計(jì)算成本，因?yàn)榇蠖?a target='_blank' class='arckwlink_none'>數(shù)控制組件都是使用具有有限功率和計(jì)算能力的便攜式嵌入式系統(tǒng)構(gòu)建的。在這個(gè)項(xiàng)目中，

圖 1 基于 EMG 的神經(jīng)機(jī)器接口

?

方法

該項(xiàng)目旨在在 Sony Spresense 微控制器上部署一個(gè)深度神經(jīng)網(wǎng)絡(luò)，用于實(shí)時(shí)仿生手臂控制。我們使用 2D 卷積神經(jīng)網(wǎng)絡(luò) (CNN) 作為 EMG 模式識(shí)別算法，該算法在部署到 Sony Spresense 之前已經(jīng)過微調(diào)和壓縮。我們的 EMG 數(shù)據(jù)收集基于 Myo Armband 和 ESP32 Board。這個(gè)項(xiàng)目有4個(gè)主要部分：

• EMG 信號(hào)采集和預(yù)處理
• 離線 CNN 模型訓(xùn)練和微調(diào)
• 設(shè)備端 CNN 模型部署和推理
• 實(shí)時(shí)仿生手臂控制

圖 2 系統(tǒng)概述：EMG 數(shù)據(jù)收集、CNN 模型推斷和仿生手臂控制。

?

系統(tǒng)概述：圖 2 顯示了系統(tǒng)概述。我們首先通過藍(lán)牙將 Myo Armband 與 ESP32 連接起來。其次，Myo Armband 可以獲取 EMG 數(shù)據(jù)，同時(shí) ESP32 通過 UART 串??行通信向 Sony Spresense 傳輸信號(hào)。第三，Sony Spresense 對(duì)傳輸?shù)?EMG 數(shù)據(jù)進(jìn)行預(yù)處理，并實(shí)時(shí)進(jìn)行手勢(shì)預(yù)測(cè)。最后，預(yù)測(cè)的手勢(shì)被轉(zhuǎn)換為 PWM 信號(hào)以控制仿生手臂，其中 3 個(gè)伺服系統(tǒng)控制不同的手指。

在接下來的會(huì)議中，我們將詳細(xì)分析每個(gè)部分。

圖 3 EMG 模式識(shí)別：傳統(tǒng)機(jī)器學(xué)習(xí) VS 深度學(xué)習(xí)算法

?

EMG模式識(shí)別： EMG信號(hào)是人體皮膚表面肌肉收縮過程中產(chǎn)生的電信號(hào)的記錄。EMG 信號(hào)模式識(shí)別是非侵入式神經(jīng)機(jī)接口應(yīng)用的技術(shù)核心。如圖 3 所示，8 個(gè)傳感器 Myo Armband 將用于收集人體皮膚的 EMG 信號(hào)。然后，收集的信號(hào)可以輸入深度學(xué)習(xí)（例如，CNN）或機(jī)器學(xué)習(xí)（例如，LDA、SVM）模型以執(zhí)行模式識(shí)別，返回不同手勢(shì)的輸出概率。與需要特征工程的傳統(tǒng)機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)在特征提取方面表現(xiàn)出色，例如從 EMG 信號(hào)中獲取平均絕對(duì)值 (MAV) 或過零 (ZC)。

在這個(gè)項(xiàng)目中，我們利用 CNN 模型直接學(xué)習(xí)原始 EMG 特征，而無需任何額外的特征工程。但是，深度學(xué)習(xí)模型可能會(huì)比機(jī)器學(xué)習(xí)模型引入額外的計(jì)算開銷。如圖 3 所示，CNN 模型通常由高性能 GPU 進(jìn)行預(yù)訓(xùn)練，計(jì)算成本高、內(nèi)存占用大、能耗高。將它們部署到計(jì)算資源有限的低功耗設(shè)備上非常具有挑戰(zhàn)性。為了在 Sony Spresense 上實(shí)現(xiàn)實(shí)時(shí)接口，我們將利用 TensorFlow Lite 來加速 CNN 模型。

圖 4 目標(biāo)：在 Sony Spresense 微控制器上部署深度神經(jīng)網(wǎng)絡(luò)，用于實(shí)時(shí)仿生手臂控制。

?

EMG 數(shù)據(jù)預(yù)處理：如圖 5 所示，Myo Armband 包括 8 個(gè)傳感器/通道，因此每個(gè) EMG 陣列為 1x8（每個(gè)通道一個(gè) EMG 樣本）。為了從原始 EMG 信號(hào)中提取空間域特征，我們結(jié)合了 32 個(gè) EMG 樣本來創(chuàng)建一個(gè) EMG 窗口（8×32）。在 EMG 信號(hào)收集過程中，我們以 16 步長(zhǎng)重疊 EMG 窗口，以便下一個(gè) EMG 窗口包含來自先前 EMG 窗口的最后 16 個(gè)樣本，以便進(jìn)一步結(jié)合時(shí)域特征。此外，原始 EMG 值是一個(gè) 0 - 255 范圍內(nèi)的 8 位無符號(hào)數(shù)，因此如果 EMG 值大于 127，我們通過將值減去 256 將 EMG 值從無符號(hào)數(shù)更改為有符號(hào)數(shù)。最后，我們將有一個(gè)給定從 NinaPro DB5 數(shù)據(jù)集獲得的 7 個(gè)手勢(shì)，從 EMG 樣本計(jì)算的 8 個(gè)通道中的每個(gè)通道的一組平均值和標(biāo)準(zhǔn)偏差。

圖 5 肌電數(shù)據(jù)預(yù)處理

?

圖 6 深度神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練數(shù)據(jù)

?

深度神經(jīng)網(wǎng)絡(luò)模型與訓(xùn)練：如圖 6 所示，我們的 CNN 模型由 2 個(gè)卷積層和一個(gè)全連接層組成。第一個(gè)卷積層由 32 個(gè)濾波器組成，然后是 PReLU 激活函數(shù)、用于加速模型訓(xùn)練的批量歸一化、用于對(duì)抗過度擬合的空間 2D dropout 和最大池化。第二個(gè)卷積層與第一層相同，只是它使用 64 個(gè)過濾器而不是 32 個(gè)。最后，我們將以 N 個(gè)神經(jīng)元全連接層結(jié)束，這取決于 N 個(gè)手勢(shì)進(jìn)行預(yù)測(cè)。在我們的項(xiàng)目中，我們利用來自名為 NinaPro DB5 [3] 的大型開源 EMG 數(shù)據(jù)集的 7 個(gè)手勢(shì)來訓(xùn)練我們的模型。然后，我們使用從 Myo 臂章收集的實(shí)時(shí) EMG 信號(hào)對(duì)其進(jìn)行微調(diào)，將模型學(xué)習(xí)從較大的數(shù)據(jù)集推廣到更具體的下游數(shù)據(jù)集。

Fig.7 3D – Printed Bionic Arm：來自 Mission ARM JAPAN 非營(yíng)利組織的 HACKberry Hand 項(xiàng)目

?

3D - 打印仿生手臂：如圖 7 所示，我們的仿生手臂是基于 Mission ARM JAPAN 非營(yíng)利組織 [2] 的名為 HACKberry hand 的開源社區(qū)項(xiàng)目進(jìn)行 3D 打印的。

該仿生手臂使用了 3 個(gè)伺服系統(tǒng)。SG90 伺服控制中指、無名指和小指。平行伺服控制食指。第二個(gè)SG90控制拇指。在我們的項(xiàng)目范圍內(nèi)，我們利用仿生手臂執(zhí)行 4 個(gè)手勢(shì)：休息手勢(shì)、豎起大拇指手勢(shì)、握拳手勢(shì)和確定手勢(shì)。

圖 8 未來工作

?

未來工作：在這個(gè)項(xiàng)目中，我們成功地將CNN模型部署在Sony Spresense板上，實(shí)現(xiàn)了實(shí)時(shí)仿生控制。未來，我們將通過以下方法進(jìn)一步增強(qiáng)我們的系統(tǒng)。首先，中間的 ESP32 導(dǎo)致延遲。通過將藍(lán)牙直接部署到 Sony Spresense 上，我們可以最大限度地減少這種情況。其次，我們可以通過使用 RNN 等其他架構(gòu)來提高模型的魯棒性。此外，我們可以使用 GAN 增強(qiáng)噪聲 EMG 數(shù)據(jù)。第三，我們可以利用更高維度的 EMG 采集傳感器，嵌入更多的特征。（比如 192 個(gè)頻道而不是 8 個(gè)）最后，我們還可以通過在 Sony Spresense 上實(shí)現(xiàn)設(shè)備上的培訓(xùn)來改善我們的用戶體驗(yàn)。

?