一、摘要

觸覺(jué)接口對(duì)于增強(qiáng)人機(jī)交互至關(guān)重要，但由于信號(hào)耦合和低效的數(shù)據(jù)處理，實(shí)現(xiàn)大規(guī)模、精確的分布式力傳感仍然具有挑戰(zhàn)性。受多葉蘆薈螺旋結(jié)構(gòu)和神經(jīng)系統(tǒng)處理原理的啟發(fā)，本研究提出了一種基于數(shù)字通道的觸覺(jué)交互系統(tǒng)（phygital tactile sensing system, PhyTac）。這一創(chuàng)新系統(tǒng)能有效防止標(biāo)記重疊，并能從耦合信號(hào)中準(zhǔn)確識(shí)別多達(dá)368個(gè)區(qū)域的多點(diǎn)刺激。通過(guò)將物理原理融入模型訓(xùn)練，作者將數(shù)據(jù)集大小縮減至僅45kilobytes，超越了通常超過(guò)1gigabyte的傳統(tǒng)方法。結(jié)果表明，PhyTac在0.5至25牛頓的傳感范圍內(nèi)保真度高達(dá)97.7%，可廣泛應(yīng)用于醫(yī)學(xué)評(píng)估、體育訓(xùn)練、虛擬現(xiàn)實(shí)和機(jī)器人技術(shù)等領(lǐng)域。這項(xiàng)研究不僅加深了對(duì)手部中心動(dòng)作的理解，還凸顯了物理與數(shù)字領(lǐng)域的融合，為基于人工智能的傳感器技術(shù)發(fā)展鋪平了道路。

二、背景介紹

經(jīng)過(guò)數(shù)百萬(wàn)年的生物進(jìn)化，手已成為人類(lèi)意識(shí)最直接的延伸之一。我們?nèi)粘Ｊ褂玫脑S多交互設(shè)備，如手柄、鼠標(biāo)、鍵盤(pán)和觸摸板，都是為了方便手的使用而設(shè)計(jì)。然而，盡管手在我們的生活中起著至關(guān)重要的作用，但我們對(duì)手產(chǎn)生的力知之甚少。例如，抓握時(shí)每根手指產(chǎn)生的力有何不同？手掌的力如何分布？這一知識(shí)空白極大地阻礙了包括精準(zhǔn)醫(yī)療、體育訓(xùn)練、機(jī)器人技術(shù)、虛擬現(xiàn)實(shí)操作等多個(gè)領(lǐng)域的發(fā)展。

圖1 基于液壓、氣壓和機(jī)械彈簧原理的握力計(jì)。

近幾個(gè)世紀(jì)，基于液壓、氣壓和機(jī)械彈簧原理的握力計(jì)是評(píng)估人手施加的力的常用方法，但它們只能提供最大力的信息，缺乏空間和時(shí)間的細(xì)節(jié)分布（圖1）。柔性觸覺(jué)仿生皮膚的發(fā)展為測(cè)量力的分布提供了新的機(jī)會(huì)，按其原理，可大致分為兩類(lèi)：基于電信號(hào)的陣列式傳感（壓阻式、電容式、壓電、摩擦電等）和基于視覺(jué)的傳感技術(shù)（Gelsight、Tactip、TacLINK、Insight等）?；陔娦盘?hào)的傳感器在單點(diǎn)力測(cè)量時(shí)精度非常高，但存在大面積復(fù)雜接觸變形時(shí)引起的串?dāng)_問(wèn)題，出現(xiàn)精度下降。基于視覺(jué)的方法可以避免電信號(hào)的串?dāng)_問(wèn)題，提供更高的魯棒性，但其量程范圍通常較?。ㄍǔ?10N），且同樣面臨多點(diǎn)大面積接觸時(shí)精度不足的問(wèn)題。此外，其標(biāo)定常需要大量數(shù)據(jù)集（通常>1GB）。簡(jiǎn)而言之，現(xiàn)有的柔性觸覺(jué)傳感方式獲得的信息，本質(zhì)上是來(lái)自多個(gè)未知負(fù)載源耦合的復(fù)雜模擬信號(hào)，這使得分布力的解碼非常復(fù)雜，特別是對(duì)于多點(diǎn)大面積復(fù)雜接觸的力分布，如手部的握力。 在最近的一項(xiàng)研究中，香港科技大學(xué)的科研團(tuán)隊(duì)通過(guò)引入“數(shù)字通道”的概念，在分布力的接觸位置上生成可辯別的時(shí)序數(shù)字信號(hào)，解決了多點(diǎn)大面積復(fù)雜接觸問(wèn)題，并提出了一種以手為中心的觸覺(jué)交互系統(tǒng)（PhyTac，圖2與圖3）。PhyTac由帶有標(biāo)記點(diǎn)陣列的仿生外殼、偏振線(xiàn)性光源和運(yùn)動(dòng)捕捉攝像頭組成。當(dāng)PhyTac受到手部施加的力時(shí)，其外殼會(huì)發(fā)生變形，同時(shí)攝像頭會(huì)捕捉到每個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)。隨后，利用所有標(biāo)記點(diǎn)的位移作為輸入，物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）能夠準(zhǔn)確建立標(biāo)記點(diǎn)位移與手部力分布之間的映射關(guān)系。因此，系統(tǒng)能夠重建手部豐富的觸覺(jué)力學(xué)信息，與現(xiàn)有的設(shè)備相比增加了至少兩個(gè)數(shù)量級(jí)的信息量，從而在新一代的人機(jī)交互中可獲得廣泛的應(yīng)用。

圖2 兩個(gè)尺寸的PhyTac

三、內(nèi)容詳解

欲了解詳細(xì)制備過(guò)程，請(qǐng)閱讀原文。

“數(shù)字通道”概念的引入，可以準(zhǔn)確識(shí)別復(fù)雜接觸的位置，從而準(zhǔn)確解碼大面積接觸問(wèn)題中的分布力。當(dāng)標(biāo)記點(diǎn)的閾值開(kāi)關(guān)被激活時(shí)，它們被表示為邏輯“1”，而其他標(biāo)記被表示為邏輯“0”，從而形成一個(gè)代表關(guān)鍵力空間分布的數(shù)字通道。此數(shù)字通道不僅能過(guò)濾掉來(lái)自周?chē)碳さ牟槐匾蓴_，還能以較少的計(jì)算資源提供具有物理意義的高質(zhì)量數(shù)據(jù)（圖3 D）。通過(guò)將物理模型融入人工智能模型訓(xùn)練，數(shù)據(jù)集的大小可顯著減少到僅45 KB，遠(yuǎn)小于傳統(tǒng)方法（通常需要超過(guò)1 GB的數(shù)據(jù)集）。因此，即使使用極小的數(shù)據(jù)集，該設(shè)備也能從多重耦合的模擬信號(hào)中準(zhǔn)確識(shí)別出高達(dá)368個(gè)區(qū)域的多點(diǎn)刺激，對(duì)于力的重建精度也高達(dá)97.7%。

圖3 用于大規(guī)模精確分布式力傳感的數(shù)字通道賦能虛實(shí)融合觸覺(jué)系統(tǒng)的示意圖，該系統(tǒng)可處理超小數(shù)據(jù)集。A. PhyTac的整體結(jié)構(gòu)和組件。B. 受TrkB+啟發(fā)的數(shù)字通道。C. 受螺旋女王蘆薈啟發(fā)的螺旋式標(biāo)記點(diǎn)排列方法。D.引入數(shù)字通道后，分布力的位置與幅度均可精確重建。E. PhyTac的工作機(jī)制及潛在的廣泛應(yīng)用。

圖4. PhyTac的設(shè)計(jì)和工作原理，具有螺旋排列接收器和數(shù)字通道。

視頻 S1

“針對(duì)大規(guī)模分布式觸覺(jué)傳感技術(shù)，‘?dāng)?shù)字通道’的概念能夠?yàn)榻獯a力的位置提供一個(gè)新的維度，從而僅通過(guò)極小的數(shù)據(jù)集就可實(shí)現(xiàn)高精度和高魯棒性。”申教授解釋了這項(xiàng)研究的背景。

自然界中，螺旋女王蘆薈的旋轉(zhuǎn)葉序能夠避免葉子互相遮擋，從而來(lái)最大化得捕獲陽(yáng)光（圖3C）。受此啟發(fā)，研究者將標(biāo)記點(diǎn)以類(lèi)似的螺旋結(jié)構(gòu)排列以?xún)?yōu)化光路，使得PhyTac避免了由標(biāo)記點(diǎn)互相遮擋引起的精度下降，并顯著提高了標(biāo)記點(diǎn)的分布密度，這最終提高了力的傳感范圍和分辨率。 圖5展示了物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理及其在小數(shù)據(jù)集上的優(yōu)勢(shì)和高精度。FEM-NN的輸入是由數(shù)字通道得到的關(guān)鍵節(jié)點(diǎn)(key nodesof interest, KOI)和位移矩陣,輸出為增廣剛度矩陣，其僅需要一個(gè)很小的數(shù)據(jù)集(45KB)。引入的物理模型建立了一個(gè)力學(xué)框架（FEM），將標(biāo)記位移和力大小聯(lián)系起來(lái)，并提供了包含PhyTac材料、幾何和力學(xué)性能的寶貴先驗(yàn)知識(shí)。FEM-NN模型既采用了此力學(xué)先驗(yàn)知識(shí)，并得益于神經(jīng)網(wǎng)絡(luò)的強(qiáng)大擬合能力，有效地彌補(bǔ)了有限元模型與現(xiàn)實(shí)世界模型之間的物理缺失。結(jié)果表明，F(xiàn)EM-NN在整個(gè)量程范圍（0.5 ~ 25 N）內(nèi)均保持了較高的精度，力的平均絕對(duì)誤差為0.11 N，平均相對(duì)誤差僅為2.3%，優(yōu)于傳統(tǒng)基于純物理模型的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法（圖5C）。 PhyTac可直接應(yīng)用于握力分布的測(cè)量，這將有益于多種疾?。ㄖ酗L(fēng)、類(lèi)風(fēng)濕性關(guān)節(jié)炎等）的評(píng)估和治療。與其他潛在的解決方案（如觸覺(jué)手套）相比，此方法更加魯棒、易用和無(wú)束縛。如視頻S2所示，它可精確地識(shí)別不同握持姿勢(shì)下握力分布的動(dòng)態(tài)變化。

圖5 物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理。

視頻 S2

研究者進(jìn)一步將PhyTac安裝在網(wǎng)球拍上，并測(cè)量了擊打網(wǎng)球時(shí)手部的力量分布（如視頻S3所示）?！拔覀儼l(fā)現(xiàn)正手擊球時(shí)，力量主要集中在食指、中指和無(wú)名指上。相比之下，反手擊球時(shí)的力量分布則有所不同，其中拇指、無(wú)名指和小指貢獻(xiàn)了更多的力量?！北狙芯康牡谝蛔髡咛埔环逭f(shuō)道。

圖6 正反手擊球時(shí)力分布的對(duì)比

視頻 S3

PhyTac還能通過(guò)將現(xiàn)實(shí)世界中的分布力投射到虛擬世界中，實(shí)現(xiàn)精確的虛擬現(xiàn)實(shí)（VR）操控。使用者可以用拇指和食指小心翼翼地托住一個(gè)雞蛋而不將其捏碎，或者當(dāng)總力量超過(guò)一定閾值時(shí)用三根手指捏碎它。同樣地，作者還展示了用握力捏碎花瓶，以及如何用不同的分布力精確操控軟球的變形（圖7和視頻S4）?！按送?，得益于PhyTac在三維空間中的靈活性，它可以作為遙控操作界面，控制機(jī)器人手拿起、握住并傳遞一個(gè)薄塑料杯，而不會(huì)將其捏壞?！碧埔环逖a(bǔ)充道。詳細(xì)視頻于視頻S5中展示。

圖7 在虛擬世界中精確操控雞蛋、花瓶和軟球（上圖）。遙控機(jī)器人手抓取、握住和傳遞物體（下圖）。

視頻 S4

視頻 S5

四、全文總結(jié)

對(duì)于下一步的研究工作，團(tuán)隊(duì)計(jì)劃將“數(shù)字通道”概念應(yīng)用于其他幾何形狀的視觸覺(jué)傳感器上。他們認(rèn)為，當(dāng)克服干擾問(wèn)題時(shí)，其他類(lèi)型的分布式軟觸覺(jué)傳感器，如電阻式和電容式傳感器，也將從這項(xiàng)研究中獲益。

“我們的目標(biāo)是為物理世界、虛擬世界和機(jī)器人之間建立智能交互的橋梁。PhyTac是實(shí)現(xiàn)這一目標(biāo)的重要一步。它加深了我們對(duì)手部動(dòng)作的理解，我們期望它能成為一種以手為中心的媒介，在醫(yī)學(xué)評(píng)估、體育訓(xùn)練、機(jī)器人和虛擬現(xiàn)實(shí)（VR）等多個(gè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用?！痹擁?xiàng)目的負(fù)責(zé)人申亞京教授說(shuō)道。

五、文獻(xiàn)信息

Yifeng Tang et al. ,Digital channel–enabled distributed force decoding via small datasets for hand-centric interactions.Sci. Adv.11,eadt2641(2025).DOI:10.1126/sciadv.adt2641

審核編輯 黃宇