導(dǎo)讀：獲取用戶在虛擬屏幕上的文本輸入，需要克服兩個難題：首先是通過聲音判斷敲擊的位置；其次是消除噪音干擾。劍橋大學(xué)的研究人員設(shè)計(jì)了一個AI“偷聽”算法，可以通過監(jiān)聽手指敲擊屏幕的聲音竊取手機(jī)密碼。

盜取密碼，只要聽聽你敲鍵盤的聲音就夠了。

曾經(jīng)，通過鍵盤記錄程序來盜取密碼就已經(jīng)非?？膳铝?；然而，現(xiàn)在更駭人聽聞的黑科技誕生了！

劍橋大學(xué)的研究人員設(shè)計(jì)了一個AI“偷聽”算法，只需要通過監(jiān)聽手指敲擊屏幕的聲音，就能夠竊取到手機(jī)密碼：

論文地址：

https://arxiv.org/pdf/1903.11137.pdf

這個新穎的攻擊方法的原理是將手指敲擊屏幕所產(chǎn)生的聲音，在虛擬鍵盤上恢復(fù)成對應(yīng)的輸入字符。

論文作者表示：

敲擊屏幕的聲波可以通過設(shè)備的麥克風(fēng)進(jìn)行恢復(fù)，就像“聽到”了手指的觸摸一樣，虛擬屏幕上聲波的失真的這一特征便是敲擊鍵盤的位置。因此，只需要通過內(nèi)置麥克風(fēng)錄下聲音，惡意程序就可以在用戶輸入時推斷出對應(yīng)的字符。

實(shí)驗(yàn)原理

針對鍵盤的聲學(xué)攻擊并不新鮮。

利用麥克風(fēng)，根據(jù)鍵盤獨(dú)特的物理特性或缺陷來識別物理按鍵的方法已經(jīng)很成熟了，但是在虛擬鍵盤的識別上存在著很大的困難。因?yàn)樘摂M鍵盤上的點(diǎn)擊發(fā)生在同一個表面上，需要通過一些特殊的方法來確定手指敲擊的位置。

劍橋大學(xué)的研究團(tuán)隊(duì)開發(fā)了一款app，可以復(fù)原敲擊的聲音，并將其與擊鍵聯(lián)系起來。該程序使用的機(jī)器學(xué)習(xí)算法是離線訓(xùn)練的，并針對特定的智能手機(jī)或平板電腦模型進(jìn)行調(diào)整。

這個算法需要克服一個重大的工程挑戰(zhàn)在于：如何解釋敲擊時，指尖所產(chǎn)生的干擾振動。事實(shí)上，當(dāng)用手指敲擊屏幕的時候，聲波不僅在空氣中傳播，更重要的是在設(shè)備本身之間傳播。敲擊會導(dǎo)致屏幕震動，而這種震動模式，可以被多麥克風(fēng)捕獲并進(jìn)行區(qū)分。

實(shí)際應(yīng)用場景中，噪聲會極大的影響麥克風(fēng)對敲擊聲的探測。為了解決這一問題，研究人員將反饋聲音與振動反饋進(jìn)行交叉關(guān)聯(lián)，消除振動反饋的歧義，同時除去了振動數(shù)據(jù)。

結(jié)果顯示，對于平板電腦，在20次嘗試中回收了200個4位pin碼中的61%，即使模型沒有使用受害者的數(shù)據(jù)進(jìn)行訓(xùn)練；對于智能手機(jī)，恢復(fù)了9個大小為7-13個字母的單詞，在一個常見的側(cè)通道攻擊基準(zhǔn)中嘗試了50次。

實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)設(shè)置

劍橋研究團(tuán)隊(duì)開發(fā)了一個 Android 應(yīng)用程序，參與者分別使用全鍵盤和9宮格數(shù)字鍵盤輸入單詞、任意數(shù)字或4位數(shù)字（PIN碼），橫屏或者豎屏都可以。該app應(yīng)用程序通過內(nèi)置麥克風(fēng)收集音頻。

9宮格數(shù)字鍵盤的尺寸和形態(tài)是固定的，因此只需要在智能手機(jī)上測試豎屏狀態(tài)下的數(shù)字輸入即可。而全鍵盤則需要在手機(jī)和平板上，對橫屏和豎屏狀態(tài)分別進(jìn)行測試。

參與測試的志愿者在三個不同的地方完成了這項(xiàng)任務(wù)，分別是

公共休息室。背景中有人在聊天，偶爾會有一臺咖啡機(jī)做咖啡的吵聲

閱覽室。背景中人們要么在電腦上打字，要么用很輕的聲音說話

圖書館。都很安靜，但是附近的筆記本電腦持續(xù)發(fā)出咔噠咔噠的聲音

這三個地方都開著窗戶，因此室外的噪音也摻雜其中。

空氣中聲音的速度取決于溫度，因此數(shù)據(jù)只在白天室內(nèi)收集，溫度在22-25攝氏度之間。實(shí)驗(yàn)設(shè)備關(guān)閉了所有運(yùn)行中的其他app，只打開實(shí)驗(yàn)用的app。

實(shí)驗(yàn)使用的設(shè)備Nexus 5和Nexus 9，尺寸分別為137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。兩款設(shè)備都有兩個麥克風(fēng)，擁有標(biāo)準(zhǔn)的采樣率。Nexus 5的主麥克風(fēng)位于設(shè)備底部，副麥克風(fēng)位于頂部。Nexus 9一個在底部，另一個在右側(cè)。兩臺設(shè)備均基于Android 5.1.1 Lollipop系統(tǒng)，該系統(tǒng)目前市場占有率約20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止對PIN輸入使用反饋機(jī)制，所以只對文本輸入進(jìn)行了測試。值得注意的是：由于該方式比較新穎，缺乏標(biāo)準(zhǔn)的基準(zhǔn)測試，讀者可以自行評估以下兩個結(jié)論：

對小型虛擬鍵盤的攻擊與對大型物理鍵盤的攻擊效果差不多

盡管面對噪音這一強(qiáng)干擾項(xiàng)，該方式仍然能夠獲得同使用其他探測器類似的效果

數(shù)據(jù)收集

實(shí)驗(yàn)共有45名參與者，其中21位女性、24位男性；實(shí)驗(yàn)共獲得30個小時的音頻數(shù)據(jù)。實(shí)驗(yàn)分為4個部分：

第一組測試者每人隨機(jī)敲擊9宮格數(shù)字鍵盤10次，每次1個數(shù)字

第二組測試者每人敲擊9宮格鍵盤200次，每次4個數(shù)字

第三組測試者隨機(jī)敲擊全鍵盤上的字母

第四組測試者敲擊全鍵盤，輸入NPS聊天語料庫中的5個字母的單詞

表1所有字母和單詞輸入實(shí)驗(yàn)的摘要

單個數(shù)字推斷

第一次嘗試進(jìn)行單一數(shù)字分類時的訓(xùn)練、測試和與主題無關(guān)(即LOSO)的準(zhǔn)確性如表2所示。

表2Nexus 5智能手機(jī)的個位數(shù)分類精度

對于與主題無關(guān)的情況（LOSO），標(biāo)準(zhǔn)偏差更高。

在最壞的情況下，僅使用底部麥克風(fēng)，預(yù)測數(shù)字會比隨機(jī)猜測略好；但在最好的情況下，幾乎一半的數(shù)字在第一次嘗試時被正確預(yù)測。 頂部麥克風(fēng)的結(jié)果仍然較高，在最差情況下為兩倍，在最佳情況下為85％。 使用兩個麥克風(fēng)，正確預(yù)測在最壞情況下比隨機(jī)猜測好3倍；和100％的數(shù)字在最好的情況下。

當(dāng)一個數(shù)字預(yù)測不正確時，分類器會快速糾正它(根據(jù)分類器生成的預(yù)測的置信值對猜測進(jìn)行排序)。例如，使用兩個麥克風(fēng)(如上圖所示)，30%的錯誤預(yù)測在第一次嘗試后被修正，另外20%在第二次嘗試時被修正。固定的速度然后變得平緩。這意味著，在三次嘗試中，分類器正確地預(yù)測了80%以上的數(shù)字。

4位數(shù)字推斷

4位PIN的預(yù)測結(jié)果如下圖所示。

使用單個麥克風(fēng)，10次嘗試后可以恢復(fù)54％的PIN。通和先前工作進(jìn)行了比較發(fā)現(xiàn)，在很多情況下往往表現(xiàn)的更好，在其他方面也不輸給先前工作。例如，使用兩個麥克風(fēng)，只需20次嘗試就可以恢復(fù)91/150個PIN碼，并不需要知道PIN碼的分布情況，也不需要知道后續(xù)點(diǎn)擊之間的時間間隔。

字母和單詞推斷

全鍵盤的預(yù)測結(jié)果，如表3所示。

表3單字符分類精度為26類

如果同時使用一個麥克風(fēng)進(jìn)行LOSO和測試，要比隨機(jī)猜測高出三倍。頂部麥克風(fēng)捕獲的聲音，比來底部麥克風(fēng)產(chǎn)生更好的效果。

實(shí)驗(yàn)還發(fā)現(xiàn)，在手機(jī)上豎屏要比橫屏效果更好；而平板上則沒有太大區(qū)別。

實(shí)驗(yàn)結(jié)果表明，依靠TrustZone等隔離機(jī)制來保護(hù)用戶輸入并不總是足夠的。

移動設(shè)備可能需要更豐富的功能模型，更加用戶友好的傳感器使用通知系統(tǒng)以及對底層硬件泄漏的信息的更全面評估。