只需要打印一張彩色貼紙，然后將其粘貼到帽子上，頂級(jí) Face ID 系統(tǒng)瞬間 “失靈” 了。來(lái)自華為莫斯科研究中心的新研究，破解了當(dāng)前最好的公共 Face ID 系統(tǒng)。

一張貼紙能讓你在面部識(shí)別軟件面前“隱身”！

今天，Reddit 上一條帖子火了：

我們使用對(duì)抗攻擊技術(shù)攻破了目前最好的公共 Face ID 系統(tǒng)——ArcFace。

攻擊一個(gè) AI 系統(tǒng)不是什么新鮮事，但我們成功地在現(xiàn)實(shí)世界中做到了：只需要打印一張彩色貼紙，然后將其粘貼到帽子上，就能使人臉與真值的相似性顯著下降！甚至這種攻擊方法還可以遷移去攻擊其他頂級(jí)的 Face ID 模型。

這個(gè)研究的兩位作者 Stepan Komkov 和 Aleksandr Petiushko，來(lái)自莫斯科國(guó)立大學(xué)和華為莫斯科研究中心，他們公開(kāi)了 demo，并開(kāi)源了他們的方法。

正常使用的情況下，ArcFace 系統(tǒng)輕易識(shí)別出人臉：Person_1

接著，把一張普通的打印出來(lái)的彩色貼紙，貼到腦門(mén)上，看看會(huì)怎樣？

出人意料的是，ArcFace 系統(tǒng)識(shí)別不出這是一張“人臉”了。一個(gè)先進(jìn)的人臉識(shí)別模型如此輕易就被“攻破”了！

只需一張貼紙，人臉識(shí)別系統(tǒng)瞬間“失靈”

不僅如此，研究人員嘗試了不同光照方向?qū)ο到y(tǒng)的影響，包括關(guān)燈、側(cè)面打光和正面打光，ArcFace 系統(tǒng)均識(shí)別不出人臉。

關(guān)燈：認(rèn)不出

側(cè)面打光：認(rèn)不出

正面打光：認(rèn)不出

直到把“貼紙”摘下，人臉識(shí)別系統(tǒng)馬上恢復(fù)了正常。

摘下貼紙，人臉識(shí)別系統(tǒng)恢復(fù)正常

看到這里，很容易想起另一個(gè)近期的“欺騙 AI 系統(tǒng)”的研究：來(lái)自比利時(shí)魯汶大學(xué)幾位研究人員借助一張簡(jiǎn)單打印出來(lái)的圖案，完美欺騙了 YOLO (v2)開(kāi)源對(duì)象識(shí)別系統(tǒng)。

如上圖所示，AI 系統(tǒng)成功檢測(cè)到左邊的人，而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板，在論文中被稱(chēng)為“對(duì)抗性補(bǔ)丁”(adversarial patch)，正是這塊補(bǔ)丁“欺騙”了 AI 系統(tǒng)，讓系統(tǒng)無(wú)法發(fā)現(xiàn)畫(huà)面中還有一個(gè)人。

研究人員表示，他們?cè)O(shè)計(jì)的圖像可以將整個(gè)人隱藏起來(lái)，不會(huì)讓計(jì)算機(jī)視覺(jué)系統(tǒng)發(fā)現(xiàn)。但這個(gè)“補(bǔ)丁”并非萬(wàn)無(wú)一失，即使它的角度發(fā)生了變化，AI 系統(tǒng)也能迅速“發(fā)現(xiàn)”畫(huà)面中的人類(lèi)。

相比之下，莫斯科兩位研究人員的方法更“穩(wěn)健”，他們稱(chēng)這種對(duì)抗攻擊為AdvHat，相比其他方法的優(yōu)勢(shì)有：

利用帽子上的貼紙，對(duì)最先進(jìn)的公共人臉識(shí)別系統(tǒng)進(jìn)行了現(xiàn)實(shí)世界的對(duì)抗性攻擊。

這種攻擊很容易重現(xiàn)，只需打印一張彩色貼紙；

攻擊可以在不同的光照條件下工作；

提出了一種新穎的粘貼投影技術(shù)，使攻擊過(guò)程中的圖像具有真實(shí)感；

此外，同樣的攻擊還可以轉(zhuǎn)移到其他面部識(shí)別模型。

看了演示，Reddit 網(wǎng)友紛紛表示“很酷”、“非常有趣”，有人說(shuō)：“感謝你們花時(shí)間和精力把這個(gè)已知概念從數(shù)字空間帶到現(xiàn)實(shí)世界。該領(lǐng)域內(nèi)的大多數(shù)人都知道這是可以做到的，我已經(jīng)知道并嘗試用對(duì)抗方法‘愚弄’AI 系統(tǒng) 4 年了，但這可能是我看到的第一個(gè)有人在現(xiàn)實(shí)世界對(duì)抗 Face ID 的視頻！”

接下來(lái)，新智元帶來(lái)對(duì) AdvHat 方法的詳細(xì)解讀，以及實(shí)驗(yàn)和結(jié)果數(shù)據(jù)。

四步攻擊，兩種轉(zhuǎn)換，誘導(dǎo) Face ID 系統(tǒng)決策失靈

圖 1：一種攻擊人臉識(shí)別系統(tǒng)的新方法。帽子上的貼紙顯著降低了與 ground truth 類(lèi)的相似性。左邊的對(duì)中，與 ground truth 的相似度下降了0.592，右邊對(duì)下降了0.429。

在 Face ID 系統(tǒng)的實(shí)際使用場(chǎng)景中，并不是每個(gè)被捕獲的人都是已知的。這就是為什么與 top-1 class 的預(yù)測(cè)相似性應(yīng)該超過(guò)某個(gè)預(yù)定義的閾值，才能認(rèn)為面孔被識(shí)別出來(lái)了。

我們目標(biāo)是創(chuàng)建一個(gè)可以粘貼在帽子上的矩形圖像，并誘導(dǎo) Face ID 系統(tǒng)將人臉與ground truth 類(lèi)的相似性降低到?jīng)Q策閾值以下。

為了達(dá)到這個(gè)目的，我們使用了一個(gè)攻擊 pipeline，它的描述如下：

1)我們對(duì)矩形圖像應(yīng)用一個(gè)新的平面外變換(off-plane transformation)，從而在貼在帽子上之后模仿矩形圖像的樣子。

2)我們將得到的圖像投影到高質(zhì)量的人臉圖像上，投影參數(shù)的擾動(dòng)較小，使我們的攻擊更加穩(wěn)健。

3)將得到的圖像轉(zhuǎn)換為 ArcFace 輸入的標(biāo)準(zhǔn)模板。

4)減少了兩個(gè)參數(shù)的和：初始矩形圖像的 TV loss，得到的圖像的嵌入與 ArcFace 計(jì)算的錨點(diǎn)嵌入之間的余弦相似度。

整個(gè)的 pipeline 如圖 2 所示。

圖 2：攻擊的整個(gè)流程架構(gòu)。首先，我們將貼紙改造成真實(shí)的形狀。其次，我們把它投射到面部圖像上。第三，我們使用稍微不同的參數(shù)將圖像轉(zhuǎn)換為 ArcFace 輸入模板。最后，我們將模板輸入 ArcFace，評(píng)估余弦相似度和 TV loss。這樣，我們可以得到梯度信號(hào)，用于修改貼紙圖像。

非平面貼紙轉(zhuǎn)換：

我們將在帽子上放置貼紙時(shí)發(fā)生的轉(zhuǎn)換分為兩個(gè)步驟：貼紙的平面外彎曲和貼紙的俯仰旋轉(zhuǎn)。圖 3 顯示了這兩個(gè)轉(zhuǎn)換。

圖 3：當(dāng)在帽子上放一個(gè)矩形貼紙時(shí)，它會(huì)發(fā)生彎曲和旋轉(zhuǎn)。

實(shí)驗(yàn)和結(jié)果

我們?cè)趯?shí)驗(yàn)中使用 400×900像素的圖像作為貼紙圖像。然后，將貼紙圖像投影到600x600像素的人臉圖像上，然后將其轉(zhuǎn)換為 112x112 的圖像。

攻擊方法

如前所述，我們?cè)趯D像輸入 ArcFace 之前隨機(jī)修改了圖像。我們構(gòu)建了一批生成的圖像，并使用整個(gè) pipeline 計(jì)算初始貼紙的平均梯度。我們可以直接計(jì)算梯度，因?yàn)槊總€(gè)變換都是可微的。

我們把攻擊分為兩個(gè)階段。在第一階段，我們使用的 step value 等于，動(dòng)量等于0.9。在第二階段，我們使用 step value 等于，動(dòng)量等于?0.995。TV loss 總是等于 1e - 4。

對(duì)抗性貼紙

圖4：兩個(gè)對(duì)抗貼紙的示例

典型的對(duì)抗貼紙的示例在圖 4，看起來(lái)貼紙上畫(huà)了一個(gè)凸起的眉毛。根據(jù)前人研究，眉毛是人類(lèi)識(shí)別人臉的最重要特征。

固定條件下的實(shí)驗(yàn)

所有照片和真實(shí)世界的測(cè)試都在相同的條件下進(jìn)行。我們?cè)u(píng)估了 10 個(gè)不同年齡和性別的人：年齡分別為 40 歲，23 歲，16 歲，5 歲（男性）和 36 歲，32 歲，29 歲，24 歲，24 歲，8 歲（女性）。每個(gè)人使用 3 張照片創(chuàng)建攻擊：我們需要計(jì)算真實(shí)的嵌入圖像中的簡(jiǎn)單照片，計(jì)算基線相似度并獲得對(duì)抗性的圖像貼紙。我們要找到這個(gè)人的貼紙轉(zhuǎn)換參數(shù)。然后打印每個(gè)人的對(duì)抗貼紙，并用這些貼紙制作第四張照片以獲得最終結(jié)果。

我們使用 boxplot 來(lái)顯示所獲得值的分布（參見(jiàn)圖 5）。可以看出，對(duì)抗性貼紙明顯降低了與實(shí)際圖像的相似性。值得注意的是，在大多數(shù)情況下，對(duì)抗性貼紙?jiān)?0.5 以上時(shí)會(huì)降低與基礎(chǔ)事實(shí)的相似性。兩次降低相似度小于 0.5 的攻擊都與 10 歲以下的兒童有關(guān)。兒童的基線相似度初始值較低。

圖 6：我們?yōu)橐恍┤祟~外制作了 11 張照片，以檢測(cè)多種條件下貼紙攻擊的威力

圖 7：各種拍攝條件的基線結(jié)果和最終相似度。不同的人以不同的顏色表示

變化條件下的實(shí)驗(yàn)

為了檢驗(yàn)我們針對(duì)不同拍攝條件的方法的穩(wěn)健性，我們從前 10 張照片中選出 4 個(gè)人，又為他們制作了 22 張照片。這些照片分為 11 對(duì)。每對(duì)都是在相同的條件下照的。每對(duì)中的第一張照片是戴帽子的照片，用于評(píng)估基線相似度。第二張是帶有對(duì)抗性貼紙的戴帽子的照片，用于評(píng)估最終的相似度。8 對(duì)照片對(duì)應(yīng)于頭部?jī)A斜的不同組合和形式（向前傾，向后傾，向左轉(zhuǎn)，向右轉(zhuǎn)），3 對(duì)照片對(duì)應(yīng)于不同的照明條件。拍攝條件示例如圖 6 所示。值得注意的是，我們繼續(xù)使用之前的貼紙，而不進(jìn)行新的攻擊。

結(jié)果如圖 7 所示。盡管最終的相似性增加，但攻擊仍然有效。這里不想給出什么結(jié)論，因?yàn)闇y(cè)試裝置非常小，但我們認(rèn)為，實(shí)驗(yàn)結(jié)果對(duì)于頭部的不同旋轉(zhuǎn)形式和組合是穩(wěn)健的。

我們發(fā)現(xiàn)照片上貼紙的較大區(qū)域會(huì)導(dǎo)致相似性較低。當(dāng)頭部向前傾斜時(shí)，最終的相似性仍然小于 0.2。當(dāng)頭部逐步抬起，相似度會(huì)逐漸增加。使用更好的投射和渲染技術(shù)以及更大的對(duì)抗配飾（比如使用帽子部分的全部區(qū)域進(jìn)行攻擊）可以讓監(jiān)控?cái)z像機(jī)完全無(wú)法識(shí)別。

圖 8：不同模型上一次攻擊的基線和最終相似性之間的差異

可轉(zhuǎn)移性的實(shí)驗(yàn)

最后，我們檢查了對(duì)其他 Face ID 模型的攻擊的穩(wěn)健性。這些模型取自 InsightFace Model Zoo 。這些網(wǎng)絡(luò)具有不同的體系結(jié)構(gòu)，與 LResNet100E-IR，ArcFace @ ms1m-refine-v2 相比，這些網(wǎng)絡(luò)使用不同的損失函數(shù)和數(shù)據(jù)集進(jìn)行訓(xùn)練。

我們使用第一個(gè)實(shí)驗(yàn)中的照片來(lái)評(píng)估相似度：全臉照片，戴帽子的照片，帽子上帶有對(duì)抗貼紙的照片。我們計(jì)算了 10 個(gè)人中每個(gè)人的基線結(jié)果和最終相似度。使用箱線圖在圖 8 中描繪了每種模型的基線和最終相似度之間的差異。

結(jié)果顯示，我們的真實(shí)世界的攻擊行為就像數(shù)字域中的常見(jiàn)對(duì)抗性攻擊一樣。盡管攻擊的強(qiáng)度降低，但人仍然很難識(shí)別出來(lái)。