自動駕駛的安全性是非常值得關(guān)注的。而最近由北京航空航天大學(xué)、悉尼大學(xué)和劍橋大學(xué)的一項新研究表明，一張紙便可以“迷惑”AI自動駕駛系統(tǒng)。

一張簡單的涂鴉貼畫就能讓AI自動駕駛系統(tǒng)產(chǎn)生致命錯誤乃至車毀人亡！

來自北京航空航天大學(xué)(Beihang University)、悉尼大學(xué)(University of Sydney)和劍橋大學(xué)(University of Cambridge)的一項最新研究成果顯示，將一張用打印機簡單打印出來的涂鴉貼畫貼在路牌上就可以讓AI自動駕駛系統(tǒng)完全誤分類。

圖1 利用對抗補丁在真實世界中攻擊自動駕駛系統(tǒng)

如上圖所示，將生成的涂鴉貼畫貼在北航校園中標(biāo)為“限速20km/h”的真實路牌上后，AI自動駕駛系統(tǒng)完全被誤分類，將其識別為“No Entry”（禁行）。該涂鴉貼畫在論文中被稱為 “對抗補丁”(adversarial patch)，正是這塊補丁 “欺騙” 了 AI 自動駕駛系統(tǒng)，讓系統(tǒng)將該路牌誤分類，在top-5分類中都沒有正確標(biāo)簽“限速20km/h”。

該團隊發(fā)表了題為Perceptual-Sensitive GAN for Generating Adversarial Patches的論文。該論文使用對抗生成網(wǎng)絡(luò)（GAN）來生成視覺保真度較好且與場景語義相關(guān)度較高的對抗補丁（如：路牌和貼畫，路牌和涂鴉等），可以在數(shù)字世界（digital-world）和物理世界（physical-world）完成對深度學(xué)習(xí)模型的攻擊，目前該論文已在全球人工智能頂級會議AAAI-2019上發(fā)表。

論文地址：

https://www.aaai.org/Papers/AAAI/2019/AAAI-LiuA.723.pdf

經(jīng)實驗證實，用該方法生成的對抗補丁 （adversarial patch）具有穩(wěn)定的攻擊效果，將其貼在路牌上后，不會影響人類對于路牌語義信息的認(rèn)知，且由于場景語義相關(guān)性人類也不會感覺到“違和”；但是，該對抗補丁對于AI自動駕駛系統(tǒng)則是毀滅性的。例如，這種攻擊可能被惡意地用來攻擊自動駕駛系統(tǒng)，入侵者只要將一小片貼畫貼在路牌上，當(dāng)自動駕駛汽車駛過時就可能會造成系統(tǒng)的致命錯誤，導(dǎo)致車禍產(chǎn)生。

使用對抗生成網(wǎng)絡(luò)（GAN）生成對抗補丁

該論文提出了一種使用對抗生成網(wǎng)絡(luò)來生成視覺保真度較好且與場景語義相關(guān)度較高的對抗補丁的方法（PS-GAN），并且結(jié)合系統(tǒng)分類器注意力信息使得補丁的攻擊具備穩(wěn)定性。算法模型提出了一種Patch-to-patch translation的過程，將輸入的普通涂鴉圖片轉(zhuǎn)換生成為具有攻擊性的涂鴉圖片。算法的整體架構(gòu)如下：

圖 2 算法PSGAN架構(gòu)圖

為了達成效果，PSGAN的優(yōu)化目標(biāo)包含以下幾個部分：

提升視覺保真度和感知相關(guān)性

為了提升生成的對抗補丁的視覺保真度，他們引入了GAN損失函數(shù)：

同時，為了保持感知相關(guān)性并控制擾動在合適的范圍內(nèi)，他們引入了patch損失函數(shù)：

對抗補丁的攻擊性

為了使產(chǎn)生的對抗補丁具有攻擊性，我們引入了attack損失函數(shù)的損失函數(shù)：

該損失函數(shù)的目標(biāo)是讓生成的對抗補丁貼在圖片上后，深度學(xué)習(xí)模型分類器對于該圖片的正確類別的預(yù)測降低。

整體的優(yōu)化函數(shù)

將整個優(yōu)化過程轉(zhuǎn)化為對抗生成的極大極小優(yōu)化過程：

模型的注意力敏感度

為了進一步提升對抗補丁的攻擊效果和穩(wěn)定性，該論文選擇讓對抗補丁放置在深度學(xué)習(xí)模型分類敏感的位置。最直觀的思路是利用注意力機制（attention & saliency），選擇圖片中對于模型分類最敏感最重要的區(qū)域去放置對抗補丁實施攻擊。

實驗結(jié)果：自動駕駛真的安全嗎？

通過實驗結(jié)果評估 生成的對抗補丁的有效性。主要針對GTSRB和ImageNet數(shù)據(jù)集進行測試。

視覺效果

圖 3 不同算法生成的對抗補丁的視覺效果

通過上圖展示可以看出，作者提出的算法（第三行PSGAN）與其他對比算法相比，生成的對抗補丁具有非常好的視覺效果和語義相關(guān)性。對比算法生成對抗補丁一般都是比較雜亂的噪音，放置在圖片中顯得非常突兀；PSGAN生成的對抗補丁視覺效果較好，而且具備較高的語義相關(guān)性（如：猩猩與蘋果，路牌與涂鴉貼畫等）。

攻擊效果

為了驗證模型生成的對抗補丁的攻擊性，論文分別從白盒攻擊（white-box）和黑盒攻擊（black-box）的角度進行了測試。

在黑盒攻擊場景下，算法通過在一種模型上生成對抗補丁并遷移攻擊其它模型，可以從下表中看到，由PSGAN產(chǎn)生的對抗補丁具有很好的遷移攻擊性。這說明，入侵者可以不用了解目標(biāo)AI自動駕駛系統(tǒng)所使用的算法模型，只需要使用該算法生成對抗補丁，就可以利用其遷移性實施攻擊。

圖 4 GTSRB數(shù)據(jù)集下模型在對抗補丁黑盒攻擊場景下的分類準(zhǔn)確率

在白盒攻擊場景下，算法基于給定的模型生成對抗樣本并對該模型實施攻擊。生成的對抗補丁在保持較高語義相關(guān)性的同時，仍能具備較強的攻擊性。

與此同時，研究團隊為了驗證生成對抗補丁的攻擊性不是由于遮蓋了目標(biāo)的關(guān)鍵信息，還使用了普通的 patch 進行了實驗。比如他們會使用普通的涂鴉貼畫貼在同樣的位置，通過結(jié)果看到，深度學(xué)習(xí)模型的分類準(zhǔn)確率基本上沒有明顯的變化，這更證明了生成的對抗補丁的攻擊性。

圖 5 模型在對抗補丁白盒攻擊場景下的分類準(zhǔn)確率

（ImageNet只選擇了部分類別）

最后，為了驗證算法生成的對抗補丁的攻擊穩(wěn)定性，論文還對算法訓(xùn)練不同周期時生成的對抗補丁的攻擊性的效果進行了測試。如圖所示，可以看到PSGAN的攻擊性較為穩(wěn)定，攻擊能力持續(xù)上升并最終保持穩(wěn)定；而對比算法產(chǎn)生的對抗補丁的攻擊性則不穩(wěn)定，訓(xùn)練了幾百個epoch之后仍會產(chǎn)生較大的波動。

圖 6 算法攻擊穩(wěn)定性

真實世界（physical-world）中的攻擊性

圖 7 真實世界中的攻擊

為了驗證算法生成的對抗補丁再真實世界中也具有攻擊性，論文選擇在北京航空航天大學(xué)校園中的真實路牌上（限速20km/h）進行驗證。作者使用普通的打印機將生成的對抗補丁打印出來，并貼在路牌的合適位置，選擇不同距離（1米，3米，5米）和角度（0°，15°，30°，-15°，-30°）拍照并測試深度學(xué)習(xí)模型的分類結(jié)果，其平均分類準(zhǔn)確率從86.7%降低至17.2%。人類對于路牌語義信息沒有任何誤解，也不會對于貼畫感到“違和”，但是深度學(xué)習(xí)模型則產(chǎn)生了致命分類錯誤。

未來展望

雖然人工智能技術(shù)在各個領(lǐng)域都取得了巨大的成功過，但是人工智能安全問題仍不容忽視。近日，清華大學(xué)的朱軍教授所帶領(lǐng)的團隊提出了一種基于決策的黑盒攻擊方法——演化攻擊（Evolutionary Attack）來攻擊人臉識別系統(tǒng)[可加鏈接]；比利時魯汶大學(xué) (KU Leuven) 幾位研究人員最近的研究發(fā)現(xiàn)，借助一張簡單打印出來的對抗補丁，就可以大大降低監(jiān)控系統(tǒng)對人類的識別率，可以將人隱藏起來。

與此同時，即使AI自動駕駛已經(jīng)取得了成功并在現(xiàn)實世界中應(yīng)用，但由北京航空航天大學(xué)(Beihang University)、悉尼大學(xué)(University of Sydney)和劍橋大學(xué)(University of Cambridge)的研究人員提出的算法PSGAN仍可以在黑盒場景下對其系統(tǒng)進行攻擊?？梢哉f，這個方法將真實世界自動駕駛存在的安全漏洞極大地暴露了出來。

當(dāng)然，對抗攻擊技術(shù)的進步也將催生更多對于模型魯棒性、穩(wěn)定性和安全性的研究和發(fā)展。未來，如何打造安全、可靠的人工智能系統(tǒng)則顯得至關(guān)重要。