近日，一個來自麻省理工學(xué)院（MIT）的團(tuán)隊公開了他們的研究成果。該文章指出，對抗樣本(Adversarial Sample)導(dǎo)致圖像識別（Image Classification）失效的現(xiàn)象，或許只是人類的一種“自以為是”。識別模型捕捉的，其實是那些不能被人眼察覺的“非穩(wěn)健特征”（Non-robust Feature）。如果只是基于這些像素層面的特征，模型對對抗樣本的識別就不能被認(rèn)為是失敗的。

幾乎所有圖像識別算法都存在一個弱點(diǎn)——對抗樣本問題。對抗樣本是指在一張自然圖片中，對少部分像素點(diǎn)的數(shù)值進(jìn)行修改,即使修改不足以被人眼察覺，但識別算法卻做出完全錯誤的判斷，比如把小狗識別成鴕鳥。這可能成為致命的安全漏洞，比如讓自動駕駛的汽車偏離車道，或者讓監(jiān)控探頭無法發(fā)現(xiàn)罪犯的身影。《給 T 恤印上一個圖案，就能在監(jiān)控下實現(xiàn)“隱身”？》

圖|左為自然圖片，識別為“小狗”。右為刻意修改后的對抗樣本，識別為“鴕鳥”。（來源：Christian Szegedy/Google Inc.）

目前許多研究機(jī)構(gòu)（如谷歌公司、麻省理工學(xué)院和騰訊科恩實驗室）都在嘗試解決對抗樣本問題。其中主要的難題存在于三個方面，首先是視覺世界的復(fù)雜性，比如一張圖片中通常存在上百萬個像素點(diǎn)。其次，我們并沒有徹底地理解卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）實現(xiàn)圖像識別的機(jī)制。此外，科學(xué)家不知道識別模型失效的原因是訓(xùn)練方式的問題還是訓(xùn)練數(shù)據(jù)量不夠大？

麻省理工學(xué)院的科研團(tuán)隊發(fā)現(xiàn)，目前常用的識別模型其實是通過關(guān)注圖片中，人眼無法察覺的細(xì)節(jié)來實現(xiàn)圖像識別。就如同人類會對比耳朵的不同，而將狗和貓的照片區(qū)分出來一樣。但是AI模型卻是在像素的層面進(jìn)行區(qū)分。

論文的第一作者，麻省理工學(xué)院在讀博士生 Andrew Ilyas 說道：“對于那些像素層面的特征，它們最大的特點(diǎn)就是不會被人眼察覺?！?/p>

想要弄明白 AI 到底是依據(jù)什么特征來識別圖像并不容易。Andrew Ilyas等人首先定義了一整套理論框架。他們把圖片中的特征分成兩類：“穩(wěn)健特征”(Robust Features)，指即使做了像素層面的修改也不會影響識別結(jié)果的特征（如耳朵、胡須），和 “非穩(wěn)健特征”(Non-robust Features)，即會被像素修改而影響的特征（通常無法被人類識別）。

其次，他們又定義了兩種訓(xùn)練模型的方法，“標(biāo)準(zhǔn)訓(xùn)練”（Standard Training）和“穩(wěn)健訓(xùn)練”（Robust Training）。穩(wěn)健訓(xùn)練的損失方程額外考慮了對抗樣本的存在，使得模型在訓(xùn)練中可以強(qiáng)化對穩(wěn)健特征識別。

圖|標(biāo)準(zhǔn)訓(xùn)練和穩(wěn)健訓(xùn)練的損失方程。穩(wěn)健訓(xùn)練中劃線的部分表示修改原始數(shù)據(jù)，使之成為對抗樣本。（來源：Andrew Ilyas/MIT）

他們假設(shè)穩(wěn)健特征和非穩(wěn)健特征同時存在。并且使用和生成對抗網(wǎng)絡(luò)（GAN）相似的方法，將原始的訓(xùn)練數(shù)據(jù)集（D）中的圖片進(jìn)行重新加工，生成了兩個新的數(shù)據(jù)集：將非穩(wěn)健特征洗刷掉、只含穩(wěn)健特征的 D_R，和在人類看來錯誤標(biāo)注、但非穩(wěn)健特征符合其標(biāo)注的 D_NR。

圖|左：原始訓(xùn)練數(shù)據(jù) D，只含穩(wěn)健特征的 D_R，和失去特征一致性的 D_NR。右：三種數(shù)據(jù)集在不同訓(xùn)練方式下的準(zhǔn)確率。（來源：Andrew Ilyas/MIT）

研究人員指出，由于只有穩(wěn)健特征，D_R 所含的信息量少于原始數(shù)據(jù) D。實驗發(fā)現(xiàn)，再以 D_R 為基礎(chǔ)，以標(biāo)準(zhǔn)訓(xùn)練的方法得到的識別模型，同樣可以抵御對抗樣本。以此證明像素層面的修改（人眼無法分辨），并不影響圖片中的穩(wěn)健特征。

另一方面，研究人員對訓(xùn)練數(shù)據(jù)（D）進(jìn)行像素層面的修改，并且不斷優(yōu)化，讓標(biāo)準(zhǔn)模型盡可能地把圖片識別成另一個類型。比如，穩(wěn)健特征（人眼觀察）是“狗”，而非穩(wěn)健特征和標(biāo)注（模型認(rèn)為）則是“貓”。

研究人員將經(jīng)過修改的圖片集計作 D_NR，并找來一張訓(xùn)練數(shù)據(jù)之外的自然中“貓”圖片進(jìn)行測試。識別器成功把這張外來的圖片也識別成了“貓”。說明這張自然的“貓”，和 D_NR 中的“貓”具有可以被模型識別的相同屬性，而這個屬性就是我們看不到的“非穩(wěn)健特征”。

圖|圖中右側(cè)“狗”的圖像，和下方“貓”的圖像，都被識別成了“貓”，他們有相同的非穩(wěn)健特征。（來源：Andrew Ilyas/MIT）

通過實驗，Andrew Ilyas 和他的團(tuán)隊確定：穩(wěn)健特征和非穩(wěn)健特征都存在于圖片之中，并且一般的識別模型只會通過非穩(wěn)健特征進(jìn)行圖像識別，而非穩(wěn)健特征不能被人眼察覺。所以，對抗樣本本身并不是圖像識別的漏洞，只是另外一種無法被我們看到的特征而已。

“這并不是模型本身有什么問題，只是那些真正決定識別結(jié)果的東西并不能被看到?！痹撜撐牡诙髡摺⒙槭±砉W(xué)院在讀博士生 Shibane Santurkar 補(bǔ)充道：“如果我們只知道算法的決策取決于一些我們看不見的東西，那我們又怎么能理所當(dāng)然地以為它做的決定就是正確的？”如果一個人需要在法庭上證明監(jiān)控視頻中的人不是自己就會非常麻煩，因為我們不知道監(jiān)控識別的錯誤結(jié)果是怎么得來的 。

科學(xué)家始終需要面對一個抉擇，模型究竟是應(yīng)該做出“準(zhǔn)確”的決定，還是應(yīng)該做出“人類”的決定？如果模型只是識別穩(wěn)健特征，它或許就不會那么準(zhǔn)確。然而如果決策機(jī)制偏向不能被看到的非穩(wěn)健特征，那么對抗樣本就會成為潛在的漏洞。如今，圖像識別技術(shù)已廣泛應(yīng)用在日常生活中，我們需要在這兩個選擇之間找到某種平衡。